【統計検定2級~1級】確率分布のチートシート
こんにちは、青の統計学です。
WEBサイト「青の統計学」やX「青の統計学」から来ていただいた方、ありがとうございます。
noteでは、チートシート完全版を投稿しています。
統計検定2級についてのチートシートは以下をご覧ください。
「確率分布18種類丸分かり」チートシート
このチートシートの特徴
さて、この教材は、以下の方におすすめです！
統計検定2級〜1級を目指す方（今回は対象広めです）
資格試験を受けるつもりはないが、確率分布間の関係がよくわからない方
正直、教科書だと数式だらけでわかりづらい方
確率分布に強くなりたい方
このチートシートは、初級から上級まで広くお役に立てると思います。
まだ正規分布やベルヌーイ分布しか分からない状態でも、それぞれの分布がどう繋がっているのかを理解すれば、統計検定に限らず今後の学習に大いに役立つと思います。
ちなみに問題ベースになっている教材ではないので、資格試験を受けるつもりがない方でも心配なくご覧いただけます。
さて、統計検定を受けている方や大学の統計数理や確率論の授業を受けている方だと、以下のようにド忘れすることがあると思います。
「あの確率分布の分散ってなんだっけ…?」
「幾何分布のモーメント母関数ってなんだっけ？」
こんな時に、確率分布についての特徴をすぐに見返せるような教材があると助かるなと思い、作成しました！（当時自分がそうでした…）
「これを見れば確率分布の特徴についてわかる！」
「痒い所に手が届く、便利な教材に！」
「点で覚えてしまっている、確率分布の知識を線に変えたい！」
以上のような思想で時間をかけて作成しました。
18種類紹介しているため、3万字越えとなりました。
また筆者は、これまで別サイト「青の統計学-Data Science School-」で統計関連の記事を約110記事を書いておりますが、このチートシートと各コンテンツを有機的に繋げて、学習効率が最大化されるように書いています。
使い方①
各項目についての応用的な補足や証明については、別サイト「青の統計学-Data Science School-」の参考コンテンツを豊富に貼り付けておりますので、並行して学習に役立てていただければと思います。
使い方②
項目の最初に押さえるべき「チートシートポイント」を箇条書きで記載しています。本質的な理解のために説明や補足、背景となる知識を下部に詳細に記載しています。試験までお時間がある場合は、説明まで目を通していただけると幸いです。
今回も3万字を超えてしまいましたので、ポイントと説明部分をご自身の状況によって使い分けていただければ思います。
使い方③
以下のような基準で確率分布を選定しています。
難易度⭐️→全員見ていただきたいです！
難易度⭐️⭐️→統計検定2や準1級に挑戦するなら知っておいて欲しいです。
難易度⭐️⭐️⭐️→統計検定1級レベル。ベイズ統計学の知識が必要。
補足：該当セクションで補足しておく事項を説明しています。余力があれば見ていただくと理解が深まります。
準備：確率分布の理解のために、前提となる知識を最初に説明しておきます。
難易度が高い部分まで一気に学習しなくても大丈夫です！
時間をかけてゆっくり自分の糧としていただければと思います😌
まだ統計学を勉強し始めたばかりという方でも、きっとお役に立てるはずです。
使い方④
最後のセクションで「確率分布間の関係性」を網羅した図をご用意しております。自学自習にご活用いただければと思います。
以下イメージ図（モザイクあり）です。
さてお待たせしました！
ここからチートシートになります。
数学準備｜確率密度関数｜難易度⭐️
離散型と連続型で表記は変わりますが、考え方は同じです。
以下で定義される非負関数$${f_X(\cdot)}$$を確率質量（密度）関数と呼びます。
離散型
$${f_X(x)=P(X=x)}$$
連続型
$${\int_a^bf_X(x)dx=P(a\le X\le b)}$$
＊確率密度関数は、個々の点での確率を 0としています。つまり、連続確率変数が特定の値を取る確率は 0と考えられるため、確率は常に区間に対してのみ定義されます。
連続型について、極限による定義をしてみましょう。
確率密度関数$${f(x)}$$は、確率変数$${X}$$が実現値$${x}$$に非常に近い値を取る確率を、非常に小さい区間の幅で割った極限として表すことができます。
$${f(x)=\lim_{\epsilon \to 0} \frac{P(x\le X \le x+\epsilon)}{\epsilon}}$$
式の意味としては、ある点における確率密度関数の値が大きい場合、その点の近傍で確率変数が値を取る可能性が高いです。確率密度そのものは確率とは異なる概念ではあるものの，確率に比例する概念であることが分かりました。
数学準備｜モーメント母関数｜難易度⭐️⭐️
まず、モーメントの説明をしましょう。
モーメントとは、確率分布の特徴を表したものです。
原点周りのモーメントは以下の形で表すことができます。
$${E[X^k]}$$
ある点$${x=a}$$周りの$${k}$$次モーメントは、以下の形で表すことができます。
$${E((X-a)^k)}$$
今まで求めてきた期待値や分散は、モーメントの中でも特殊な場合で、具体的には
平均 : 原点周りの1次のモーメント
$${E[X]}$$
分散 : 平均周りの2次のモーメント
$${Var(X)=E(X-\mu)^2}$$
に相当します。
歪度や尖度も同じですね！
さて、モーメント母関数とは上記のようなモーメントを導出するための関数です。
$${M_X(t)=E[e^{tX}]}$$
例えば、連続確率変数だと以下のようになります。
区間は確率変数によります。
$${M_X(t)=\int e^{tX}f(x)}$$
使い方としては、微分して$${t=0}$$を代入するのが基本です。
各確率分布関数のセクションでも積率母関数が大事な場合は、導出から記載しておりますので、そちらをご覧ください。
例
原点まわりの1次のモーメント:1階微分して $${t=0}$$
原点まわりの2次のモーメント:2階微分して $${t=0}$$
青の統計学でも扱っておりますのでご活用ください。
数学準備｜共役事前分布｜難易度⭐️⭐️⭐️
ーここはベイズ統計の知識が必要ですー
事前分布が共役であるとは、事前分布と尤度関数の積が事後分布の形式を事前分布と同じ関数族内で保持することを意味します。
数式で確認してみましょう。
ベイズの定理から考えると、事後分布は事前分布$${w(\theta)}$$と尤度$${f(z|\theta)}$$の積に比例します。ベイズ更新を何度も行う関係で、事前分布の形が複雑だと事後分布の形もどんどん複雑になることがわかります。
$${w'(\theta|z)=\frac{w(\theta)f(z|\theta)}{\int_{\Theta}w(\theta)f(z|\theta)d\Theta} \propto w(\theta)f(z|\theta)}$$
上の式は以下のベイズの定理の派生と考えていただければ理解できるかと思います。分母のエビデンスは省いています。
$${P(A|B)=\frac{P(B|A)P(A)}{P(B)}}$$
さて、尤度関数をかけて事後分布を計算すると、関数形が事前分布と一致するような確率分布を選んであげると良さそうです。
何が嬉しいか
共役事前分布を使用する主な利点は、計算の簡便さです。ベイズ分析では、事後分布を解析的に導出することが求められる場合が多く、共役事前分布を使用すると積分やその他の複雑な計算を回避できるため、効率的な解析が可能になります。
とはいえ現在では、計算性能が上がり、MCMC 法が簡単に実行できるようになったので、計算コスト削減という目的だけのために、わざわざ共役事前分布を用いる必要はないという見方もあります。
後続のセクションでも紹介しておりますが、代表的な尤度関数と共役事前分布のペアを載せておきます。
$$
\begin{array}{|c|c|c|}
\hline
\textbf{尤度関数の形} & \textbf{共役事前分布} \\
\hline
ベルヌーイ分布& ベータ分布 \\
二項分布 & ベータ分布 \\
ポアソン分布 & ガンマ分布 \\
多項分布 & ディリクレ分布 \\
\hline
\end{array}
$$
数学準備は一旦おしまいです。
確率密度関数の部分だけでも目を通していただけると後の理解が進むのではと思います。
さて、ここから確率分布に入ります。
ベルヌーイ分布｜難易度⭐️
確率質量関数：$${P(X=x)=p^k(1-p)^{1-k}}$$
期待値：$${E[X]=p}$$
分散：$${Var(X)=p(1-p)}$$
モーメント母関数：$${(1-p)+pe^t}$$
ベルヌーイ分布は、二項分布の特殊ケース（$${n=1}$$）
ベルヌーイ分布は、二値の結果を持つ確率実験の最も基本的な分布です。成功と失敗、あるいは1と0など、二つの値を取りうる変数についての分布です。
確率分布は以下になります。
$${P(X=x)=p^k(1-p)^{1-k}}$$
ここで、$${x}$$は成功を表す1または失敗を表す0を取り、$${p}$$は成功確率を表します。
大文字の$${X}$$と小文字の$${x}$$は区別してください。
前者は確率変数で後者は実現値です。
ベルヌーイ分布の確率密度関数は描画する意味があまりないのですが、確率$${p}$$と連動して確率変数が推移します。
モーメント母関数
モーメント母関数の定義は以下になりますね。
$${M_x(t)=E[e^{tx}]=\sum e^{tx}P(X=x)}$$
導出も書いておきます。
ベルヌーイ分布だと、実現値は0か1なので、合計といっても以下のように考えれば良いだけですね。
$${M_x(t)=e^{tx}p^x(1-p)^{1-x}|_{x=0}+e^{tx}p^x(1-p)^{1-x}|_{x=1}}$$
$${e^0p^0(1-p)+e^tp(1-p)^0=(1-p)+pe^t}$$
よって、ベルヌーイ分布のモーメント母関数は、$${(1-p)+pe^t}$$になります。
期待値は実現値と確率の積なので、
$${E[X]=p}$$
分散
$${Var(X)=p(1-p)}$$
になります。
補足｜二項分布との関わり
ベルヌーイ試行を繰り返すことで、二項分布が導出されます。
＄${n}$$回の独立したベルヌーイ試行の和は二項分布に従います。
以下が二項分布の確率質量関数$${Bin(n,p)}$$です。
$${P(X=k)=\begin{pmatrix}n \\k \\\end{pmatrix}p^k(1-p)^{n-k}}$$
$${\begin{pmatrix}n \\k \\\end{pmatrix}}$$は組み合わせ数で、$${n}$$個の独立した試行から$${k}$$個の成功を取り出す、と考えます。
このように、ベルヌーイ試行は二項分布の基本単位となり、$${n}$$回の繰り返しによって、それぞれの試行の結果の和が二項分布に従うことがわかりました。
ここから先は
頂いた活動費は、全て「青の統計学」活動費用に使います！note限らずサービス展開していくのでお楽しみに！