ベイズ法超入門

序

※ この記事は行間が一般的に広い「統計検定準1級対応 統計学実践ワークブック（以下ワークブック）」31章ベイズ法を読み進めるにあたって、統計検定準1級に合格できるレベルの橋わたし的な役割になるよう基礎的な内容だけ書かれたものである

前提となる基礎的な知識がある状態とない状態でワークブックの理解度にあとあと大きな差が出ると考え、またそのようにまとめているサイトがないこともあり今回こちらにて備忘録も兼ねてまとめた

ですので浅い解説や触れていないまま解説が終わっているものに関しては、別の資料等を参考にしていただければと思う

ベイズ法のモチベーション

例えば裏表が等確率に出るコインを10回投げた結果
表2回　裏8回でたとする

このときそれぞれの事象の生起確率は
20% 80%となるが、本当にこれで良いのか

小学生でもわかる感覚ではの50%から明らかに乖離している状況であり
さすがに少し確率の値を修正したくなる

なんでこんなことが起きているかというと
手元の少ない数のデータで確率を計算しているからである
そこでなんとか条件をつけてデータの数を擬似的に増やして確率を計算したい

となると条件付き確率でも条件という前提を定義してきたことから
今回もベイズの考え方を使おうとなってくる

つまりコインの裏表って大体50%だよねっていう情報を
確率分布として定義し（これを事前分布という）
この前提の上で確率を計算し修正する

今回の前提はコインを100回投げたら50回裏表それぞれ出たという事前分布を仮定する

$$
P (事前分布) =  _{100} C_{50}  p^{50}(1-p)^{50}
$$

これに表が2回裏が8回でる二項分布を掛け合わせると

$$
P (事後分布) = _{100} C_{50}  p^{50}(1-p)^{50} × {}_{10} C_{2}  p^{2}(1-p)^{8}
$$

となり事前分布に対してこれは事後分布と呼ばれる
後で解説するがこの事後確率の最大事後確率の推定量は

$$
p_{MAP} = argmax(P) = \frac{52}{52+58} = 47.27
$$

となるので確かに50%に近くなった！

つまり事前分布を定義して手元のデータを擬似的に増やして
より正確な確率を求めることができた

事前分布と事後分布の性質

これまで話してきた内容を一旦整理する
ワークブックには事後分布の定義式が与えられていますが
最初のうちは眺めているだけで十分

重要なのは事後分布は尤度関数と事前分布の積で与えられるということ
なので事後分布を求める際には事前分布だけでなく尤度関数も準備する
$${x}$$は手元のデータで$${\theta}$$はモデルを定めるパラメーターを指す

$$
\pi(\theta | x)  \propto f( x | \theta) \pi(\theta)
$$

また特に事前分布や尤度関数のによって事後分布の形が決まってくる組み合わせも存在する
この事前分布を共役事前分布という

https://academ-aid.com/statistics/def-conjugate

ベイズ法に用いられる推定量

事後分布の最頻値を Maximum a Posteriori (MAP) 推定値
事後分布の平均値を Expected a Posteriori (EAP) 推定値
という

ということは事後分布の最頻値と平均値を抑えておくことが重要だということがわかる
実際に下記に代表的なモデルを例にしながら確認していく

ベータ2項モデル

共役事前分布にベータ分布を仮定しているのがベータ2項モデルという
このとき事後分布は先ほど確認したようにベータ分布のままで、
尤度関数は2項分布となる

事前分布を$${B(a, b)}$$とし、2項分布を$${Bin(n,p)}$$とすると事後分布は

$$
B(a,b) → B(a + x,  b + n - x)
$$

ここでベータ分布$${B(s,t)}$$の期待値と最頻値はそれぞれ

$$
期待値 = \frac{s}{s + t}\\
{}\\
最頻値 = \frac{s-1}{s+t-2}
$$

これを利用すると事後分布の期待値と最頻値は

$$
期待値 = \frac{a + x}{a + b + n}\\
{}\\
最頻値 = \frac{a + x -1}{a + b + n -2}
$$

となる

ガンマポアソンモデル

共役事前分布にガンマ分布を仮定しているのがガンマポアソンモデルという
このとき事後分布は先ほど確認したようにガンマ分布のままで、
尤度関数はポアソン分布となる

事前分布を$${Ga(\alpha, \beta)}$$とし、ポアソン分布からの独立なデータを$${x_1, x_2, … x_n}$$とすると事後分布は

$$
Ga(\alpha,\frac{1}{\beta}) → Ga(\alpha + \Sigma_{i} x_i,  \frac{1}{\beta + n})
$$

ここでガンマ分布$${Ga(s,t)}$$の期待値と最頻値はそれぞれ

$$
期待値 = \frac{s}{t}\\
{}\\
最頻値 = \frac{s-1}{t}
$$

これを利用すると事後分布の期待値と最頻値は

$$
期待値 = (\alpha + \Sigma_{i} x_i )(\beta + n)\\
{}\\
最頻値 = (\alpha + \Sigma_{i} x_i -1)(\beta + n)
$$

となる