ベイズの定理の基礎

　袋が4つあってそれぞれ下のようにに赤玉と白玉が入っているとします。

　このとき袋をランダムに選び玉を一つ取り出す操作を行います。そして「赤玉が出た時、どの袋から出たものか？」という問いが出されたとき、つまり赤玉という「結果」から袋という「原因」を推定するときに使われるのがベイズの定理になります。言い換えれば、「赤玉が出た」という後に行った事象をもとに、前に行った「どの袋をえらんだか」の条件付き確率を計算できるということです。

ベイズの定理の式と導出

ベイズの定理の式

ベイズの定理は以下の式で表されます。

$$
P(B_i|A)=\dfrac{P(B_i)・P(A|B_i)}{\sum_{j=1}^n P(B_j)・P(A|B_j)}
$$

　ここで$${P(A|B)}$$は$${B}$$が起きた時の$${A}$$の条件付き確率です。先ほどの袋から玉を取り出す操作においては$${A}$$が赤玉を取り出した事象、$${B_i}$$がそれぞれA～Dの袋を選んだ事象になる。この定理の便利な点は「玉を見てから袋を推定する」という遡源的な確率$${(=P(B_i|A))}$$を「袋を選んでから玉を取り出す」という比較的馴染み深い条件付確率$${(=P(A|B_i))}$$から算出できるという点にあります。

乗法定理

導出の前に乗法定理の確認です。

$$
\begin{split}
P(A∩B)&=P(A)×P(B|A)\\
&=P(B)×P(A|B)
\end{split}
$$

導出は簡単で、条件付き確率の式

$$
P(A|B)=\dfrac{P(A∩B)}{P(B)}
$$

の分母を払っただけです。イメージしやすくするために例題を用意しました。

乗法定理の例題

3本の当たりを含んだ7本のくじがある。この中からAがくじを1本引き、そのくじを戻さずにさらにBがくじを引くとき、AもBも当たりくじを引く確率を求めよ。

解答.
　Aが当たりを引く事象を$${A}$$、Bが当たりを引く事象を$${B}$$と置くとき、AとBがともに当たりを引く事象は$${A∩B}$$と置ける。この問題では$${P(A∩B)}$$を求めることになる。
　乗法定理より$${P(A∩B)=P(A)×P(B|A)}$$となるので、$${P(B|A)}$$、つまりAが当たりを引いた状態でBが当たりを引く条件付き確率を求めればよいことになる。Aが当たりを引くと「6本中2本が当たり」という状態になるので、$${P(B|A)=\dfrac{1}{3}}$$になる。以上から

$$
\begin{split}
P(A∩B)&=P(A)×P(B|A)\\
&=\dfrac{3}{7}×\dfrac{1}{3}\\
&=\dfrac{1}{7}
\end{split}
$$

と計算ができます。式で見ると難しく感じますが、乗法定理を知らない状態でも解ける問題なので定理のイメージをつかみやすいと思います。

ベイズの定理の導出

ここから導出です。

$$
P(B_i|A)=\dfrac{P(A∩B_i)}{P(A)}・・・(1)
$$

この式に乗法定理$${P(A∩B_i)=P(B_i)×P(A|B_i)}$$を代入すると

$$
P(B_i|A)=\dfrac{P(B_i)×P(A|B_i)}{P(A)}・・・(2)
$$

このままでもベイズの定理として使うことができますが、冒頭の例題では$${P(A)}$$、つまり赤玉が出る確率は分かっていません。なのでさらに式変形を行います。$${P(A)=P(A∩B_1)+P(A∩B_2)+…+P(A∩B_n)}$$なので、これを(2)に代入してさらに乗法定理を適用すると

$$
\begin{split}
P(B_i|A)&=\dfrac{P(B_i)×P(A|B_i)}{P(A∩B_1)+P(A∩B_2)+…+P(A∩B_n)}・・・(3)\\
&=\dfrac{P(B_i)×P(A|B_i)}{\sum_{j=1}^n P(B_j)・P(A|B_j)}・・・(4)
\end{split}
$$

となり(4)が最初に紹介した式が導けます。

例題

最初に示した袋の例を使って問題を解きましょう。

図の状態において、ランダムに選ばれたある一つの袋から玉を一つ取り出したところ赤玉であった。このとき、その玉がCの袋から取り出されたものである確率を求めよ。

赤玉が取り出された事象を$${X}$$、玉を袋A取り出す事象を$${Y_A}$$とし、B~Dの袋から取り出される事象も同様に定義する。ここで各袋が選ばれる確率は等しいので

$$
P(Y_A)=P(Y_B)=P(Y_C)=P(Y_D)=\dfrac{1}{4}
$$

また、各袋から赤玉が取り出される確率は

$$
P(X|Y_A)=\dfrac{1}{3}   P(X|Y_B)=\dfrac{3}{4}\\
{}\\
P(X|Y_C)=\dfrac{1}{4}   P(X|Y_D)=\dfrac{2}{5}
$$

これをベイズの定理に代入すると

$$
\begin{split}
P(Y_C|X)&=\dfrac{P(Y_C)・P(X|Y_C)}{\sum P(Y_j)・P(X|Y_j)}\\
&=\dfrac{P(Y_C)・P(X|Y_C)}{P(Y_A)P(X|Y_A)+P(Y_B)P(X|Y_B)+P(Y_C)P(X|Y_C)+P(Y_D)P(X|Y_D)}\\
&=\dfrac{\frac{1}{4}×\frac{1}{4}}{\frac{1}{4}×\frac{1}{3}+\frac{1}{4}×\frac{3}{4}+\frac{1}{4}×\frac{1}{4}+\frac{1}{4}×\frac{2}{5}}\\
&=\dfrac{15}{104}\simeq0.144
\end{split}
$$

となり約14.4%であることが分かりました。ベイズの定理の式の分母は選んだ袋に因らないので、分子だけ変えれば他の袋から取り出した場合についても楽に計算できます。

$$
P(Y_A|X)=\dfrac{5}{26}\simeq0.192\\
{}\\
P(Y_B|X)=\dfrac{45}{104}\simeq0.437\\
{}\\
P(Y_D|X)=\dfrac{3}{13}\simeq0.231
$$

　例題を通して感じ取れたかとは思いますが、公式の形からも分かるようにベイズ定理は結局条件付確率の基本式を使いやすいように変形しているだけです。公式が複雑に見えますが、条件付確率から出発して乗法定理等を使って組み立てていくのが良いでしょう。

　補足ですが、この問題設定で「赤玉を取り出す確率を求めよ」と投げかけられたとき、「玉は全部で16個、赤玉は7個だから$${\frac{7}{16}}$$だ！」としてしまう人は確率をもう一度勉強した方がいいと思います。上で計算した例題ではベイズ定理に代入したときの分母は$${P(X)=\frac{13}{30}}$$なので、その辺りを自分の感覚と上手く擦り合わせると良いと思います。(袋に入ってる玉の数が違うので、各赤玉の取り出される確率は袋ごとに異なる)
また、この計算方法なら袋の選び方に偏りが生じても対応することができるので、ベイズの定理が有用であることが実感できると思います。
　下の記事でベイズの定理の例をもう少し扱いたいと思います。