情報理論(第7回　結合確率、条件付き確率、周辺確率、ベイズのルール　その２）

阿坂先生
前回に引き続き結合確率、条件付き確率、周辺確率、ベイズのルールを勉強しよう。今回は具体的な数字を入れて考えてみよう。

桂香助教
お題は天気の例にするわね。結合確率を以下の例とするわ。結合確率P(x,y)とはｘであり、かつ、ｙである確率だったわね。

P(東晴,横晴)=0.5
P(東晴,横雨)=0.05
P(東雨,横晴)=0.15
P(東雨,横雨)=0.3

表で書くとこんな感じね。

麦わら君
はい。大丈夫です。

阿坂先生
では、ここから周辺確率P(東晴),P(東雨),P(横晴),P(横雨)を求めてみよう。周辺確率の求め方覚えているかな？

桂香助教
周辺確率P(東晴)は横浜の天気に無関係に晴れる確率だから

P(東晴) = P(東晴,横晴) +P(東晴,横雨) = 0.5 + 0.05 = 0.55 ​

になるわ。忘れた人は第6回を見たり参考書をめくってみてね。これを表で書くと以下になるわ。

麦わら君
横に足せばいいんだね。おー、そうすると他の周辺確率P(東雨),P(横晴),P(横雨)も縦や横に足せばよさそう。

阿坂先生
そのとおりじゃ。結合確率、周辺確率が分かったのでベイズのルールを用いて条件付き確率を求めてみよう。ベイズのルール覚えておるかな？

桂香助教
ベイズのルールは以下だったわね。

結合確率P(東晴,横晴）＝ 条件付き確率P(東晴|横晴）×　周辺確率P（横晴）

これを変形して

条件付き確率P(東晴|横晴）＝結合確率P(東晴,横晴）/　周辺確率P（横晴）

として、上の表を条件付き確率に変換してみる。まず、横浜の天気のほうを条件とすると

麦わら君
ほうほう、なるほど。では東京の天気のほうを条件とすると・・・

阿坂先生
計算された結合確率、条件付き確率、周辺確率を見比べたときに何か分かったことがあるかな？

麦わら君
結合確率と条件付き確率を比べると条件付き確率のほうが91%とか9%とか極端な確率になっていますね。

桂香助教
周辺確率と条件付き確率の関係を考えると意味が見えてくるわ。例えば、横浜の天気。晴れる確率は65%、雨の確率は35%よね。

麦わら君
これは周辺確率ですね。

桂香助教
ところが条件付き確率を見ると、東京が晴れだった場合の晴れる確率は91%、雨の確率は9%となる。この理由は何？

麦わら君
そりゃ、東京の天気と横浜の天気は似ていますからね。東京の天気を知れば横浜の天気は予想できます。

阿坂先生
そう！この考え方が大事なのじゃ。晴れの確率が65%だった横浜の天気が東京の天気が分かれば確率をアップグレードできるんじゃ。これがベイズのルールの真骨頂じゃ。

麦わら君
東京が晴れって分かれば、横浜が晴れている確率は91%。それが条件付き確率P(横晴|東晴）の意味だからか。

桂香助教
なにかの情報を得て、確率がアップデートされる。これって前にやった情報の量に関係してくると思わない？

麦わら君
あー確かに。この確率からエントロピーを求められるんじゃないかということ？

阿坂先生
素晴らしい！そうゆうことじゃ。条件付き確率に対応するものが条件付きエントロピー、結合確率に対応するものが結合エントロピーと言う。この関係は次回に勉強するぞい。

桂香助教
ここでは、もう少し確率に慣れ親しむためにもう１題例題を出すわ。条件付き確率が分かっているときに結合確率を求める問題。

道が混んでいるか空いているかの条件において、平日か休日かの条件付き確率が分かっているとする。例えば、道が混んでいる場合において休日である確率はP(日休|道混)=0.9とするいった感じよ。他の場合を以下の表とする。

このとき、結合確率を求めようという問題があったとする。できるかな？

麦わら君
結合確率P(日休,道混)ですよね。わかります！まずは結合確率はベイズのルールで

P(日休,道混)=P(日休|道混)×P(道混)=0.9×P(道混)
P(日休,道空)=P(日休|道空)×P(道空)=0.2×P(道空)=0.2×{1-P(道混)}
P(日平,道混)=P(日平|道混)×P(道混)=0.1×P(道混)
P(日平,道空)=P(日平|道空)×P(道空)=0.8×P(道空)=0.8×{1-P(道混)}　　　(1)式

となりますよね。

阿坂先生
ふむふむ。

麦わら君
そして、４つ（全パターン）の結合確率の和は１になるはずだから

P(日休,道混)＋P(日休,道空)+P(日平,道混)＋P(日平,道空)=1

ですよね。上式に（１）を代入すればP(道混)が求められて、結合確率P(日休,道混)も求められるんじゃないかな？

桂香助教
ほうほう。

麦わら君
では代入してみます。

0.9×P(道混)＋0.2×{1-P(道混)}+0.1×P(道混)＋0.8×{1-P(道混)}=1
0=0

あれ！！解けない？

桂香助教
ふふふ。解けないのよ。条件付き確率から結合確率は求めることはできない。求めるためにはもう１つ条件が必要なの。

阿坂先生
例えば、P(道混)＝P(日休）という条件があれば解ける。どうやって解くか考えてみるぞぃ。

麦わら君
うーん。わかりません。

桂香助教
周辺確率の計算でこんな関係あったわよね。

P(日休) = P(日休,道混)＋P(日休,道空)
　　　  = P(日休|道混)×P(道混)＋P(日休|道空)×P(道空)

麦わら君
たしかに！それでP(道混)＝P(日休）を使えば

P(道混) = P(日休|道混)×P(道混)＋P(日休|道空)×{1-P(道混)}
P(道混) = 0.9×P(道混)＋0.2×{1-P(道混)}

P(道混) = 2/3

になる。だからP(道混) = 2/3を(1)式に代入すれば

P(日休,道混)=P(日休|道混)×P(道混)=0.9×2/3=0.6
P(日休,道空)=P(日休|道空)×P(道空)=0.2×P(道空)=0.2×1/3=0.067
P(日平,道混)=P(日平|道混)×P(道混)=0.1×2/3=0.067
P(日平,道空)=P(日平|道空)×P(道空)=0.8×P(道空)=0.8×1/3=0.267　

になるんだね。

阿坂先生
そのとおりじゃ。では次回からは条件付きエントロピー、結合エントロピーを求めてみよう！