信念のモデル化によりベイズの定理を導出する

導入

あなたはある町の発熱外来の医者です。今日の患者は食べ物の味や匂いがわからなくなったという症状を訴えています。このとき、患者がコロナウィルスに罹っている確率はいくらでしょうか。

患者はコロナか、風邪か

このような推論を行う上で避けては通れないのがベイズの定理です。情報収集のためインターネットを散策していると、ベイズの定理を応用した問題を解説している記事は多く存在することに気づきます。例えば、ある病気に関する検査結果が陽性であったときに、検査を受けた人が本当に病気である確率を求める問題がよく解説されています。ベイズの定理は非常に多くの場面で応用されているようです。ベイズの定理は推論の基礎となっています。

にもかかわらず、ベイズの定理の直観的な解釈を説明している記事は私の知る限り少ないようです。ベイズの定理を使う以上、その意味を理解しておくことは、ベイズの定理を使うのと同じくらい重要なことではないでしょうか。そこで本記事ではベイズの定理の意味を探ります。そのために、まずベイズ推定の基本的な考え方である信念について説明します。信念の意味と、信念が観測される事実に基づいてどのように変更されるべきであるかを考えます。次に、説明した信念の性質を満たすように、信念の更新をモデル化し、ベイズの定理を導きます。

モデルといっても、厳密な数学的定式化を試みるわけではありません。また、一般論だけでなく、冒頭で紹介したコロナウィルスに関する具体例も紹介するので、安心してください。

仮説と信念

患者Aを診断する発熱外来の医師の例で具体的に考えてみます。医者にとって、患者に対する仮説としてあり得るのは、患者Aがコロナウィルスに罹っているか、ただの風邪であるかの二つです(本当は風邪でもコロナでもない可能性もあるのですが、簡単のため、このように考えましょう)。医師はそれぞれの仮説をいくらか信じています。これが信念です。信念は$${\mathrm{Cr}(コロナ)}$$, $${\mathrm{Cr}(風邪)}$$と表されます。信念は主観的に定められます。今朝医師がコロナが大流行しているというニュースを見ていれば、$${\mathrm{Cr}(コロナ) >\mathrm{Cr}(風邪)}$$かもしれません。あるいは、パンデミックは終息しているようだということを耳にしていれば、$${\mathrm{Cr}(コロナ)<\mathrm{Cr}(風邪)}$$となるでしょう。

左: 風邪に傾いた信念。右: コロナに傾いた信念

便宜上、信念は以下の条件を満たしているとします。

$$
\begin{equation*}
\mathrm{Cr}(コロナ)\geq 0,\quad \mathrm{Cr}(風邪)\geq0,\quad\mathrm{Cr}(コロナ) + \mathrm{Cr}(風邪) = 1
\end{equation*}
$$

今の例で述べたことを一般化しておきましょう。我々は不確実な状況に直面しています。ありうる事実は二つあるのですが、そのどちらが本当なのかわかりません。ありうる事実を仮説と呼ぶことにし、$${H_1}$$, $${H_2}$$と表します。ある仮説を信じている度合い、どの程度その仮説を信じているかを信念と呼びます。仮説$${H_1}$$に対する信念を$${\mathrm{Cr}(H_{1})}$$, 仮説$${H_2}$$に対する信念を$${\mathrm{Cr}(H_{2})}$$と表しましょう。便宜上、信念を以下のように定めます。

$$
\begin{equation*}
\mathrm{Cr}(H_{1})\geq 0,\quad \mathrm{Cr}(H_{2})\geq0,\quad\mathrm{Cr}(H_{1}) + \mathrm{Cr}(H_{2}) = 1
\end{equation*}
$$

信念の更新

さて、再び医者の例に戻ります。医者が診察において患者が味覚障害を訴えているということを知りました。このとき医者の信念はコロナに傾くはずです(下図)。結果として、医師は患者Aはコロナウィルスに罹患している可能性が高いと判断するでしょう。皆さんもこのような推理は妥当だと考えるはずです。

患者Aが味覚障害を訴えたことにより、医師の信念はコロナに傾く

この例を念頭に置いて、合理的な推論の特徴を定式化してみましょう。患者Aが味覚症状を訴えたという情報を得た後、患者Aがコロナであるという仮説$${H_1}$$に対する医師の信念を$${\mathrm{Cr}(コロナ|味覚障害)}$$と表します。同様に、患者Aが味覚症状を訴えたという情報を得た後、患者Aが風邪であるという仮説$${H_2}$$に対する医師の信念を$${\mathrm{Cr}(風邪|味覚障害)}$$と表します。また、Aがコロナであるという情報を得た後で、医師が患者Aが味覚症状を訴えるということを信じる度合いを$${\mathrm{Cr}(味覚障害|コロナ)}$$と表しましょう。Aが風邪であるという情報を得た後で、医師が患者Aが味覚症状を訴えるということを信じる度合いを$${\mathrm{Cr}(味覚障害|風邪}$$と表します。信念なので、足し合わせると1になることを要求します。

$$
\begin{equation*}
\mathrm{Cr}(コロナ|味覚障害) + \mathrm{Cr}(風邪|味覚障害) = 1
\end{equation*}
$$

次に、患者Aがコロナであるという仮説に対する医師の信念と、患者Aが風邪であるという仮説に対する医師の信念の比を定義し、信念比と呼びます。

$$
\begin{equation*}
元々の信念比 = \frac{\mathrm{Cr}(コロナ)}{\mathrm{Cr}(風邪)}
\end{equation*}
$$

$$
\begin{equation*}
診察後の信念比 = \frac{\mathrm{Cr}(コロナ|味覚障害)}{\mathrm{Cr}(風邪|味覚障害)}
\end{equation*}
$$

信念比は、医師がどちらの仮説の方がよりあり得ると信じているかを表しています。実際、信念比が1より大きければ、医師の信念はコロナに傾いています。信念比が1より小さければ、医師の信念は風邪に傾いています。信念比が1であれば、医師の信念はどちらにも傾いていません。

ここで次のような自然な仮定を置きます。

• $${\mathrm{Cr}(味覚障害|コロナ) > \mathrm{Cr}(味覚障害|風邪)}$$であれば、すなわち「患者Aがコロナであれば、患者Aが風邪である場合より味覚症状が起きやすい」と医師が考えているならば、診察後の信念比は元々の信念比よりも大きくなる。

• $${\mathrm{Cr}(味覚障害|コロナ) < \mathrm{Cr}(味覚障害|風邪)}$$であれば、すなわち「患者Aがコロナであれば、患者Aが風邪である場合より味覚症状が起きにくい」と医師が考えているならば、診察後の信念比は元々の信念比よりも小さくなる。

• $${\mathrm{Cr}(味覚障害|コロナ) = \mathrm{Cr}(味覚障害|風邪)}$$であれば、すなわち「味覚障害の起こりやすさは患者Aがコロナであるか、風邪であるかによらない」と医師が考えているならば、診察後の信念比は元々の信念比と等しい。

この仮定を以下の数式で表現しましょう。診察後の信念比は元々の信念比に$${\mathrm{Cr}(味覚障害|コロナ)/\mathrm{Cr}(味覚障害|風邪)}$$をかけたものに等しい、すなわち

$$
\begin{equation*}
\frac{\mathrm{Cr}(コロナ|味覚障害)}{\mathrm{Cr}(風邪|味覚障害)}
=\frac{ \mathrm{Cr}(味覚障害|コロナ)}{\mathrm{Cr}(味覚障害|風邪)} \frac{\mathrm{Cr}(コロナ)}{\mathrm{Cr}(風邪)}
\end{equation*}
$$

と表現します。この表現が成り立てば、我々の仮説の性質が満たされることが確認できます。

一般化しておきましょう。仮説$${H_{1}}$$の、仮説$${H_{2}}$$に対する元々の信念比を$${\mathrm{Cr}(H_{1})/\mathrm{Cr}(H_{2})}$$とし、データ$${D}$$を得た後の信念比を$${\mathrm{Cr}(H_{1}|D)/\mathrm{Cr}(H_{2}|D)}$$とします。データ$${D}$$を得た後、信念比は次のように更新されます。

$$
\begin{equation*}
\frac{\mathrm{Cr}(H_{1}|D)}{\mathrm{Cr}(H_{2}|D)}
=\frac{ \mathrm{Cr}(D|H_1)}{\mathrm{Cr}(D|H_2)} \frac{\mathrm{Cr}(H_1)}{\mathrm{Cr}(H_2)}
\end{equation*}
$$

データを取得する前の信念比を事前信念比、取得した後の信念比を事後信念比と呼びます。$${\mathrm{Cr}(D|H_1)}$$は仮説$${H_{1}}$$が持つ、データ$${D}$$に対する主観的な説明能力と呼ばれることがあります。$${\mathrm{Cr}(D|H_1)}$$は、仮説$${H_{1}}$$が正しい場合に主体が考える$${D}$$の起こりやすさを表しているからです。説明能力という用語を用いると、信念の更新は次のように言い換えられます。

1. データ$${D}$$に対する仮説$${H_{1}}$$の説明能力を計算する。

2. データ$${D}$$に対する仮説$${H_{2}}$$の説明能力を計算する。

3. それらの比をとり、事前信念比に乗じると事後信念比が得られる。

ベイズの定理の導出

ここまでで、信念の定式化と、観測に伴う更新ルールの定義、さらにその直観的な意味を説明しました。次に、いよいよベイズの定理を導出します。導出といっても、更新の式を少し変形するだけです。信念については、次の関係式を要請していました。

$$
\begin{equation*}
\mathrm{Cr}(H_{1}) + \mathrm{Cr}(H_{2}) = 1
\end{equation*}
$$

この式と、更新の式を合わせると以下の式が得られます。

$$
\begin{align*}
\mathrm{Cr}(H_{1}|D) &=& \frac{\mathrm{Cr}(D|H_{1})\mathrm{Cr}(H_{1})}{\mathrm{Cr}(D|H_{1})\mathrm{Cr}(H_{1}) + \mathrm{Cr}(D|H_{2})\mathrm{Cr}(H_{2})},\\\
\mathrm{Cr}(H_{2}|D) &=& \frac{\mathrm{Cr}(D|H_{2})\mathrm{Cr}(H_{2})}{\mathrm{Cr}(D|H_{1})\mathrm{Cr}(H_{1}) + \mathrm{Cr}(D|H_{2})\mathrm{Cr}(H_{2})}
\end{align*}
$$

これは、ベイズの定理に他なりません。信念をモデル化することによって、ベイズの定理を導きました。

まとめ

本記事では、ベイズの定理、特にベイズ更新がどのような意味を持っているかを考察しました。主体が持つ信念をモデル化し、信念の更新のルールを定めることによってベイズの定理の解釈が可能となりました。事後信念比は事前信念比に仮説の説明能力比をかけることによって得られるというモデルによって、ベイズの定理が導かれました。このルールは、得られたデータをよく説明する仮説を支持するという非常に自然なものであり、ベイズ更新は合理的な推測を反映しているということが示唆されます。

付録

以降の記述は付録的なものです。気になる方は読んでみてください。

仮説が3つ以上ある場合

これまでは、仮説が2つの場合を考えてきました。我々の更新ルールを、$${N}$$個の仮説$${H_1,\dots H_N}$$がある場合にも拡張しましょう。

仮説が$${N}$$個ある場合に定めるべきなのは、仮説$${H_1}$$に対する仮説$${H_i}$$の信念比です($${i=2,\dots,N}$$)。仮説$${H_{i}}$$の事後信念$${\mathrm{Cr}(H_{i}|D)}$$が仮説$${H_{1}}$$の事後信念の何倍かがわかれば、あとは規格化条件から全ての仮説の事後信念が求まります。そこで、信念の更新ルールを次のように定めます。

$$
\begin{equation*}
\frac{\mathrm{Cr}(H_{i}|D)}{\mathrm{Cr}(H_{1}|D)}
=\frac{ \mathrm{Cr}(D|H_i)}{\mathrm{Cr}(D|H_1)} \frac{\mathrm{Cr}(H_i)}{\mathrm{Cr}(H_1)},\quad i=2,\dots,N
\end{equation*}
$$

信念に対する規格化条件は

$$
\begin{equation*}
\sum_{i = 1}^{N} \mathrm{Cr}(H_i|D) = 1
\end{equation*}
$$

です。

くどいですが、この更新のルールの直観的な意味を書いておきます。$${\mathrm{Cr}(H_{i})/\mathrm{Cr}(H_1)}$$は事前の仮説$${H_{i}}$$と$${H_{1}}$$の信念比を表しています。$${\mathrm{Cr}(H_{i}|D)/\mathrm{Cr}(H_1|D)}$$は事後の仮説$${H_{i}}$$と$${H_{1}}$$の信念比を表しています。$${\mathrm{Cr}(D|H_{i})/\mathrm{Cr}(D|H_{1})}$$はデータ$${D}$$に対して仮説$${H_{i}}$$が持つ説明能力と、仮説$${H_{1}}$$が持つ説明能力の比を表しています。データ$${D}$$に対する$${H_i}$$の説明能力が$${H_{1}}$$の説明能力より高いと、事後の信念比は事前の信念比よりも高くなります。

更新のルールを、信念に対する規格化条件に代入すると

$$
\begin{equation*}
\mathrm{Cr}(H_{1}|D) + \sum_{i = 2} ^{N}\frac{\mathrm{Cr}(D|H_i)\mathrm{Cr}(H_{i})}{\mathrm{Cr}(D|H_{1})\mathrm{Cr}(H_{1})}\mathrm{Cr}(H_{1}|D) = 1
\end{equation*}
$$

となります。これを$${\mathrm{Cr}(H_{1}|D)}$$について解くと

$$
\begin{equation*}
\mathrm{Cr}(H_{1}|D) = \frac{\mathrm{Cr}(D|H_{1})\mathrm{Cr}(H_{1})}{\sum_{i=1}^{N}\mathrm{Cr}(D|H_i)\mathrm{Cr}(H_i)}
\end{equation*}
$$

が得られ、さらにこれを更新のルールに代入すれば

$$
\begin{equation*}
\mathrm{Cr}(H_{i}|D) = \frac{\mathrm{Cr}(D|H_{i})\mathrm{Cr}(H_{i})}{\sum_{i=1}^{N}\mathrm{Cr}(D|H_i)\mathrm{Cr}(H_i)}
\end{equation*}
$$

が得られます。これはベイズの定理に他なりません。

仮説が連続的な場合

実際にベイズ推定を行う場合は、仮説が連続的であることもあります。例えば推定したいものが確率分布のパラメータである場合です。このような場合にも本記事の更新ルールを拡張しておきます。

仮説については次のように考えます。パラメータが区間$${[\theta,\theta+d\theta]}$$に入っているという仮説を$${H_{\theta}}$$と表します。ここで、以下のことに注意してください。パラメータがちょうど$${\theta}$$であるという信念は$${0}$$です。有限なのは、パラメータがある幅に入るという信念です。パラメータが区間$${[\theta,\theta+d\theta]}$$に入るという信念を$${\mathrm{cr}(\theta)d\theta}$$と表します。このように定義しても直観とは反しないし、数学的にも都合がいいのです。データを得たあと、信念は$${\mathrm{cr}(\theta|D)d\theta}$$に更新されます。

以下の図は、仮説が連続的な場合の信念の概念図を示しています。パラメータが$${\theta}$$であるという信念$${\mathrm{cr}(\theta)}$$が縦軸で、パラメータ$${\theta}$$が横軸です。青い点線は事前信念を、オレンジの実線は事後信念をイメージしています。事前は$${\theta}$$が平均としては小さいと信じていたのに対し、データを得た後では$${\theta}$$はより大きいと信じるようになっています。

青の点線が事前信念、オレンジの実践が事後信念とします。

そして、仮説$${H_\theta}$$が持つデータ$${D}$$に対する説明力を$${\mathrm{Cr}(D|H_\theta)}$$で表します。仮説$${H_\theta}$$の下でデータ$${D}$$が起きやすいと考えているほど、$${H_{\theta}}$$の説明力は高まります。

仮説が離散的であった場合には、ある一つの仮説$${H_1}$$に対する他の仮説の信念比の更新ルールを定めれば十分でした。連続の場合も同様のはずです。そこで、パラメータ$${\theta}$$をある値$${\theta_0}$$に固定し、他の仮説との信念比をとり、その更新ルールを以下のように定めます。

$$
\begin{equation*}
\frac{\mathrm{cr}(\theta|D)d\theta}{\mathrm{cr}(\theta_0|D)d\theta}
= \frac{\mathrm{Cr}(X|H_{\theta})}{\mathrm{Cr}(X|H_{\theta_0})}\frac{\mathrm{cr}(\theta|D)d\theta}{\mathrm{cr}(\theta_0|D)d\theta},\quad\mathrm{for\ all}\ \theta
\end{equation*}
$$

左辺は、データを得たあと、仮説$${H_{\theta_0}}$$と比べて、仮説$${H_\theta}$$をどの程度信じているかを表しています。データに対する$${H_{\theta}}$$の説明力が$${H_{\theta_0}}$$の説明力より大きければ、信念比は強まります。

$${d\theta}$$は分子と分母で相殺するので

$$
\begin{equation*}
\frac{\mathrm{cr}(\theta|D)}{\mathrm{cr}(\theta_0|D)}
= \frac{\mathrm{Cr}(X|H_{\theta})}{\mathrm{Cr}(X|H_{\theta_0})}\frac{\mathrm{cr}(\theta|D)}{\mathrm{cr}(\theta_0|D)},\quad\mathrm{for\ all}\ \theta
\end{equation*}
$$

となります。信念に対する規格化条件は

$$
\int d\theta\ \mathrm{cr}(\theta|D) = 1
$$

です。この条件に更新のルールを代入して整理すると、$${\theta_0}$$に対するベイズの定理が得られます。

$$
\mathrm{cr}(\theta_0|D) = \frac{\mathrm{cr}(D|\theta_0)\mathrm{cr}(\theta_0)}{\int d\theta\mathrm{cr}(D|\theta)\mathrm{cr}(\theta)}
$$

$${\theta_0}$$の選び方に特に制限はありませんでした。結局ベイズの定理は全ての$${\theta}$$について成り立つということが結論されます。

$$
\mathrm{cr}(\theta|D) = \frac{\mathrm{cr}(D|\theta)\mathrm{cr}(\theta)}{\int d\theta\mathrm{cr}(D|\theta)\mathrm{cr}(\theta)}\quad\mathrm{for\ all}\ \theta
$$