多次元確率分布：同時確率分布、条件付確率分布、ベイズの定理

同時確率

離散型確率変数の$${x, y}$$が、同時にある値（$${x=y}$$とは限らない）を取る確率を$${Pr(x,y)}$$と表す。この同時確率質量関数は、
$${Pr(x,y)=f(x,y),\ f(x,y)>0}$$と示され、$${\displaystyle{\sum_{x,\ y }f(x,y)=1}}$$である。
$${x}$$の確率質量関数は、
$${g(x)=\displaystyle{\sum_{y}f(x,y)}}$$
であり、同じく$${y}$$の確率質量関数は、
$${h(y)=\displaystyle{\sum_{x}f(x,y)}}$$
で与えられ、周辺確率密度関数と呼ばれる。
$${x,\ y}$$が連続型で、$${a\leq x \leq b, \ c\leq y \leq d}$$の値を同時に持つ確率は
$${Pr(a\leq x \leq b, \ c\leq y \leq d)=\displaystyle{\int_a^b dx \int_c^d dy f(x,y),\ f(x,y)>0}}$$と示され、$${\displaystyle{\int\intf(x,y)dxdy=1}}$$である。
それぞれの周辺確率密度関数は、
$${Pr(a\leq x \leq b)=\displaystyle{\int_a^b dx \int dy f(x,y)=\int_a^b dx g(x), \ g(x)=\int f(x,y)dy }}$$
$${Pr(c\leq y \leq d)=\displaystyle{\int_c^d dy \int dx f(x,y)=\int_c^d dy h(y), \ h(y)=\int f(x,y)dx }}$$
の$${g(x),\ h(y)}$$で与えられる。

条件付確率分布

離散型確率変数$${x, y}$$において、$${y}$$の値が与えられた元での$${x}$$の確率$${Pr(x|y)}$$を、$${y}$$を条件とする条件付き確率分布と呼び、
$${Pr(x|y)=\displaystyle{\frac{Pr(x,y)}{Pr(y)}}}$$
となり、$${y}$$を条件とする$${x}$$の条件付き確率質量関数$${g(x|y)}$$は、
$${g(x|y)=\displaystyle{\frac{f(x,y)}{h(y)}}}$$で与えられる。
この時の$${x}$$の$${y}$$付き期待値は、
$${E[x|y]=\displaysytle{\sum_x xg(x|y)}}$$で与えられ、分散は
$${V[x|y]=E[(x-E[x|y])^2|y]}$$である。
連続型確率変数であるときは、$${Pr(y)=0}$$より、条件付き確率は定義できないが、期待値は以下のように求められる。
$${E[x|y]=\displaysytle{\int dx xg(x|y)}}$$

ベイズの定理

原因$${x}$$に対する結果$${y}$$の確率を$${Pr(y|x)}$$とし、$${y}$$が起こった時の原因が$${x}$$である確率を$${Pr(x|y)}$$と表すと、
$${\displastyle{Pr(x|y)=\frac{Pr(y|x)Pr(x)}{Pr(y)}}}$$
が与えられる。これをベイズの定理という。
　同時確率の定義から
$${Pr(x|y)Pr(y)=Pr(x,y)}$$
$${Pr(x,y)=Pr(y|x)Pr(x)}$$
より、$${Pr(x|y)Pr(y)=Pr(y|x)Pr(x)}$$が与えられる。よって、ベイズの定理が証明された。
連続型確率変数であるとき、ベイズの定理は
$${\displaystyle{g(x|y)=\ƒrac{h(y|x)g(x)}{h(y)}}}$$で与えられる。