多次元確率分布：共分散と相関係数

確率変数$${x,y}$$の共分散は、
$${Cov[x,y]=E[(x-E[x])(y-E[y])]}$$
と定義される。これを用いれば、$${x+y}$$の分散は、
$${V[x+y]=V[x]+V[y]+Cov[x,y]}}$$
と与えられる。
$${Cov[x,y]>0}$$の時、$${x}$$が増加すると、$${y}$$も増加し、
$${Cov[x,y]<0}$$の時、$${x}$$が増加すると、$${y}$$は減少する。
$${Cov[x,y]\sim 0}$$の時、$${x}$$と$${y}$$は互いに独立であると言える。
確率変数$${x,y}$$の分散共分散行列は、
$${\Sigma=\displaystyle{\begin{pmatrix}V[x] & Cov[x,y] \\Cov[x,y] & V[y] \\\end{pmatrix}}}$$
で与えられ、相関係数は共分散を正規化したもので、
$${\rho_{x,y}=\displaystyle{\frac{Cov[x,y]}{\sqrt{V[x]V[y]}}, -1\leq \rho_{x,y} \leq 1}}$$
となる。
確率変数$${x,y}$$が互いに完全に独立である場合、
$${g(x|y)=g(x)}$$
$${h(y|x)=h(y)}$$
$${E[xy]=E[x]E[y]}$$
$${M_{x+y}(t)=M_x(t)M_y(t)}$$
$${Cov[x,y]=0}$$
である。