独立な確率変数の和が従う確率分布

互いに独立である確率変数$${x,y}$$が、それぞれ確率密度関数$${g(x),h(y)}$$に従うとする。この２変数の和$${z=x+y}$$もまた確率変数であり、$${z}$$の確率密度関数は、$${k(z)=\displaystyle{\int dx g(x)h(z-x)}}$$で与えられる。これを畳み込みと呼ぶ。この畳み込み$${z=x+y}$$のモーメント母関数は$${M_z(t)=M_x(t)M_y(t)}$$で与えられる。
同じ種類の独立な確率分布同士の畳み込みの結果が、同じ種類の確率分布となる時、その確率分布は再生的であるという。
　正規分布$${\mathcal{N}(\mu_x, \sigma_x^2), \mathcal{N}(\mu_y, \sigma_y^2)}$$で与えられる確率変数$${x,y}$$が互いに独立である時、正規分布のモーメント母関数は$${M_x(t)=\displaystyle{\exp(\mu_x t + \frac{\sigma_x^2}{2}t^2)}}$$で与えられるから、
$${M_z(t)=M_x(t)M_y(t)=\displaystyle{\exp\Big((\mu_x+\mu_y) t + \frac{\sigma_x^2+\sigma_y^2}{2}t^2\Big)}}$$、これは、正規分布$${\mathcal{N}(\mu_x+\mu_y, \sigma_x^2+\sigma_y^2)}$$に他ならない。よって、正規分布は再生性があると言える。
　同様に、確率$${p}$$が等しい二項分布について、モーメント母関数は$${M_x(t)=(pe^t+q)^{n_x}}$$で与えられることから、
$${M_z(t)=M_x(t)M_y(t)=(pe^t+q)^{n_x}(pe^t+q)^{n_y})=(pe^t+q)^{n_x+n_y}}$$より、再生性がある。

確率変数$${x_1,\cdots,x_n}$$の同時確率質量関数$${f(x_1,\cdots,x_n)}$$が、ある確率密度関数$${g(x)}$$を用いて、$${f(x_1,\cdots,x_n)=g(x_1)\cdots g(x_n)}$$と書ける時、確率変数$${x_1,\cdots,x_n}$$は独立同一分布な確率変数で、iid、もしくはIIDと表す。
　この独立同一分布な確率変数$${{\bf x}}$$が$${\mathcal{N}(\mu,\sigma^2)}$$に従うとすれば、$${{\bf x}}$$の平均値$${\bar{x}=\displaystyle{\frac{1}{n}}\sum^n_{i=1}x_i}$$の期待値と分散は
$${E[\bar{x}]=\displaystyle{\frac{1}{n}\sum^n_{i=1}E[x_i]=\mu}}$$
$${V[\bar{x}]=\displaystyle{\frac{1}{n^2}\sum^n_{i=1}V[x_i]=\frac{1}{n}\sigma^2}}$$
よって、$${\lim_{n\to\infty}V[\bar{x}]=0}$$となる。

大数の弱法則

iidな確率変数$${{\bf x}=(x_1,\cdots,x_n)}$$がそれぞれ期待値$${\mu_1,\cdots,\mu_n}$$を持つとする。モーメント母関数$${M_x(t)}$$において、$${x\to ix}$$に変えた特性関数$${M_{ix}(t)=M_x{it}}$$を用いて、$${{\bf x}}$$の平均値$${\bar{x}=\frac{x_1+x_2+\cdots+x_n}{n}}$$の特性関数$${\varphi_{\bar{x}}(t)}$$は、上記の確率和のモーメント母関数と同様に、
$${\varphi_{\bar{x}}(t)=\displaystyle{\varphi_{\frac{x_1}{n}}(it)\cdots \varphi_{\frac{x_d}{n}}(it)=\varphi_{x_1}(it/n)\cdots \varphi_{x_d}(it/n)}}$$
と与えられる。
モーメント母関数と同様に$${\displaystyle{e^{i\frac{t}{n}}}}$$をテイラー展開して計算すれば、$${\displaystyle{e^{i\frac{t}{n}}}=1+i\mu\frac{t}{n}+\cdots}$$
となることから、最終的に、
$${\varphi_{\bar{x}}(t)=\displaystyle{[\varphi_x(\frac{t}{n})]^n=[1+i\mu\frac{t}{n}+\cdots]^n}}$$
であり、$${n}$$を無限大に持っていけば、
$${\displaystyle{\lim_{n \to \infty}[1+i\mu\frac{t}{n}+\cdots]^n=e^{it\mu}}}$$
となる。
$${e^{it\mu}}$$は、定数$${\mu}$$の特性関数であるから、$${{\bar x}$$は、$${n}$$を増やしていけば、いかなる分散を持とうと、平均値$${\mu}$$に確率的に収束することになる。
これを数式で表せば、
$${\displaystyle{\lim_{n \to \infty}Pr(|\bar{x}-\mu| < \epsilon ) =1}}$$
であり、これを大数の弱法則と呼び、確率収束を概収束に限定した
$${\displaystyle{\lim_{n \to \infty}\bar{x}=-\mu}}$$
を大数の強法則と呼ぶ。
大数の強法則は、期待値を持たない確率分布に対しては成り立たない。