大数の法則

大数の法則
 
大数の法則 law of large numbers には強大数の法則strong lawと弱大数の法則weak lawがある。
確率変数列$${{{X}_{1}},{{X}_{2}},{{X}_{3}},\cdots }$$があるとき、$${\frac{{{X}_{1}}+{{X}_{2}}+\cdots +{{X}_{n}}-E\left( {{X}_{1}}+{{X}_{2}}+\cdots +{{X}_{n}} \right)}{n}\to 0}$$
の収束がほとんど確実になりたつとき強大数の法則が成り立つといい、確率収束の意味でなりたつとき、弱大数の法則がなりたつという。
$${{{S}_{n}}={{X}_{1}}+{{X}_{2}}+\cdots +{{X}_{n}}}$$ とあらわし、$${\frac{{{S}_{n}}-E{{S}_{n}}}{n}\to 0}$$について考える。
相空間の中をまんべんなく動きまわるとき、観測者は相空間にある各値を偏りなく観察するはずである。相空間を代表する相平均を$${\mu }$$とするとランダムに観測された値$${{{X}_{k}}}$$ の時間平均$${\left( {{X}_{1}}+{{X}_{2}}+\cdots +{{X}_{n}} \right)/n}$$は$${n}$$を大きくしたとき$${\mu }$$ をかぎりなく正確に近似するであろう。時間平均$${\approx }$$相平均。この関係は統計的規則性とかエルゴード性などとか言われる。また母平均を$${\mu }$$とする母集団から取られたサンプルで、標本平均$${\left( {{X}_{1}}+{{X}_{2}}+\cdots +{{X}_{n}} \right)/n}$$を$${\mu }$$ の推定値として用いるのはこの統計的規則性を利用している。 

定理（4次モーメントの存在）たがいに独立な確率変数$${{{X}_{1}},{{X}_{2}},{{X}_{3}},\cdots }$$にたいして、$${\underset{n\ge 1}{\mathop{\sup }}\,EX_{n}^{4}<\infty }$$ が成り立つとき、強大数の法則がなりたつ。

 証明
$${{{X}_{n}}}$$ のかわりに$${{{X}_{n}}-E{{X}_{n}}}$$ を考えることにより、$${E{{X}_{n}}=0}$$ を仮定して一般性を失わない。
$${S_{n}^{4}={{\left( {{X}_{1}}+\cdots +{{X}_{n}} \right)}^{4}}=\sum\limits_{i,j,k,l}{{{X}_{i}}{{X}_{j}}{{X}_{k}},{{X}_{l}}}}$$$${=\sum\limits_{i}{X_{i}^{4}+\left( \begin{matrix}4 \\2 \\\end{matrix} \right)}\sum\limits_{i < j}{X_{i}^{2}X_{j}^{2}+}}$$

$${+\left( \begin{matrix}4 \\3 \\\end{matrix} \right)\sum\limits_{i\ne k}{X_{i}^{3}{{X}_{k}}+}\left(\begin{matrix}4 \\2 \\\end{matrix} \right)\sum\limits_{\begin{smallmatrix}i\ne j,k \\j > k\end{smallmatrix}}{X_{i}^{2}{{X}_{j}}{{X}_{k}}+}}$$
$${+4!\sum\limits_{i < j < k < l}{{{X}_{i}}{{X}_{j}}{{X}_{k}}{{X}_{l}}}}$$

となるが、独立な確率変数$${X,Y}$$ は$${EXY=EXEY}$$ を満たすので、両辺の期待値をとると、$${E{{X}_{k}}=0}$$ であるから
$${ES_{n}^{4}=}$$$${\sum\limits_{i}{EX_{i}^{4}+\left( \begin{matrix}4 \\2 \\\end{matrix} \right)}\sum\limits_{i < j}{EX_{i}^{2}X_{j}^{2}+}}$$

$${\sum\limits_{k}{\left[ 4\sum{X_{i}^{3}+12\sum{X_{i}^{2}{{X}_{j}}+24\sum{{{X}_{i}}{{X}_{j}}{{X}_{l}}}}}\right]E{{X}_{k}}}}$$

$${\times E{{X}_{k}}}$$

$${=\sum\limits_{i}{EX_{i}^{4}+6}\sum\limits_{i < j}{EX_{i}^{2}X_{j}^{2}}}$$

となる。
$${EX_{i}^{4}\le M}$$
$${EX_{i}^{2}X_{j}^{2}\le \sqrt{EX_{i}^{4}}\sqrt{EX_{j}^{4}}\le M}$$
となる$${M}$$を取ることができるので、
$${ES_{n}^{4}=}$$$${\le nM+6\frac{n\left( n-1 \right)}{2}M\le 3{{n}^{2}}M}$$
となる。チェビシェフの不等式より
$${P\left( \left| \frac{{{S}_{n}}}{n} \right|\ge \varepsilon \right)\le \frac{ES_{n}^{4}}{{{\varepsilon }^{4}}{{n}^{4}}}\le \frac{3M}{{{\varepsilon }^{4}}{{n}^{2}}}}$$
$${\sum\limits_{n=1}^{\infty }{P\left( \left| \frac{{{S}_{n}}}{n} \right|\ge \varepsilon \right)}<\infty }$$
となるのでBorel-Cantelliの補題により$${{\frac{{{S}_{n}}}{n}\to 0}}$$がほとんど確実に成立する。証明終わり
 

定理　確率変数$${{{X}_{1}},{{X}_{2}},{{X}_{3}},\cdots }$$が
$${i\ne j}$$ のとき$${\operatorname{cov}\left( {{X}_{i}},{{X}_{j}} \right)=0}$$
$${\underset{n\ge 1}{\mathop{\sup }}\,V{{X}_{n}}<\infty }$$
をみたすとき、弱大数の法則が成り立つ。

チェビシェフの不等式により
$${P\left( \left| \frac{{{S}_{n}}-E{{S}_{n}}}{n} \right|\ge \varepsilon \right)\le \frac{V\left( \frac{{{S}_{n}}}{n} \right)}{{{\varepsilon }^{2}}}=\frac{V{{S}_{n}}}{{{\varepsilon }^{2}}{{n}^{2}}}=\frac{\sum\limits_{i=1}^{n}{V{{X}_{i}}}}{{{\varepsilon }^{2}}{{n}^{2}}}}$$$${\le \frac{n\underset{k\ge 1}{\mathop{\sup }}\,V{{X}_{k}}}{{{\varepsilon }^{2}}{{n}^{2}}}\to 0}$$
ここで、$${V\left( {{S}_{n}} \right)=\frac{1}{{{n}^{2}}}E{{\left( \sum\limits_{k=1}^{n}{\left( {{X}_{k}}-E{{X}_{k}} \right)} \right)}^{2}}}$$$${=\frac{1}{{{n}^{2}}}E\left( \sum\limits_{i=1}^{n}{\sum\limits_{j=1}^{n}{\left( {{X}_{i}}-E{{X}_{i}} \right)}\left( {{X}_{j}}-E{{X}_{j}} \right)} \right)}$$
において$${i\ne j}$$のとき$${\operatorname{cov}\left( {{X}_{i}},{{X}_{j}} \right)=0}$$であるから$${V\left( {{S}_{n}} \right)=\frac{1}{{{n}^{2}}}E\left( \sum\limits_{k=1}^{n}{{{\left( {{X}_{k}}-E{{X}_{k}} \right)}^{2}}} \right)=\frac{\sum\limits_{k=1}^{n}{V\left( {{X}_{k}} \right)}}{{{n}^{2}}}}$$
となることを用いた。証明終わり。
 
4次のモーメントとの存在＋独立$${\Rightarrow }$$強大数
2次のモーメントの存在＋無相関$${\Rightarrow }$$弱大数
が導かれたが、さらに一つの分布からのデータの場合
1次の絶対モーメントの存在＋独立＋同一分布$${\Rightarrow }$$強大数
が成り立つ。
 
これを示すにはいくつかの結果を用いなければならない。
 
コルモゴロフの収束条件
$${{{X}_{k}}\in {{L}^{2}}}$$からなる確率変数列$${\left\{ {{X}_{n}} \right\}_{n=1}^{\infty }}$$が互いに独立であるとき、$${\sum\limits_{k=1}^{\infty }{\frac{Var{{X}_{k}}}{{{k}^{2}}}}<\infty }$$ ならば、$${\sum\limits_{k=0}^{\infty }{\frac{\left( {{X}_{k}}-E{{X}_{k}} \right)}{k}}\to 0}$$が$${{{L}^{2}}}$$収束であるだけでなく概収束でなりたつ。
証明にはコルモゴロフの不等式を使う。そしてKroneckerの定理をもちいて$${\sum\limits_{k=1}^{\infty }{\frac{Var{{X}_{k}}}{{{k}^{2}}}}<\infty }$$のとき、$${\frac{1}{n}\sum\limits_{k=0}^{n}{\left( {{X}_{k}}-E{{X}_{k}} \right)}\to 0}$$が確率1でなりたつことがわかる。
 

定理（同一分布の場合の強大数の法則）
同じ分布に従うたがいに独立な確率変数$${{{X}_{1}},{{X}_{2}},{{X}_{3}},\cdots }$$があるとき、
$${E\left| {{X}_{1}} \right|<\infty }$$$${\Rightarrow }$$ $${\frac{{{S}_{n}}}{n}\to E{{X}_{1}}}$$　a.e.

証明）
$${{{X}_{n}}\le n}$$のとき$${{{Y}_{n}}={{X}_{n}}}$$ 、$${{{X}_{n}}>n}$$のとき$${{{Y}_{n}}=0}$$とおく。

$${\sum\limits_{n}{P\left( {{X}_{n}}\ne {{Y}_{n}} \right)=\sum\limits_{n}{P\left( \left| {{X}_{n}} \right|>n \right)}}}$$

$${=\sum\limits_{n}{P\left( \left| {{X}_{1}} \right|>n \right)\le }E\left| {{X}_{1}} \right|<\infty }$$

したがって、$${{{X}_{n}}}$$ と$${{{Y}_{n}}}$$は同等となるので、$${\frac{{{Y}_{1}}+{{Y}_{2}}+\cdots +{{Y}_{n}}-E\left( {{Y}_{1}}+{{Y}_{2}}+\cdots +{{Y}_{n}} \right)}{n}\to 0}$$a.e.が成り立つことをしめせば$${\frac{{{S}_{n}}}{n}\to E{{X}_{1}}}$$a.e.が言える。したがって、
$${\sum\limits_{n=1}^{\infty }{\frac{Var{{Y}_{n}}}{{{n}^{2}}}}<\infty }$$を示せばコルモゴロフの収束条件から結果を得る。$${{{X}_{1}}}$$ の分布関数を$${F\left( x \right)}$$として、
$${\sum\limits_{n=1}^{\infty }{\frac{Var{{Y}_{n}}}{{{n}^{2}}}}\le \sum\limits_{n=1}^{\infty }{\frac{EY_{n}^{2}}{{{n}^{2}}}=}\sum\limits_{n=1}^{\infty }{\frac{1}{{{n}^{2}}}\int\limits_{\left| x \right|\le n}{{{x}^{2}}dF\left( x \right)}}}$$
最後の積分を1次の絶対モーメントで評価する常套手段をつかう。
$${\sum\limits_{n=1}^{\infty }{\frac{1}{{{n}^{2}}}\int\limits_{\left| x \right|\le n}{{{x}^{2}}dF\left( x \right)}}=\sum\limits_{n=1}^{\infty }{\frac{1}{{{n}^{2}}}\sum\limits_{j=1}^{n}{\int\limits_{j-1<\left| x \right|\le j}{{{x}^{2}}dF\left( x \right)}}}}$$$${=\sum\limits_{j=1}^{\infty }{\int\limits_{j-1<\left| x \right|\le j}{{{x}^{2}}dF\left( x \right)}\sum\limits_{n=j}^{\infty }{\frac{1}{{{n}^{2}}}}}}$$$${\le \sum\limits_{j=1}^{\infty }{j\int\limits_{j-1<\left| x \right|\le j}{\left| x \right|dF\left( x \right)}}\frac{C}{j}=C\sum\limits_{j=1}^{\infty }{\int\limits_{j-1<\left| x \right|\le j}{\left| x \right|dF\left( x \right)}}=CE\left( \left| {{X}_{1}} \right| \right)}$$。
ここで、$${j\ge 1}$$ のとき$${\sum\limits_{n=j}^{\infty }{{{n}^{-2}}\le \frac{C}{j}}}$$ となる$${C}$$を選んだ。
$${\frac{{{Y}_{1}}+{{Y}_{2}}+\cdots +{{Y}_{n}}-E\left( {{Y}_{1}}+{{Y}_{2}}+\cdots +{{Y}_{n}} \right)}{n}\to 0}$$　a.e.
が得られたが、$${n\to \infty }$$ のとき$${E{{Y}_{n}}\to E{{X}_{1}}}$$を考慮すると
$${\frac{{{Y}_{1}}+{{Y}_{2}}+\cdots +{{Y}_{n}}}{n}\to E{{X}_{1}}}$$a.e.
Borel-Cantelli の補題より
$${\sum\limits_{n}{P\left( {{X}_{n}}\ne {{Y}_{n}} \right)}<\infty }$$から$${P\left( {{X}_{n}}\ne {{Y}_{n}},i.o. \right)=0}$$
がえられ、$${\omega \in \Omega \backslash N}$$ （$${P\left( N \right)=0}$$ ）に対してある$${{{n}_{0}}\left( \omega \right)}$$が存在して
$${n\ge {{n}_{0}}\left( \omega \right)}$$ に対して、$${{{X}_{n}}\left( \omega \right)={{Y}_{n}}\left( \omega \right)}$$ が成り立つ。結局
$${\frac{{{X}_{1}}+{{X}_{2}}+\cdots +{{X}_{n}}}{n}\to E{{X}_{1}}}$$ a.e.
を得た。
おわり