統計検定準1級対策③：分布の特性値
はじめに
統計検定準1級対策第３段です. 今回は『統計学実践ワークブック』第3章 分布の特性値の範囲にある次の分野についてまとめます.
分位点, 中央値
最頻値（モード）
変動係数
歪度, 尖度
疑似相関, 偏相関係数
平均（算術平均, 加重平均, 幾何平均, 調和平均）
平均ベクトル, 分散共分散行列, 標本分散共分散行列
1. 分位点, 中央値
連続型確率変数$${X}$$の累積密度関数を$${F}$$とする. $${X}$$の四分位数は次で定義される.
$$
\begin{align}
Q_1 \ \rm{s.t.} \ F(Q_1) &= 0.25 : \text{第1四分位数} \notag \\
Q_2 \ \rm{s.t.} \ F(Q_2) &= 0.5 : \text{第2四分位数} \notag \\
Q_3 \ \rm{s.t.} \ F(Q_3) &= 0.75 : \text{第3四分位数} \notag
\end{align}
$$
$${F(Q_i) = \frac{i}{4}}$$をみたす$${Q_i}$$を第$${i}$$四分位数という.
四分位数以外の他の分位点についても同様に定義される.
2. 最頻値（モード）
最頻値の定義
確率変数$${X}$$の確率密度関数または確率関数$${f(x)}$$とする. $${f(x)}$$を最大にする$${x}$$を最頻値という.
分布の歪みと代表値
右に裾が長い場合
最頻値 < 中央値 < 期待値
左に裾が長い場合
期待値 < 中央値 < 最頻値
他の値から外れた値に最も影響を受けるのが平均値であり, 最も受けにくいのが最頻値である. そのため, 平均値, 中央値, 最頻値は上記のような位置関係になる.
右に裾が長い場合で考えると左に山があるため, 最頻値は一番左にある. また, 中央値は外れ値の影響をうけにくいが期待値は外れ値の影響をうけやすいため, 期待値が一番右に来ることが分かる.
3. 変動係数
非負の確率変数$${X}$$の期待値を$${E(X)}$$, 分散を$${V(X)}$$とする. このとき$${X}$$の変動係数$${CV}$$を次で定義する.
$$
CV = \frac{\sqrt{V(X)}}{E(X)}
$$
変動係数は期待値に対するばらつきの程度を表す. 標準偏差はもとの数値の大きさに依存するため, 期待値で割ることで補正している.
4. 歪度, 尖度
定義
確率変数$${X}$$の期待値を$${\mu}$$, 分散を$${\sigma^2}$$とする. このとき, 歪度, 尖度を次で定義する.
$$
\begin{align}
\frac{E((X - \mu))^3}{\sigma^3} : \text{歪度, skewness} \notag \\
\frac{E((X - \mu))^4}{\sigma^4} : \text{尖度, kurtosis} \notag
\end{align}
$$
歪度の性質
歪度は次の性質をもつ.
左右対称
$${skewness = 0}$$
右裾が長い
$${skewness > 0}$$
左裾が長い
$${skewness < 0}$$
例. 正規分布の歪度
例として, 正規分布 $${N(0, \sigma^2)}$$ の歪度を定義通り求める.
正規分布 $${N(0, \sigma^2)}$$ のモーメント母関数 $${M_X (t)}$$ は次のようになる.
$$
\begin{align}
M_X (t) &= E(e^{tX}) \notag \\
&= \int_{- \infty}^\infty e^{tx} \cdot \frac{1}{\sqrt{2 \pi \sigma^2}} e^{- \frac{x^2}{2 \sigma^2}} dx \notag \\
&= \int_{- \infty}^\infty \frac{1}{\sqrt{2 \pi \sigma^2}} e^{- \frac{x^2 + 2 \sigma^2 tx}{2 \sigma^2}} dx \notag \\
&= \int_{- \infty}^\infty \frac{1}{\sqrt{2 \pi \sigma^2}} e^{- \frac{(x + \sigma^2 t)^2 - \sigma^4 t^2}{2 \sigma^2}} dx \notag \\
&= \int_{- \infty}^\infty \frac{1}{\sqrt{2 \pi \sigma^2}} e^{- \frac{(x + \sigma^2 t)^2}{2 \sigma^2} + \frac{\sigma^2 t^2}{2}} dx \notag \\
&= e^{\frac{\sigma^2 t^2}{2}} \times \int_{- \infty}^\infty \frac{1}{\sqrt{2 \pi \sigma^2}} e^{- \frac{(x + \sigma^2 t)^2}{2 \sigma^2}} dx \notag \\
&= e^{\frac{\sigma^2 t^2}{2}} \ (\because \int_{- \infty}^\infty \frac{1}{\sqrt{2 \pi \sigma^2}} e^{- \frac{(x + \sigma^2 t)^2}{2 \sigma^2}} dx = 1) \notag
\end{align}
$$
$${M_X^{(n)} (0)= E(X^n)}$$ より $${M_X (t)}$$ の3階微分を求めていくと次のようになる.
$$
\begin{align}
M_X^{(1)} (t) &= \frac{d}{dt} e^{\frac{\sigma^2 t^2}{2}} = \sigma^2 t e^{\frac{\sigma^2 t^2}{2}} \notag \\
M_X^{(2)} (t) &= \sigma^2 e^{\frac{\sigma^2 t^2}{2}} + \sigma^2 t \cdot \sigma^2 t e^{\frac{\sigma^2 t^2}{2}} = \sigma^2 (e^{\frac{\sigma^2 t^2}{2}} + \sigma^2 t^2 e^{\frac{\sigma^2 t^2}{2}}) \notag \\
M_X^{(3)} (t) &= \sigma^4 (3 t e^{\frac{\sigma^2 t^2}{2}} + \sigma^2 t^3 e^{\frac{\sigma^2 t^2}{2}}) \notag
\end{align}
$$
よって, $${M_X^{(3)} (0) = 0}$$より正規分布$${N(0, \sigma^2)}$$ の歪度は $${\frac{E(X - 0)^3}{\sigma^3} = 0}$$ である
尖度の性質.
次に尖度について説明する.
尖度は次の式で定義された.
$$
\begin{align}
kurtosis = \frac{E((X - \mu))^4}{\sigma^4} \notag
\end{align}
$$
尖度に関して, 次の性質が成り立つ.
$${kurtosis \geq 0}$$
$${\sigma^4 \geq 0, (X - \mu)^4 \geq 0}$$より成り立つ
裾が重い分布ほど尖度が小さい
標準偏差$${\sigma}$$ がおおきくなるため
裾が軽い分布ほど尖度が大きい
標準偏差$${\sigma}$$が小さくなるため
（上記の定義の場合）正規分布$${N(\mu, \sigma^2)}$$の尖度は$${3}$$である
後述する
例. 正規分布の尖度
例として, 正規分布$${N(0, \sigma^2)}$$の尖度を求める.
$${N(0, \sigma^2)}$$の歪度を求めたときの結果を用いると,
$$
\begin{align}
M_X^{(3)} (t) &= \sigma^4 (3 t e^{\frac{\sigma^2 t^2}{2}} + \sigma^2 t^3 e^{\frac{\sigma^2 t^2}{2}}) \notag
\end{align}
$$
であった. よって,
$$
\begin{align}
M_X^{(4)} (t) &= \sigma^4 (3 e^{\frac{\sigma^2 t^2}{2}} + 6 \sigma^2 t^2 e^{\frac{\sigma^2 t^2}{2}} + \sigma^4 t^4 e^{\frac{\sigma^2 t^2}{2}}) \notag
\end{align}
$$
したがって, $${kurtosis = \frac{E((X - 0))^4}{\sigma^4} = \frac{3 \sigma^4}{\sigma^4} = 3}$$ となる.
一般の正規分布$${N(\mu, \sigma^2)}$$においても尖度は$${3}$$ となる.
尖度の別定義
正規分布$${N(\mu, \sigma^2)}$$の尖度が$${3}$$になることから, 次のように正規分布の尖度を$${0}$$に調整した尖度の定義をすることも多い.
定義：基準を$${0}$$ とした尖度
$$
kurtosis = \frac{E((X - \mu))^4}{\sigma^4} - 3
$$
5. 疑似相関, 偏相関係数
確率変数$${X, Y, Z}$$において, $${X}$$と$${Z}$$, $${Y}$$と$${Z}$$の相関がそれぞれ強いとき, $${X}$$と$${Y}$$の相関も強くなりやすい. このような相関のことを疑似相関（偽相関）という.
$${Z}$$の影響を除いた$${X}$$と$${Y}$$の偏相関係数$${\rho [X, Y|Z]}$$は次で定義される.
$$
\rho [X, Y|Z] = \frac{\rho [X, Y] - \rho [X, Z] \rho [Y, Z]}{\sqrt{(1 - \rho [X, Z]^2)(1 - \rho [Y, Z]^2)}}
$$
偏相関係数を導出する.
簡単のために$${r_{XY} = \rho [X, Y], r_{XY.Z} = \rho [X, Y|Z]}$$とする.
偏相関係数$${r_{XY.Z}}$$は$${Z}$$に対する$${X, Y}$$の回帰直線を考えたときの残差$${X^\prime, Y^\prime}$$から導かれる. 真値を$${X, Y}$$, 回帰直線で与えられる予測値を$${\hat{X}, \hat{Y}}$$とすると残差は$${X^\prime = X - \hat{X}, Y^\prime = Y - \hat{Y}}$$となる.
$${r_{XY.Z}}$$は実際には残差の相関係数の値を求めている. すなわち
$$
\begin{align}
r_{XY.Z} = \frac{Cov(X^\prime, Y^\prime)}{\sigma_{X^\prime} \sigma_{Y^\prime}} \notag
\end{align}
$$
である. 偏相関係数$${r_{XY.Z}}$$が求めているものは$${Z}$$が与えられたときの$${X}$$の予測値（回帰直線）からの外れ方と$${Y}$$の予測値からの外れ方の相関係数を求めている. 例えば, $${X^\prime}$$と$${Y^\prime}$$に正の相関がある場合は$${Z}$$から決まる予測値から$${X}$$と$${Y}$$同じように正の方向に外れる傾向があることが分かる. そのため, $${Z}$$ではなく$${X}$$と$${Y}$$に因果関係があると予想される.
$${Z}$$に対する$${X, Y}$$の回帰直線$${\hat{X}, \hat{Y}}$$は次のようになる.
$$
\begin{align}
\hat{X} - \mu_X &= \frac{Cov(Z, X)} {\sigma_Z^2} (Z - \mu_Z) \notag \\
\hat{X} &= \frac{Cov(Z, X)} {\sigma_Z^2} (Z - \mu_Z) + \mu_X \notag \\
\hat{Y} - \mu_Y &= \frac{Cov(Z, Y)} {\sigma_Z^2} (Z - \mu_Z) \notag \\
\hat{Y} &= \frac{Cov(Z, Y)} {\sigma_Z^2} (Z - \mu_Z) + \mu_Y \notag
\end{align}
$$
よって, $${X^\prime = X - \hat{X}, Y^\prime = Y - \hat{Y}}$$は次のようになる.
$$
\begin{align}
X^\prime &= X - \hat{X} \notag \\
&= (X - \mu_X) - \frac{Cov(Z, X)}{\sigma_Z^2} (Z - \mu_Z) \notag \\
Y^\prime &= Y - \hat{Y} \notag \\
&= (Y - \mu_Y) - \frac{Cov(Z, Y)}{\sigma_Z^2} (Z - \mu_Z) \notag
\end{align}
$$
$$
\begin{align}
r_{XY.Z} &= \frac{Cov(X^\prime, Y^\prime)}{\sigma_{X^\prime} \sigma_{Y^\prime}} \notag \\
&= \frac{E(X^\prime Y^\prime) - E(X^\prime) E(Y^\prime)}{\sqrt{E({X^\prime}^2) - (E(X^\prime))^2} \sqrt{E({Y^\prime}^2) - (E(Y^\prime))^2}} \notag
\end{align}
$$
となる.
$$
\begin{align}
E(X^\prime) &= E((X - \mu_X) - \frac{Cov(Z, X)}{\sigma_Z^2} (Z - \mu_Z)) \notag \\
&= E(X)- \mu_X - \frac{Cov(Z, X)}{\sigma_Z^2} (E(Z) - \mu_Z) \notag \\
&= 0 \notag
\end{align}
$$
同様に$${E(Y^\prime) = 0}$$である. また,
$$
\begin{align}
E(X^\prime Y^\prime) &= E(((X - \mu_X) - \frac{Cov(Z, X)}{\sigma_Z^2} (Z - \mu_Z))((Y - \mu_Y) - \frac{Cov(Z, Y)}{\sigma_Z^2} (Z - \mu_Z))) \notag \\
&= E((X - \mu_X)(Y - \mu_Y)) - \frac{Cov(Z, Y)}{\sigma_Z^2} E((X - \mu_X)(Z - \mu_Z)) \notag \\
& - \frac{Cov(Z, X)}{\sigma_Z^2} E((Y - \mu_Y)(Z - \mu_Z)) + \frac{Cov(Z, X) Cov(Z, Y)}{\sigma_Z^4} E((Z - \mu_Z)^2) \notag \\
&= Cov(X, Y) - \frac{Cov(X, Z) Cov(Y, Z)}{\sigma_Z^2} \notag \\
&= (\frac{Cov(X, Y)}{\sigma_X \sigma_Y} - \frac{Cov(X, Z)}{\sigma_X \sigma_Z} \cdot \frac{Cov(Y, Z)}{\sigma_Y\sigma_Z}) \sigma_X \sigma_Y \notag \\
&= (r_{XY} - r_{XZ} r_{YZ}) \sigma_X \sigma_Y \notag
\end{align}
$$
ここで$${E({X^\prime}^2) = E(X^\prime X^\prime)}$$より次が分かる.
$$
\begin{align}
E({X^\prime}^2) &= (r_{XX} - r_{XZ} r_{XZ}) \sigma_X \sigma_X
&= (1 - r_{XZ}^2) \sigma_X^2 \notag \\
E({Y^\prime}^2) &= (1 - r_{YZ}^2) \sigma_Y^2 \notag
\end{align}
$$
以上より
$$
\begin{align}
r_{XY.Z} &= \frac{E(X^\prime Y^\prime) - E(X^\prime) E(Y^\prime)}{\sqrt{E({X^\prime}^2) - (E(X^\prime))^2} \sqrt{E({Y^\prime}^2) - (E(Y^\prime))^2}} \notag \\
&= \frac{(r_{XY} - r_{XZ} r_{YZ}) \sigma_X \sigma_Y}{\sqrt{(1 - r_{XZ}^2) \sigma_X^2} \sqrt{(1 - r_{YZ}^2) \sigma_Y^2}} \notag \\
&= \frac{r_{XY} - r_{XZ} r_{YZ}}{\sqrt{1 - r_{XZ}^2} \sqrt{1 - r_{YZ}^2}} \notag
\end{align}
$$
6. 平均
平均には
算術平均
加重平均
幾何平均
調和平均
とよばれるものがある.
算術平均
データ$${x_1, x_2, \cdots, x_n}$$において
$$
\begin{align}
\overline{x} = \frac{1}{n} \sum_{i = 1}^n x_i \notag
\end{align}
$$
を算術平均という.
一般に言われる平均はこれである.
加重平均
データ$${x_1, x_2, \cdots, x_n}$$に対して, $${p_i > 0, p_1 + p_2 + \cdots + p_n = 1}$$をみたす$${p_1, p_2, \cdots, p_n}$$を重みとしたとき,
$$
\begin{align}
\sum_{i = 1}^n p_i x_i \notag
\end{align}
$$
を加重平均という.
これは確率を考慮した期待値と同じである.
$${p_i = \frac{1}{n} \ (i = 1, 2, \cdots, n) }$$のとき算術平均と一致するため, 算術平均の一般化と解釈できる.
幾何平均
正の値をとるデータ$${x_1, x_2, \cdots, x_n}$$に対して,
$$
{}^n \sqrt{x_1 x_2 \cdots x_n}
$$
を幾何分布という.
乗法で計算されるものの平均は幾何平均を使う.
調和平均
正の値をとるデータ $x_1, x_2, \cdots, x_n$に対して,
$$
\begin{align}
\frac{1}{\frac{1}{n} \sum_{i=1}^n \frac{1}{x_i}} \notag
\end{align}
$$
を調和平均という.
調和平均は算術平均の逆数で定義されている. これは丸覚えしなくても, 問題をきちんと理解すれば解ける.
例.
Aさんは、ある地点から目的地まで、行きは時速60km、帰りは時速40kmで移動しました。往復の平均速度は何km/時ですか？
解.
ある地点から目的地までの距離を$$x$$[km]とする. このとき, 行きにかかる時間は$${\frac{x}{60}}$$時間, 帰りにかかる時間は$${\frac{x}{40}}$$時間である. よって, 往復の平均速度は
$$
\frac{2x}{\frac{x}{60} + \frac{x}{40}} = \frac{2 \times 120}{2 + 3} = 48 (\text{km/時})
$$
となる.
7. 平均ベクトル, 分散共分散行列, 標本分散共分散行列
ベクトル$${\mathbf{X}}$$の転置ベクトルを$${\mathbf{X}^T}$$と表す.
$${p}$$次元確率ベクトル$${\mathbf{X} = (X_1, X_2, \cdots, X_p)^T}$$に対して, $${E(\mathbf{X})}$$を
$$
E(\mathbf{X}) = (E(X_1), E(X_2), \cdots, E(X_p))^T
$$
とし, 期待値ベクトルまたは平均ベクトルという.
$${\mathbf{X}}$$の分散共分散行列$${V(\mathbf{X})}$$を次で定義する.
$$
V(\mathbf{X}) =
\begin{pmatrix}
Cov(X_1, X_1) & Cov(X_1, X_2) & \cdots & Cov(X_1, X_p)\\
Cov(X_2, X_1) & Cov(X_2, X_2) & \cdots & Cov(X_2, X_p)\\
\vdots & \vdots & \ddots & \vdots \\
Cov(X_p, X_1) & Cov(X_p, X_2) & \cdots & Cov(X_p, X_p)
\end{pmatrix}
$$
ここで, $${Cov(X_i, X_j)}$$は$${X_i}$$と$${X_j}$$の共分散であり, $${Cov(X_i, X_i) = V(X_i)}$$である.
分散共分散行列$${V(\mathbf{X})}$$は半正定値対称行列である.
$${\mathbf{X}}$$の相関係数行列$${\rho (\mathbf{X})}$$を次で定義する.
$$
\begin{align}
\rho (\mathbf{X}) =
\begin{pmatrix}
\rho(X_1, X_1) & \rho(X_1, X_2) & \cdots & \rho(X_1, X_p)\\
\rho(X_2, X_1) & \rho(X_2, X_2) & \cdots & \rho(X_2, X_p)\\
\vdots & \vdots & \ddots & \vdots \\
\rho(X_p, X_1) & \rho(X_p, X_2) & \cdots & \rho(X_p, X_p)
\end{pmatrix} \notag
\end{align}
$$
ここで, $${\rho(X_i, X_j)}$$は$${X_i}$$と$${X_j}$$の相関係数であり, $${\rho(X_i, X_i) = 1}$$である.
相関係数行列も分散共分散行列同様, 半正定値行列である.
平均ベクトル, 分散共分散行列, 相関係数行列は標本$${{\mathbb{x_1}, \mathbb{x_2}, \cdots, \mathbb{x_n}}}$$についても同様に定義される.
ただし, 分散共分散行列については各成分を
$$
S_{ij} = \frac{1}{n - 1} \sum_{k=1}^n (x_{ki} - \overline{x_i})(x_{kj} - \overline{x_j})
$$
とする$${n \times n}$$行列であることもある. これは不偏分散を各成分としているが$${n - 1}$$でなく$${n}$$で割った標本分散を各成分とすることもあるため, 注意したい.
補足：正定値行列, 半定値行列
$${A}$$を$${n}$$次実対称行列（あるいはエルミート行列）とする. 任意の列ベクトル$${\mathbb{𝑥} \in \mathbb{R}^n/\mathbb{0}}$$（あるいは$${\mathbb{𝑥} \in \mathbb{C}^n/\mathbb{0}}$$）に対し, 内積
$$
(A \mathbb{x}, \mathbb{x}) > 0
$$
が成り立つとき, $${A}$$を正定値行列という. また,
$$
(A \mathbb{x}, \mathbb{x}) \geq 0
$$
が成り立つとき, $${A}$$を半正定値行列という.
実ベクトルの場合は
$$
(\mathbb{x}, \mathbb{y}) = \mathbb{x}^T \mathbb{y} = \mathbb{y}^T \mathbb{x}
$$
であるため,
$$
(A \mathbb{x}, \mathbb{x}) = \mathbb{x}^T A \mathbb{x}
$$
である. よって, 正定値行列, 半正定値行列の定義を$${\mathbb{x}^T A \mathbb{x}}$$を用いて書き換えることができる.
練習問題
練習1
確率変数$${X}$$は期待値$${E(X) = 65}$$, 分散$${V(X) = 16}$$をみたす. このときの変動係数を求めよ. ただし, 小数第4位を四捨五入すること.
（解）
$$
\frac{\sqrt{V(X)}}{E(X)} = \frac{\sqrt{16}}{65} = \frac{4}{65} = 0.061538…
$$
よって, 求める変動係数は$${0.062}$$である.
練習2
3つのサイコロを同時に投げ, 出た目の数をそれぞれ$${X_1, X_2, X_3}$$とし
, $${\mathbf{X} = (X_1, X_2, X_3)^T}$$とする. このとき, 以下の値を求めよ.
期待値ベクトル$${E[\mathbf{X}]}$$
分散共分散行列$${V[\mathbf{X}]}$$
（解）
$$
E(X_1) = \frac{1}{6} (1 + 2 + \cdots + 6) = \frac{21}{6} = 3.5
$$
$${E(X_1) = E(X_2) = E(X_3)}$$より
$$
E(\mathbf{X}) = (3.5, 3.5, 3.5)^T
$$
2.
$${Cov(X_1, X_1) = V(X_1)}$$である.
$$
E(X_1^2) = \frac{1}{6} (1^2 + 2^2 + \cdots + 6^2) = \frac{1}{6} \times \frac{1}{6} \cdot 6 \cdot 7 \cdot 13 = \frac{91}{6}
$$
より
$$
V(X_1) = E(X_1^2) - (E(X_1))^2 = \frac{91}{6} - (\frac{7}{2})^2 = \frac{35}{12}
$$
$${V(X_1) = V(X_2) = V(X_3)}$$である. $${i \neq j}$$のとき$${Cov(X_i, X_j) = 0}$$である. したがって, もとめる分散共分散行列は
$$
\begin{pmatrix}
\frac{35}{12} & 0 & 0\\
0 & \frac{35}{12} & 0\\
0 & 0 & \frac{35}{12}
\end{pmatrix}
$$
となる.
最後に
『統計学実践ワークブック』第2章 確率分布と母関数の内容は後の章の理解に必須になります. 同時確率関数, 周辺確率関数, 条件付き確率関数, 母関数はきちんと習得しておきたい.