有意差なしで帰無仮説が正しいと言ってはいけない理由→第2種の過誤を確認

仮説検定の復習

統計的仮説検定では下記の段階に沿って論理展開していく

1. 帰無仮説（以下）$${H_0}$$を立てて、比べる確率変数が従う確率分布が等しいと仮定する

2. それぞれ検定統計量を算出して、表から$${p}$$値を算出しやすいようにする

3. $${H_0}$$が正しいときに従う確率分布を作る

4. $${H_0}$$が正しいときの棄却域を作成する

5. 検定統計量が棄却域に入ったら有意差ありと判断し$${H_0}$$棄却で対立仮説採用

https://bellcurve.jp/statistics/course/9317.html

有意差なしのとき

たまに有意差なしのとき、$${H_0}$$が正しいと判断してしまう人がいる
これは第1種の過誤、第2種の過誤を考えるとなぜ正しくないか理解することができる

https://sitest.jp/blog/?p=13852

上図において、$${H_0}$$を受容している時は確かに$${H_0}$$が正しい場合もあるが、第2種の過誤の場合もあるのでこのとき$${H_0}$$が正しくないとなってしまうのに注意しなければならない

検出力分析

ここまで読んでくるとどうやって$${H_0}$$を正しいか評価するしていくか疑問が出てくる
そこで行うのが検出力分析という手法で下表の通り4つのタイプがあり、第2種の過誤を分析するのが検出力を求めるPost-hocという分析手法である

なお
検出力 $${power}$$
有意水準 $${\alpha}$$
効果量 $${ES}$$
標本の大きさ$${N}$$
とする

https://www.kitamura-foundation.org/images/book/12.pdf

第2種の誤り確率は$${\beta = 0.2}$$以下が望ましいと下記の本で紹介されている

https://www.utstat.toronto.edu/~brunner/oldclass/378f16/readings/CohenPower.pdf

また上表から、検出力 $${power}$$，有意水準$${\alpha}$$，効果量 $${ES}$$，標本の大きさ$${N}$$の4つの変数のうち3つが分かれば残りの1つを見つけることができることも理解できる

まとめ

統計的仮説検定で有意差なしのとき、$${H_0}$$が正しいと判断するのはチンパン以下
Post-hoc分析を行い、検出力80%以上を確認したら$${H_0}$$が正しいと判断できる