プロでも間違えやすい仮説検定のツボ （A/BテストからベイジアンA/Bテストへの誘い）
IT企業でA/Bテストをやっていると
有意水準が5％だと帰無仮説が正しい確率は95％！
（有意水準自体が帰無仮説が正しいときという前提なので🙅♂️）
有意差がないから帰無仮説採用！
（第2種の過誤があるので🙅♂️）
有意差でないからテスト期間延長して有意差出るようにしよう！
（多重検定で有意水準がデカくなるので🙅♂️）
みたいな間違いがしている人が多いので
今回仮説検定で間違えがちな要点をまとめてみた
有意水準は「帰無仮説が正しいとき」という前提条件がある
有意水準は、仮説検定において帰無仮説を棄却する基準となる確率です。通常、0.05（5%）や0.01（1%）のような値が設定される
数式で書いたら
$$
\alpha \equiv P( Reject H_0 | H_0 is true)
$$
となり
帰無仮説が正しいという条件付き確率となっているのがわかるであろう
ちなみにp値も「帰無仮説が正しいとき」という前提条件がある
$${p}$$値の定義は
帰無仮説が正しいときに
検定統計量の実現値よりも極端な検定統計量の値が出る確率
である
数式で書くと$${t}$$検定の時は
$$
p \equiv P( |T| \geq |t| | H_0 is true)
$$
となり
帰無仮説が正しいという条件付き確率となっているのがわかるであろう
帰無仮説を棄却 -> 対立仮説が正しい は少し注意が必要
帰無仮説を棄却しないときは正確には
（第1種の過誤の確率で間違っているがかなりの高確率で）対立仮説が正しい
という認識を持っておこう
なんでこんなに紛らわしい表現になっているかというと
仮説検定のフレームワーク自体が
第1種の過誤を有意水準で持っておいて
この有意水準の棄却域に入ったら
第1種の過誤はしょうがないとしてそれ以外の高確率で対立仮説が正しいとしよう
というものだからだ
まとめると、帰無仮説を棄却するときは下記の図の2パターンあり
対立仮説が正しいときもあるけど、必ずしも対立仮説が正しいわけではない
対立仮説$${H_1}$$が正しい
帰無仮説$${H_0}$$が第1種の過誤の確率で真となり対立仮説$${H_1}$$が正しくない
帰無仮説を棄却しない -> 帰無仮説が正しい は🙅♂️
帰無仮説を棄却しないときは下記の図の2パターンあり
帰無仮説が正しいときもあるけど、必ずしも帰無仮説が正しいわけではない
帰無仮説$${H_0}$$が正しい
対立仮説$${H_1}$$が第2種の過誤の確率で真となり帰無仮説$${H_0}$$が正しくない
何回も仮説検定してしまったら多重検定となりダメ
A/Bテストで有意差が出なかったときにテスト期間を増やして
仮説検定しなおすということをやってる企業が多いがこれはダメである
なぜならこのケースの場合は
検定統計量が少なくとも1回棄却域に入っていればいいので
その確率は毎回棄却域に入っていない場合の余事象となる
例えば1回目2回目は棄却域に入らずテスト期間を延長して
3回目でようやく棄却域に入った場合は
有意水準を5％とすると
$$
1 - (0.95)^3 = 0.143
$$
となり有意水準が5％から14.3%になってしまい
当初の精度で仮説検定ができなくなってしまっている
さいごに
ここまでみてきてA/Bテストは
対立仮説が正しいとだけわかるが、有意差が微妙なラインの時に判断が難しい
多重検定があるので何回も柔軟にA/Bテストできない
という課題がある
そんな課題を解消してくれるのがベイジアンA/Bテストである
この記事が気に入ったらサポートをしてみませんか？