Photo by
pandamda
p値の誤用に注意すべきことの具体例
いわゆるHARKingとは別に、p値の解釈に注意が必要な具体例です。
問題
(BのほうがAよりも平均得点が高かったことは１０００回中０回という補足があったほうがよいかもですね）
解答
t=10、Tをテストの平均得点差とする。
（注 以下で
H0:AのほうがBより平均学力が高いわけではない としたほうが正確かもしれません）
問題文のp=0.03に基づいて帰無仮説を棄却して対立仮説（平均点：A＞B）を採用する場合には、あくまでも今回のサンプルのみによる帰無仮説の棄却に用いられていることを忘れると誤用してしまいます。
上記の例にあるように事前の（＝今回のサンプルによらない）帰無仮説の確率が高い（P(H0)=990/1000=0.99)場合には、p<0.05でも「本当は」帰無仮説が正しい確率は0.748とずいぶん高いのです。
一方、問題文の設定のP(H0)とP(H1）だけを変更して、帰無仮説と対立仮説は事前にはどちらも同様に確からしい（P(H0）＝P(H1）＝0.5）とすると、
帰無仮説の事後確率＝P(H0|T≧t)=0.03×0.5/(0.03×0.5+1×0.5)＝0.029と小さな数値となります。このように、たとえp値が小さくても、「帰無仮説が事前にどれくらい確からしいか」によって「棄却する判断が本当に妥当かどうか」が変わってしまうのです。
この記事が気に入ったらサポートをしてみませんか？