第1種の過誤と第2種の過誤
1．はじめに
今学期はゼミで以下の英語の統計に関する書籍を輪読することにした。
Gillespie, et al. (2021) A Guide to R for Social and Behavioral Science Statistics. SAGE Publishing.
この書籍は社会科学系の学生向けのRという統計ソフトを使った統計学のテキストで、非常にわかりやすい内容となっている。Rを使った人がない人も、最初から読んでいけば使い方が学べるのでお勧めだ。
t検定、分散分析、カイ二乗検定、相関分析、回帰分析あたりのやり方が網羅されている一方、因子分析や共分散構造分析など、心理学やマーケティングでよくつかわれる手法については書かれていないので、別途テキストを探す必要がある。
今回はこのテキストの6章の仮説検定に関する説明で第1種の過誤と第2種の過誤について良い説明がなされていたので、それについてまとめておく。
2．仮説検定について
仮説検定については過去の投稿を参照してほしい。ここでは簡単に説明だけしておく。
統計分析をする上では仮説を立てる。仮説には二種類あって、帰無仮説 (Null Hypothesis) と対立仮説 (Alternative Hypothesis) がある。
そして、統計分析では積極的に「○○と××の間には差がある」ということは言えないので、「○○と××の間に差はない」という帰無仮説を棄却することで、「○○と××の間に差はない」とは言えない、と結論づける。
仮に「女子学生と男子学生の英語のテストの点数に差がある」かどうかを調べたいとする。そうすると、帰無仮説は「女子学生と男子学生の英語のテストの点数に差はない」となる。もし検定の結果、帰無仮説が棄却されれば、差がないとは言い切れないといえる。結果、差はあると解釈できるわけだ。
だだし、統計分析は絶対ではない。それについて次項で説明する。
3．第一種の過誤
仮説検定も間違うことがある。例えば、帰無仮説が正しいにもかかわらず、帰無仮説を棄却してしまう場合を考えよう。上記の学生のテストの例でいえば、本当は「女子学生と男子学生の英語のテストの点数に差はない」にもかかわらず、統計分析の結果「差がある」と結論付けてしまうことだ。これを第一種の過誤 (Type I errors) と呼ぶ。
なぜこのようなことが起きてしまうのか。それには有意水準が関係する。例えば、「女子学生と男子学生の英語のテストの点数に差がある」かどうかを調べるうえで、5%水準の有意差検定を行ったとしよう。
結果、女子学生と男子学生の英語のテストの点数には5％水準で有意な差があったとすると、「女子学生と男子学生の英語のtテストの点数に差はない」という帰無仮説の前提の下では5％でしか起こりえないことが実際に起こっているので、それはおかしい。つまり、「女子学生と男子学生の英語のテストの点数に差はある」と結論付けましょう、ということになる。
つまり、5%の確率で上記の結論は間違っているよ、ということも意味しているわけだ。つまり、有意水準は第一種の過誤が起きうる確率と同じ意味である。
では、有意水準をできるだけ高くすればよいじゃないかと思うかもしれない。1%や0.1％水準にすればよいのではないか、ということである。
もちろん、それだと別の問題が生じる。それが第二種の過誤である。
4．第二種の過誤
第二種の過誤 (Type II errors) とは、帰無仮説が間違っているにもかかわらず、その帰無仮説を棄却できない場合のことをいう。学生のテストの例をもう一度考えよう。第二種の過誤の場合、本当は「女子学生と男子学生の英語のテストの点数に差はない」とは言えないにもかかわらず、統計分析の結果「差はない」と結論付けてしまうことを意味する。
お分かりの通り、有意水準を厳しくすればするほど、帰無仮説を棄却するのはより難しくなる。それゆえ、第一種の過誤が生じる可能性と第二種の過誤が生じる可能性はトレードオフの関係にある。
両方をなくすことは不可能なのである。
5．おわりに
結局、統計分析を行ったからと言って絶対的な結果を得られるとは限らない。だから、研究者の間で「統計的有意」という言葉を使わないようにしよう、と訴える人が増えているのは納得できる。
だから、統計分析の結果に関しては妄信せず、「平均的に言ってそういう可能性が高い」くらいの解釈をすればよいのだと思う。