この結果には差があるのか（統計的な検定についての考え方）

生活習慣、仕事の仕方何かを変えたりすることでその変えたことには効果があったのか、変えなかった時とは差があったのかが気になったことはないでしょうか？

２種類のキャッチコピー、メインのイラストどっちのほうがみんなに気に入ってもらえるかなどなども含めどっちの方がいいのかといったことも気になることがあると思います。

そんな時に統計的な検定というものを使うことができます。とはいえ、統計的な検定というものの大前提として、多くの人がその行動をすることで全体として差がありそうかを調べる方法なわけです。

なので、実は、統計的に検定をすることで、どっちのキャッチコピーが多くの人に響きそうか、早起きのような生活習慣を変えることで人生の質があがるといえるかなどは、多くの人にとって効果がありそう、もしくは、なさそうということは言えますが、あなたにとって本当に効果があるかは実はわからないのです。とはいえ、あなたがよほど変わった人ではない限り同じことが起こりやすいとは言えると思います。

ここまで読んでいただいて気になったことがあるかもしれません。差がありそうとか、差がある可能性があるといった回りくどい言い方が多く、イライラされているかもしれません。

統計検定の考え方

統計でいう検定（差があるかどうかを見る方法）というのは、二つの発生確率に差がないかどうかを検証する方法です。

具体的なイメージをつかむために、今、食べているもも味のグミと明日用のマスカット味のグミの好きな割合を比較してみます。ランダムに集まった100人ずつどちらかを食べてもらい、スキか嫌いかを判定してもらったという例を考えてみましょう。

私の個人的な意図が多分に入った仮の回答結果として、

・もも味は100人中　85人が好きと回答（スキ率85%）
・マスカット味は100人中　75人が好きと回答（スキ率75%）

だったとします。もも味とマスカット味のスキ率に差があるのかどうかを検証しています。

少しだけ専門的な話をすると、この確率は2項分布というものに従いますが、確率を計算するのは大変なので、対象者が多い時に正規分布に近似するという特徴を使い、スキ率が正規分布すると考えて進めます。

例えば、もも味はスキ率85%を頂点（平均）と、3.57%の標準偏差の正規分布と考えます。この確率分布で考えたときに、スキ率75%（一番起こりやすい85%から10ポイントもスキ率が下がるということ）は良く起こることなのかと考えることが統計的な検定の肝になります。

確率分布（正規分布ってわかりやすい）

ここで便利な確率分布。特にわかりやすい正規分布のような確率分布を使うことの意味を考えてみましょう。

確率分布を使うメリットはずばり、この平均からの乖離部分がわかれば、どれくらいの確率で起きるかがすぐにわかるように指標化してくれていることにあります。

例えば、今回の件でいえば、85%から10ポイントもスキ率が下がるということは0.26%くらいの確率でしか置きません。というのが過去の遺産なども含めて計算しやすく準備されています。

では、0.26%の確率で起きる10ポイントの差は偶然だと思うか、まぁ、そこそこ起きるかと思うのかという話です。さすがに100回あっても1回も起きないくらいなので、これはさすがに偶然とは言えないと思うかもしれません。

とはいえ、今回のグミのスキ率のケースの場合、ごくまれに（1000回同じようなケースがあれば2回か3回くらいは起きるくらいの確率。いわゆるセンミツ（ベンチャー企業が生き残る確率といわれているやつですね。）起きることもあります。つまりマスカットのスキ率がたまたま低くなる人たちが多く集まってしまうこともあるということです。ただ、そうなった場合はあきらめるという、あきらめの水準を表しているのが優位水準とも言えます。（と、習ってすごい腑に落ちたことがあります。）

ちなみに統計学では5%を優位水準にすることが多く、片側5%、両側5%などを使い分けることがあったりします。それ以下の発生の場合のみ偶然ではないとみなします。

　100人の時、スキ率75%の時は、0.26%でしたが、78%で約2.5%と確率的には10倍、83%弱で26%になっていきます。

確率がゼロじゃないということは可能性はある

最後に、テレビのニュースなどで、MCの人が専門家に可能性はありますかって聞く質問を聞くたびに、しぶしぶ可能性はあると回答しているケースをよく見ます。

上の0.26%しか起きない場合でも、もっと、0.0000001%しか起きなくてもこれがゼロにならない限り可能性はあるので、可能性はありますとしか答えれないですよねぇ。個人的には効くだけ無意味というか、無駄に不安あおるくらいだと思っていますが、、、

ちなみに前前々職くらいの10年近く前に除菌率99.9%も100%とはかけない理由が同じような背景だと聞いたことがあります。