勝ち負けでシンプルに考える

私もwebマーケターの端くれなので、施策を行う際は統計的な比較検定を行うことも多い。

しかし統計的な検証方法を知っているからと言って、統計的な検証結果が出せるわけではない。

統計的な有意差と呼ばれるものを出すには、かなりのデータ量が必要になり、デジタルでは比較的多くのデータを集められると言ってもビジネスやサービスの規模感によって難しいときもある。

特に売上や、売上に直結するような数をもとに検証を行う場合はかなりの時間がかかる場合が多い。

今回の検証もサンプル不足が原因で有意差を出すことができなかった。

そこで有意差をシンプルにコイントスとして考えることにしました。

例えばAとBを比較するとして、Aが勝ったとします。

このときAとBに有意差はないので、どっちが勝ってもおかしくないという仮説を置けばAが勝つ確率は50％になります。

このままではAが勝ったことに有意差があるかわかりません。

では同じ検証を4回続けて、全てAが勝つどうなるでしょうか？

仮に4回ともAが勝つ場合、50％が4回続けて発生することになります。

これを確率的に考えると、コイントスをして4回とも表が出る確率と同じになります。

細かい式は割愛しますが、この確率は約6%です。

この数値までくれば、偶然とは言いにくいでしょう。

このようにサンプルが少なくても工夫次第で数的根拠を示す説明はできるものです。

※私は統計学の専門家ではないので、あくまで考え方の1つとして参考にしてください。