有意差の話

株式会社ペンシルの関と申します。長くECのコンサルティングに携わってきまして、にっぽんD2C応援委員会の委員長・プロデューサーとして「D2C & RETAIL SUMMIT 2021」開催の準備を進めています。

今回は、デジタルマーケティングの話の中で必ず出てくるA/Bテストについてですが、その中でも「統計的有意性」をどう考えるかという話をしたいと思います。

https://www.itmedia.co.jp/news/articles/1903/26/news112.html

この記事を読んで、まず有意差の意味を正しく理解する必要が絶対にあるというのは大前提なんだけど、それは記事の内容に任せるとしまして。

デジタルマーケティングの領域だとA/Bテストやクリエイティブの改善やUI/UXの改善なんかを実施して、効果検証して、数値に統計的有意差が出る場合と出ない場合があります。

A/Bテストやりました。差が出ました。Aの方が数値が良いです。検定したら有意差ありです。

であればAを採用する、という当たり前の話ですが、問題は統計的有意差が出なかった場合です。

A/Bテストやりました。差が出ました。Aの方が数値が良いです。検定したら有意差はありません。だからAの方が良かったのは誤差の可能性を否定できません。よってどっちが良いとも悪いとも言い切れません。

これは解釈としては正しいです。

のだけれど、統計的な解釈の話と、ビジネス的なアクションの話は別の話で、じゃあこの場合どういうアクションを取るのが正しいのでしょうか。

今まで仕事の現場でよく見かけたのは、

Aの方が良い傾向ですが、有意差までは出ていないのでもう少し様子をみて数字を積みましょう。

というタイプの判断です。
A/Bどちらが効果的か、まだ数が少なくてなんとも言えないから、もうちょっとテスト継続して有意差出るまで粘ってみようという話です。

これは一見正しいようなんですが、ビジネス視点でいうと、単に意思決定を先延ばしにしているだけであまり良い態度とは言えないと思っています。

今の時代どんどん施策を回してPDCAを高速回転させて行くのが成果への近道であることはほぼ間違いないので

一定期間で有意差が出ないなら、効果的にはどちらが良いとは言えない。であれば、より企業理念合った施策を採択し、次の施策テストに進める。

というアプローチの方がビジネス的には正しい対応になるのではないでしょうか。

あと統計的解釈は正しいと言ったのですが、ビジネス的解釈では、

2つの施策はどちらが良いとも言えない

のではなく、

2つの施策は短期間に統計的有意差が出るほどの成果の違いはないことがわかった

が正しいです。

例えばコピーのA/Bテストで、極端に言うと

A：100%効果出す絶対成功WEBコンサル
B：なんでも解決しようとあらゆる手を尽くす伴走型WEBコンサル

で、クリック率やCVRに統計的有意差がなかった。
成果で見るならば、２つのコピーには短期間でユーザーの選択に差がつくような違いはないということがわかった。
なので、より企業理念に合致したBを採択する。といった具合です。

・どちらかと言うと、こっちの方が本当に言いたいことに近い、と
・どちらかと言うと、こっちの方がブランドメッセージに合っている
・どちらかと言うとこっちの方が今はプッシュしたい内容になったいる
・どちらかと言うとこっちの方が担当者が好き

とか、そう言う定性判断に持ち込んでもいいんじゃないかと思います。

統計的有意差だけが意思決定の理由ではないってことです。