「数字に強いマーケター」になるための3つの思考法

こんにちは。前回の「【実践】今日からできるマーケティング思考の鍛え方」や「P&Gのフレームワークから見るSaaSのマーケティング戦略」をたくさんの方に読んでいただきありがとうございました！

最近面接やカジュアル面談などで「数字ができるマーケターになりたいんですけど、何を勉強すれば良いですか？」「やはり統計学の本などを読むのが良いですか？」と聞かれることが非常に多くなってきました。

もしかすると前職の先輩で偉大なマーケターである森岡さんの名著「確率思考の戦略論」の影響だったり、カジュアル面談の場合は"ザ・理系”な私の経歴を知って聞いていただいてるのかもしれません。

自己紹介
大学〜大学院では、物理工学を専攻。社会人になってからは、P&G→マネ―フォワードと10年以上ずっとマーケの人。 現在は、マネーフォワードビジネスカンパニーのCMOと中小企業領域の事業責任者をしています。

上記に対する私の見解は、マーケターにとって「データを見た時に違和感を感じとれるセンス」はめちゃ重要。だけど（「個別行動におけるポアソン分布は、マクロでは負の二項分布に従う」ことを導出できるような）ガチの数学力や統計知識とか要らん、です（笑）。

たとえばあなたが料理人だとして、味見したときに「あれ、ちょっと味が薄いな。塩を足した方がよさそうだ。」と感じとれる能力はとても大事だけど、「塩化ナトリウムが塩味受容細胞に感知されてから情報変換されて脳に送られる仕組み」は知らなくても一流の料理人になれるのに近いです。（もちろん料理人が塩味受容細胞の研究をするのを止めるものではありませんのであしからず。）

じゃあどうやってそのセンスとやらを磨くのよ？ってことだと思うので、今回はデータを見る際に意識すべき3大チェックポイント：①生存者バイアス、②全体 vs 個別、③ゆらぎと有意差、をできるだけ式を使わずに解説したいと思います！また最後に、こちらもよく聞かれる「アンケートを取る際に必要なサンプル数」についても簡単に説明します！

思考1. 「生存者バイアス」を意識する

いきなりですが、この図をご存知でしょうか？

これは第二次世界大戦時の米軍が、帰還した戦闘機の被弾箇所をプロットしたものです。翼の先端や根元、尾翼を中心に被弾しているのがわかりますね。では質問です。

＜問題＞
これらの被弾箇所を踏まえて、戦闘機の生存率を高めるために米軍は戦闘機に新たな装甲を施しました。どこを補強したでしょう？

正解は、、、

「モーターとコックピットの周り」です。

ん？おかしいですよね。なぜわざわざ銃撃を受けていない箇所を補強したのでしょう？？銃撃を受けているところを補強した方が良さそうなものなのに。。。

実は、得られたデータは「帰還した戦闘機の被弾箇所」なので、もっとクリティカルな場所に被弾して墜落した航空機はデータに含まれていないのです。言い換えると、この赤印は「被弾しても生存できる確率の高い場所。」ともいえます。

このようにデータを収集する際は、全量を均等にピックアップできることの方が珍しく、何かのバイアスがかかることが多いです。これを「生存者バイアス」と言います。この補強に関しては、「非生存者」を「生存者」にすることが目的なので、モーターやコックピットの補強が重要なわけですね！

思考1’. ビジネスで起きる「生存者バイアス」

実際のビジネスシーンでも生存者バイアスによる間違いを見かけることがあります。例えば、

あるシニア向けの化粧品会社がPCでオンラインアンケートを実施したところ、「最近は60才以上の主婦でもほとんどの人がPCを日常的に使っていて、Youtubeを見る人が70％もいる。」ことがわかりました。この結果、この化粧品会社はテレビのコストをすべてオンラインに切り替える判断をしました。

という類のもの。直感的になんか変な気がしますよね？

これは、回答している60才以上の主婦が全員PCを使いこなしてオンラインアンケートに答えるというハードルを乗り越えた「生存者」だという事実を見逃しています。もしそのハードルを超えられるのが世代の3割程度だとすると、実は70％×30％=21%で、2割程度しかいないものを過剰に見積もって判断を誤っている可能性があるわけですね！くわばらくわばら。

思考2. 「全体 vs. 個別」を意識する

つづいて、2つめのチェックポイントである「全体 vs. 個別」を解説します！またいきなりですが、下記の文章は正しいでしょうか？

A高校とB高校で同じ試験をしたところ、男子同士の平均点も女子同士の平均点もA高校の方が高いことがわかりました。つまり、この試験の男女あわせた平均点はA高校の方が高いと言えます。

そりゃそうでしょって感じでしょうか？

実は、そうとは限らないのです。

理由は、男女の人数比率が大きく違う場合に全体平均点が逆転するかもしれないからです。下記の具体例を見ていただくと、男女それぞれA高校の方が平均点が高いのに、全体で見るとB高校の方が平均点が高くなっていることがわかります。

このように個別事象だけを見て全体推論すると間違えることがあります。今回なら、ざっくり男女比率は近いんだっけ？というのは確認してから結論づけるのが大切ですね。（まぁそもそも試験の平均点を男女で分けて出す理由があまりわからないので、この場合は単純に全体平均点を見てB高校がよく試験ができる高校だということでいいんでしょうが…）

では常に全体を見ることが正しいのでしょうか？そして、そもそもビジネスの文脈で実際にこのようなことが問題になることはあるのでしょうか？

思考2'. ビジネスで起きる「全体vs個別」の間違い

次の例を見てください。この判断は必ず正しいと言えるでしょうか？

「A工場とB工場ではどちらも製品Pと製品Qを生産している。
不良品率を調べた結果、A工場は不良品率1％、B工場は0.5％だということがわかった。このことから、優秀な生産能力を持ったB工場により多くの生産を寄せることにした。」

もう勘の良い方はお気づきかもしれません。これも答えはNOです。

先ほどのテストの点と同様で、実はA工場では難しい製品Pを多く生産しているために全体の不良品率が上がっているだけかもしれません。製品ごとに不良品率を確認すると、どちらもA工場の不良品率の方が低くて優秀な場合もあるわけです。

こういう場合に個別事象を確認せずに全体数値だけを見てB工場に生産を寄せると、その瞬間に不良品率が爆増して、こんなはずじゃ…とてんやわんや。なんてことが起きてしまうわけですね。

これは、LPO（Webページの最適化）のクリック率やCV率を見る際や、複数商材を販売しているチームの営業生産性などでも同様となります。プロダクトの生産性を知りたいのかメンバーの優秀さを測りたいのかによっても見るべき情報の揃え方や個別度合いが変わるわけですね。
くっつけてまるっと見るべきなのか個別に見るべきなのか、本当に知りたいことを意識して判断していきたいものです！

思考3. 「ゆらぎと有意差」を意識する

最後に、「ゆらぎと有意差」について解説していきます！

みなさんは、「TVCMの効果を見るために、なぜ地方でテストするのか？」をご存知でしょうか？

「安いからでしょ？」というのは半分正解で半分間違いです。

たしかに低予算で済むことは間違いないです。ただ、視聴者1人に1回CMを届けるコストは実は東京でも福井でもそれほど変わりません。ではなぜ地方で行うのでしょう？これには「有意差の見やすさ」が大きく関係しています。具体的な数値を見て考えていきましょう。

株式会社Mochi Forwardでは、おいしいお餅をオンライン販売しています。宣伝がなくても人口の4-5%は買ってくれる大ヒット商品です。
今回はCMを作って、効果が良ければ全国で放映したいと考えています。ちなみにCMコストは一人に届けるのに10円で、テスト費用は200万円ほどを考えています。

いい社名ですね。メガベンチャーになる予感がします。

それはさておき、仮にMochi Forwardが、見た人の10％が買ってくれるようなすごいCMが作れたとします。この場合

＜200万円のCM放映がもたらす効果＞
200万円 ÷ 一人10円 ＝ 20万人
20万人×10％ ＝ 2万人 (←CM見てお餅を買ってくれる人数）

と2万人がCMでお餅を買ってくれる計算になります。一方で、普段お餅を買ってくれる人はどのくらいいるのでしょうか？

＜普段お餅を買ってくれる人＞
東京（人口1400万人）：人口の4-5％ ＝ 56万人〜70万人
福井（人口70万人）：人口の4-5％ ＝ 2.8万人〜3.5万人

となります。ここでやっかいな問題が発生します。

人口の多い東京では通常の売れゆきに14万人もの”ゆらぎ”があるので、たとえばテストCM放映時に58万人が買ってくれたとしても、通常の56万人にプラスCM効果で2万人が買ってくれたのか、通常どおり58万人が買ってくれてCM効果はなかったのか、はたまた60万人買うはずだったのがCMが嫌で2万人買う人が減ってしまったのかの区別がつかないのです。

一方、福井で2万人増加した場合は少なくとも2.8万＋2万 = 4.8万人は買ってくれるわけで、通常時では起きない差分がCM効果として見ることができます。逆に福井でCM放映時に3万人しか買わなかったらどう楽観的に見てもCM放映効果が2000人しかないのでこのCMは価値がないと判断づけることができます。

これが地方でCMテストをやることの意味になります。一方で、CM放映費が2億円あれば東京でも十分に効果が見込めるわけですね。つまり調査やテストの際には、「期待効果」が「オーガニックのゆらぎ」に埋もれないように、サンプル数を十分大きくするか母集団を絞ることが重要です。

おまけ． アンケートは何人に聞けば良い？

最後に、よく聞かれる「アンケート設計してるんですが何人に答えてもらえば良いですか？」に対する簡単な回答を載せておきます！

たとえば「認知度」「購入経験割合」「視聴率」のようなものを取る際には、私は1000人前後の回答数を目標にアンケートを設計することが多いです。

理由は、たとえば「20％」というデータを得た際に、本当の結果が±2.5%以内に収まっている確率が95％以上あるため必要なサンプル数が984人だからです。統計学っぽい書き方をすると、

信頼区間（誤差）：±2.5％
信頼度（信頼区間にちゃんと入ってる確率）：95％
母比率：20％
⇨必要サンプル数：984

となります。ちなみに「誤差±5％で信頼度も90%あればOK。」となれば必要サンプル数は174まで減ります。このあたりは、どの程度正確なデータを取得したいかや、サンプルの集めやすさによると思うので、どの程度の誤差を許容しているのかを意識していただくと判断の精度があがると思います！

このあたりは丁寧に説明するとまたnote1本分くらいになってしまうので、とりあえず「サンプル数200なら±5％の誤差、1000なら±2.5%の誤差」くらいに覚えておくと便利です！

ーーーーー

いかがだったでしょう？統計学やガチ数学を使わなくても、データを見る際には「生存者バイアス」、「個別vs.全体」、「ゆらぎと有意差」をチェックポイントとして気をつけるといいことがありそうです！

ちなみに、私が働いているマネ―フォワードでは、一緒にマーケティングをする仲間を絶賛大募集中です！どういう仕事してるの？どんな人がいるの？自分が活躍できるポジションあるかな？など、少しでも興味を持っていただけたらご連絡いただけるとうれしいです！入社の意思とか一切気にしないので、1mmでもマネーフォワードに興味持っていただけた方はぜひ下記リンク、TwitterのDM、お知り合いへの連絡等、気軽にコンタクトください！

たくさんの方のご連絡お待ちしています！

マーケに関するnoteを書いてますので、ぜひ他のものもご覧ください！

（画像の出典）
https://commons.wikimedia.org/wiki/File:Survivorship-bias.svg
https://storyset.com/work