2022/1/24週｜計測を突き詰めて過小評価になることもあるので仮定に注意深くなろうと言うお話
この記事は何か？
株式会社タイミーで執行役員CMOを務めている中川と申します。
マーケティング関連の仕事をしている中で感じたことを週1の週報的な感覚で綴り、コツコツと学びを積み重ねる『CMO ESSAY』というマガジンの記事の一つです。お時間あるときにご覧いただければ幸いです。
タイミーは、すぐに働けてすぐにお金がもらえるスキマバイトアプリです。
2022/1/24週
今日は、過去に実施した施策の評価（ROIの分析）をしていく中で感じたことについて書いてみます。主に経営者やマーケティング担当者が実施した施策を分析する際や、分析結果をもとに意思決定をする際に気に留めるべきことについて、です。
計測できることの変化
この10年 - 15年くらいでしょうか、特にデジタル広告と呼ばれるものが登場し広告投資を集めるようになってから、施策の効果測定に関する考え方は大きく変わったように思います。また同時にコンバージョンポイントをオンラインに持つサービスの登場もそれを後押ししています。
それまで、「広告に使っているおカネの半分は無駄とわかっている。問題は、どちらの半分が無駄かわからないことだ」とジョン・ワナメーカーが名言を残す通り、効果のダイレクトな可視化は相対的に難しかった時代だったと認識しています。
具体的には、現在も重要指標ではある、アンケートベースの意識のKPI（認知率や内容理解度、購入意向など）による意思決定をしていた時代です。
デジタル広告自体は1995年頃以降、純広告・メール広告・アフィリエイト広告・検索連動型広告・ターゲティング広告・アドネットワーク・SNS広告・動画広告・DSP・アプリ広告…などなどなど、と目まぐるしく進化してきました。
細かい歴史は下記などによくまとまっていると思うのでご覧ください。
デジタル広告の大きな特徴は行動ベース（クリックした、コンバージョンした）の成果を測れるようになっていったこと。これまでアンケートベースで、購入意向までしかわからなかった受け手の行動のその先が可視化された、と。
加えて、Webサービスやスマホアプリなど、eventの計測がしやすいプロダクトではこの種のデータ・数字を使った分析、およびそれらに基づいた意思決定がしやすいです。一番ポピュラーな例ですとCPIやCPAといったものの計算ですし、SaaSとかだと流入経路別のLTVやCACを算出して、ユニットエコノミクスを見たりするかと思います。
一見すると、今まで捕捉できなかった情報が捉えられるようになったのでそれだけで意思決定の精度が上がりそうに感じます。ですが、実際にやってみるといくつかの仮定をおかないといけないことに気が付きます。
テレビCMのROIのケース
例えば、とあるアプリのプロモーションで実施したテレビCMのROI（ここでは「費用対効果」の意味）を算出していこうと思った時に、下記のような点をどう扱うかは判断をしていかなければなりません。結論は、どうしても推定の余地が残るということです。
流入元
テレビCMによるインストール数を知りたいが、デジタル広告のように何をタップしたりする経路が必ずあるわけではないので、流入元が正確にはわからない。計測ツール上でOrganicとして計上されているものをベースにしていく。
テレビCMは「放映エリア」という概念があるので、例えば関東一都六県にしか流れていない場合、Organicの数字をどう加工するのか？何かの数字で按分をする必要があるのではないか？
また、その際、IP アドレスベースで判定された都道府県情報はどの程度正しいものとして受け入れるべきか？
ちなみに、流入元について、計測ツールを活用していれば「Facebook経由でのインストール数」「Google経由でのインストール数」など広告経由は（後述するように完全ではないですが）わかります。
期間
データを集計する期間をどう考えるのか？テレビCMが流れていた期間だけにするのか？それともそこで基礎認知が上がり放映後にリフトアップしていそうなインストールを効果として認めるのか？認めないのか？認める場合はどの程度の期間を入れるのか？
Ad（広告）への影響
デジタル広告経由で計上されているインストールのうち、テレビCMの効果によるもの（例えばCMを見て、検索連動型広告経由でインストールした）分をどう扱うのか？あるいは扱わないのか？
上記のような論点について、例えば厳密な方に倒していった場合を考えてみると、下記のような判断でしょうか？
❶OrganicについてはテレビCM放映前にも発生した部分をベースに、そこからリフトアップした分を母数のベースとする。あるいは時点（TVCM1本のこと）からx分以内に発生したインストールをCMの効果で発生したものとする。
❷期間は厳密にテレビCMが放映されていた時期にのみ絞る。（放映後は全て含まない）
❸エリアはIPアドレスベースで判定をして、放映エリア分のみに絞る
❹Adでリフトアップしている分はテレビCMによるインストールとして考慮しない（通常テレビCMを放映する = 繁忙期 となり、デジタル広告の予算も強めることが多いため、この辺りを盛り込むのは難しい場合が多い認識です）
以上の❶〜❹を採用した場合、「テレビCMにより獲得されたインストール数」はおそらく現実よりも保守的、あるいは過小評価された数字になる、と自分は考えています。
その後、上記のインストールを母数とし、テレビCMによって生み出された当月の売上（あるいはLTV）を計算し、ユニットエコノミクスを見ていくと思うのですが、そのベースを算出する上で上記のような仮定があることは知っておくと良いかもしれません。
仮に上記で見た場合にユニットエコノミクスやROIが見合わないと判断した場合、その後テレビCMは実施しなくなる可能性が高まります。
しかし、仮定が少し異なる別モデルを採用するとまた異なる意思決定につながる可能性があるのではと考えています。
この辺りは普段見えないですが経営の意思決定に影響を及ぼす重要なファクターであると思いますので、特に経営者の方は理解しておくべきところかなと思います。
（自分がこれまで仕事しながら見てきた体感では厳密なシミュレーションをするケースの方が多く、それゆえ過小評価しているケースの方が高いのではと思います）
デジタル広告のROIのケース
ところで、行動やeventをトラッキングしやすいデジタル広告の世界なら、精度の高い意思決定ができるのでは？という疑問があるかと思いますが、その辺りも近年のGDPR（General Data Protection Regulation／欧州一般データ保護規則）の流れの中で揺り戻しが起きている認識です。
具体的にはプライバシー面への配慮から、ユーザーの行動を追跡・分析するトラッキングについて制限を行う機能が登場するなど、デジタル広告のターゲティングに大きな影響が出ており、例えば、計測上においても「広告経由なのだけど、データがOrganicに計上されてしまう可能性がある」といったことが起きています。
ここではこの是非自体については置いておきつつ、いずれにせよデジタル広告の評価においても一定の仮定を用いる必要があるのは事実です。
モデルは仮定に依存する
以上のことから、ROIに限らず数値の分析をする際には、どんな仮定を置いているのかについて少し注意深くなる必要があると思います。その仮定の上に成り立つモデルが、どのような方針で現実を現そうとしているものなのかを知った上で、意思決定をしていくのがベターです。
今週感じたことのまとめ
経営者やマーケティング担当者は下記のことを認識して最終的な意思決定をできると良いのかな、と。そんなことを感じました。
計測をし、適切な仮定をおいてシミュレーションをするのは当然
その際、仮定を注意深く確認しておく。（作り手は吟味する）
同時に仮定を動かすとどうなるのかも考えてみる。（複数視点で考える）
この際、厳密にシミュレーションすることが多いと思うので、どちらかと言うと、過小評価してしまうリスクが高くなる。計測を突き詰めて過小評価になることもあるよねというお話。
いくつかの視点で見た上で、意思決定をする
お読みいただきありがとうございます。お役に立つ部分がもしありましたらXでシェアいただけますと幸いです！！