見出し画像

効果検証の精度は施策設計段階で8割決まる

花澤/フュージョン株式会社

「例のバースデー施策だけど、効果出てるのか？」
上司に聞かれて回答に困った経験はありませんか？

この質問への回答として、残念な例を挙げます。
・レスポンス率は20％出てます
・ROI(費用対効果)は前回より上がってます
・CTAは目標数字以内に収まっています

「で？」
上司からはこの一言が返ってくるかもしれません。
なぜかというと、上司が聞きたいのは、「効果が出て最終的な目標につながっているのか、やる価値があるのか」を聞いているのに対して、この回答では、施策単発の結果だけを伝えているからです。

この記事では、胸を張って上司の質問に答えられるように、
ゴールデンサークル理論に沿って、効果検証の目的と考え方についてお話ししていきます。

Why_なぜ効果検証をやるのか？

私は、マーケティングの効果検証の目的は、「またやるかをどうか決めること」と思っています。
私が所属するフュージョン株式会社のマーケティングアナリストは、効果検証についてこう説明しています。

フュージョンでは、効果検証の目的は、
～結果に結びついた要因を明らかにし、「再現性」を持たせること～
と考え、マーケティングのPDCAサイクルに活かすことを重視しています。

また、多くの方が「再現性」というキーワードを使っています。


施策の効果を把握し、成果が出ているのであればまたやるし、出ていないのであれば別の施策を考える。こういった判断をできるようにすることが、効果検証の目的です。
言い換えれば、判断ができないのであれば効果検証をやっているとは言えない、ということになりますね。

冒頭の上司からの質問への回答にあった、レスポンス率、ROI、CTAはいずれも施策結果を把握する基本的な指標です。
これらの数字は、どんな施策でも基本的に抑えるべき数字です。
ですが、施策で期待する効果が出ているのかは判断がつきません。

なぜなら、この数字だけでは、
・数値が高いのか低いのか、判断基準がない
・その結果が施策によるものなのかがわからない
からです。

それをはっきりさせるためには、「比べる」ことが必要です。

※効果検証の基本的な指標についてもっと詳しく知りたい方はこちらをどうぞ。
▼フュージョン株式会社公式コラム：なぜ、施策の効果検証をマーケティングに活かせないのか？①

How_効果検証の進め方

施策の結果を比べるためには、
①施策を実施するグループ（テストグループ）
②施策を実施しない、比較対象とするグループ（コントロールグループ）
を作る必要があります。

eメール施策を例にしてみましょう。

目標：A商品のF2（2回目購入）引き上げ
仮説：eメールで2回目購入特典を訴求すれば引き上がるのでは？
設計：A商品購入者1万人を①②に分けてeメールで送信
　　　　①eメール送信あり：5,000人
　　　　②eメール送信なし：5,000人
効果検証：2回目購入率を①と②で「比べる」

①＞②であれば、仮説に対して成果ありと判断できるので、施策継続を決定する（再現性）

いかがでしょうか？「比べる」ことで成果が判断できることが伝わったでしょうか。
もし、効果検証を意識せずに、仮説だけでA商品購入者1万人全員にメール送付していたら、メールを送付していない人との比較ができないので、効果検証ができない状況になっていたかもしれません。

効果検証は施策が終わってからやるもの、と思われがちですが、
この例のように、何の項目を、何と比べるか、について、施策設計段階から組み込んでおく必要があります。
私は、効果検証の精度は施策設計段階で8割決まる、と思っています。

ちなみに、①のように仮説を検証する集団を「テストグループ」、②のように比較対象とする集団を「コントロールグループ」と呼びます。
次に、コントロールグループの作り方について解説します。

What_効果検証のやり方は？

コントロールグループの作り方には、検証したい項目によっていろいろな切り口が考えられます。
重要なのは、検証したい項目以外の条件を揃えることです。

例えば、先ほどの1万人を下記にように分けていたらどうでしょうか？
　①eメール送信あり：5,000人→女性
　②eメール送信なし：5,000人→男性
この比較で①＞②との結果が出た場合、eメール送信が良かったのか、女性が男性に比べてそもそも引き上げ率が高かったのか、判断がつかなくなってしまいます。

この例は極端ですが、施策の効果を正しく把握するためには、検証したい項目以外の条件（例えば顧客属性や顧客ステージなど）できるだけ揃える必要があるのです。

理屈ではわかっていても、条件をそろえて比較するのは難しいのが現状だと思います。
例えば、企業全体で見ると複数の施策が動いていて、特定の施策の成果とは断言できないケースや、成果の軸を段階的に置く施策（資料請求→商談の両方がコンバージョン）など、シンプルにいかないことはよくあります。

制約がある中でも、効果検証を単なる施策の実施結果の測定にとどめず、次の施策に活かすためにどうやるか、を考えることが大事、と思っています。

「検証項目以外の条件を揃える」具体的な分析手法については、こちらをどうぞ。
▼フュージョン株式会社公式コラム：なぜ、施策の効果検証をマーケティングに活かせないのか？②

まとめ

今回は、少し理屈っぽい記事になってしまいましたが、みなさんに伝わったでしょうか。

改めて、効果検証とは
・「また同じ施策をやるかどうか」を判断するためのもの
・施策の効果を測定し、「比べる」こと
・施策が終わってからではなく、設計段階から始まっている
ということになります。

私は、子供の頃にテレビでやっていた、「ifもしも」というドラマが好きでした。
タモリさんがストーリーテラーで1人の人生を解説していくのですが、ストーリーの途中で人生の選択肢「A」と「B」が発生します。Aの道に行くか、Bの道に行くか、で結末が全く違うので、いつもハラハラしながら見ていました。
人生は同じ時間をAの道とBの道で比べることはできないからこそ、ドラマとしておもしろいのでしょうね。

効果検証って深い！おもしろい！


＜本記事の引用元＞
マーケティング先進国であるアメリカの全米広告主協会（ANA）が提供している、フュージョン株式会社のマーケティングeラーニング講座DCFM (DMA Certified Fundamental Marketer)より
▼「効果測定　基本編」サンプル動画（約4分）

フュージョン株式会社のことをもっと知りたい！と思っていただけた方は、私達マーケティングチームで運用している公式コラムもぜひ読んでみてくださいね。

この記事が気に入ったらサポートをしてみませんか？