マーケターの新常識、正しい効果測定の技術とは 【因果推論①】
データから「効果」を正しく測定するための方法論として、近年注目を集める「因果推論」。本連載では、マクロミルのデータサイエンスチームが「アナリティクスの民主化」を掲げ、データ分析を専門としていない人に向けて、その考え方とマーケティングへの応用を紹介します。今回は、「因果推論」の考え方と普段の効果測定に潜む落とし穴を解説します。
１．「因果推論」で正しく効果を測る
マーケティングにおいて、「施策の効果を測る」ことは重要なプロセスの一つです。広告やキャンペーンなどのマーケティング施策の効果を測り、得られた示唆を次のアクションにつなげることは、さらに高い成果を生み出すためには必要不可欠といえます。
しかし、「正しく施策の効果を測る方法」は、マーケティング業務の中に浸透しているとは言い切れません。「因果推論」と呼ばれる統計学の一分野の研究によれば、分析方法によっては、得られた「効果」は正しくない可能性があると指摘されています。仮に正しくない「効果」に基づいて意思決定を行えば、期待する成果が見込めない可能性があります。正しく効果を測るための「効果測定の方法」についても注意を払い、適切な方法を用いることができれば、こうしたリスクを減らすことができます。
２．マーケティングの結果で得られるデータは要注意
はじめに、よくある効果測定の具体例をイメージしていきましょう。A社はブランド認知の獲得を目的としたインターネット広告を出稿しました。その広告の効果を測るために、アンケートにより広告出稿後のブランド認知を調査します。この調査において、広告に接触したグループと、広告非接触のグループのブランド認知の差に着目して効果を測定しようとしています。こうしたケースはマーケターにとって馴染みのある話かと思いますが、ここで、単純な差のみ計算してしまうと、正しい効果を測ることができない可能性があります。
因果推論の立場で考えると、この単純な認知率の差を正しい「広告効果」と考えてよいのは、広告の接触者・非接触者の割り振りがランダムに行われていた場合のみ、とされています。つまり、分析者が、分析対象となる人をランダムに２つのグループに分け、片方のグループには広告に接触させ、もう片方のグループには広告に接触をさせないという手続きができる場合です。こうした手続きは「ランダム化比較試験（Randomized Control Trial: RCT）」と呼ばれます。RCTは医学の分野で、薬やワクチンの治験においてよく用いられており、ものごとの「効果」を測るうえで極めて厳密な方法です。マーケティング業界でよく見聞きするＡ/Bテストも、RCTに端を発しています。
しかし、マーケティングの結果として得られるデータは、RCTで得られるデータとは異なり、誰が広告接触者・非接触者なのかを分析者が観察したものにすぎません。実は、こうした「観察データ」で接触者グループと非接触者グループの認知率の差を計算しても、本当の効果ではない可能性が高いとされています。
３．「真の効果」を測ることは容易ではない
なぜ、これが本当の効果とはならない可能性があるのか、「本当の効果」の考え方を説明します。ここでは、特定の顧客にクーポンを配布するキャンペーンの効果を、購入金額によって測定する例を考えます。
施策の対象顧客である、aさんへのキャンペーンの効果は、因果推論の大家であるドナルド・ルービンが用いたフレームワークを借りると、以下のように定義されます。
ここでは、同じaさんに関して、「キャンペーンの対象となった」場合と「キャンペーンの非対象となった」場合の２つの世界を考えています。その２つの世界における購入金額の差がaさんに対するキャンペーンの「真の効果」といえるということです。
因果推論では、この例における「キャンペーンの対象となること」のような、施策を受けることを「処置」、「購入金額」のような、評価の指標を「結果」と呼びます。以降の説明では、便宜上、処置を受けたときの結果をＹ(1）、処置を受けなかったときの結果をＹ(0)とします。
Ｙ(1)もＹ(0)も同じaさんについての結果なので、処置の有無以外は、両者のデータ取得時の条件は同じということになります。また、ここでは個人ごとに効果が定義されますが、マーケティングの実務では、特定のグループに対する効果が知りたいケースも多いと思います。その場合は「分析対象者のＹ(1)の平均値 － 分析対象者のＹ(0)の平均値」や「処置を受けた人のＹ(1)の平均値 － 処置を受けた人のＹ(0)の平均値」として効果が定義されます。
こうした定義によって表される「真の効果」は、マーケティングにとって非常に示唆のある値です。キャンペーンの効果の場合、結果の値である「ＯＯ円」は、「顧客がキャンペーンの対象になると、購入金額がＯＯ円上がる」という解釈ができるためです。つまり、ただの「データの傾向」ではなく、データの背後にある「原因と結果の関係性」を示す値といえます。因果推論では、この値を「因果効果」と呼びます。因果効果が分かれば、キャンペーン対象者を増やした際に、いくら売上が上がるかを精緻にシミュレートすることができます。結果の値を予測することができるため、次のアクションの精度が高まります。
このように、因果効果を得ることはマーケティングにおいて非常に有益な一方で、因果効果の計算は容易ではありません。当然ですが、下図に示すように、Ｙ(1)とＹ(0)は異なる世界の結果なので、すべての個人について、どちらか１つしか観察できないためです。
aさんのY(1)とY(0)を同時に得ることは、現実的に不可能であり、グループ全体の平均値を考えるにしても同様です。この問題は「因果推論の根本問題」と呼ばれます。直接的に計算ができない以上、観測できない値に関して何らかの前提を置き、補完をしたうえで計算することになります。この「補完」の妥当性が、正しく効果を測定できるかを左右します。
４．単純比較で得られるのは正しくない効果
キャンペーンの効果測定の例で、キャンペーン対象者と非対象者（因果推論では「処置群」「対照群」という）の平均購入金額の単純な差を使って効果を測定するとします。このとき、この値が対象者にとってのキャンペーンの因果効果となるためには、下図のように、「キャンペーン非対象者の平均購入金額」が、「キャンペーン対象者のＹ(0)の平均値」として補完できる場合に限られます。つまり、「対象者がキャンペーンの対象にならなかったら、平均購入金額は非対象者と同じになる」という前提が置ける場合のみ、単純な平均値の差を、キャンペーンの因果効果として考えてよいということです。
しかし、「観察データ」を分析する場合は、この前提は現実的でない可能性があります。その理由は、対象者と非対象者で「購入金額」に影響を与えてしまう属性が異なっていると考えられるためです。仮に、このキャンペーンが自社の既存顧客のうち、優良顧客のみにクーポンを配布するという内容だったとしましょう。このキャンペーンの対象となった既存顧客は、対象でない既存顧客に比べて、自社へのロイヤリティが高い顧客だと考えられます。したがって、キャンペーン対象者は仮にキャンペーンの対象になっていなくても、キャンペーン非対象者より、購入金額が高いと考えられます。
このとき、対象者と非対象者の単純な差は、キャンペーン以外の「効果」を含めてしまっている可能性が高いと考えられます。つまり、購入金額の差はキャンペーンだけでなく、両者の「ロイヤリティ」の違いによっても生じている可能性を否定できないということです。このように、異なる属性の人々の結果を単純比較してしまうことで生じる「効果」のズレは、因果推論では「セレクションバイアス（あるいは単にバイアス）」と呼ばれます。
５．バイアスを引き起こす「交絡因子」
バイアスが生じる要因は、先ほど説明した「ロイヤリティ」のように、結果に影響を与えてしまい、かつ対象者（処置群）と非対象者（対照群）で同質になっていない「第３の要因」が存在するためです。こういった「第３の要因」は「交絡因子」と呼ばれます。交絡因子がある限り、処置群と対照群の結果の単純な差は「真の効果」にならないため、注意が必要です。
交絡因子はマーケティングの分野のみならず、観察データを用いたあらゆる効果測定で問題となるものです。例えば、教育分野の研究者から近年よく耳にする、「毎日、朝ごはんを食べることが成績向上につながる」という説を、こどもたちへのアンケート調査の結果を使って検証したとしましょう。
普段、朝ごはんを食べているこどもと、食べていないこどものテストの点数を比較することで「朝ごはん」の効果を測定します。その際に、「保護者の教育への意識」は交絡因子となりえます。なぜなら、朝ごはんを食べる習慣付けをされている生徒は、保護者の教育への意識が高いと考えられるためです。したがって、食べているこどもと食べていないこどもの平均点の単純な差を計算しても、それは「朝ごはんを食べること」の因果効果だけでなく、両者の「保護者の教育への意識」などの差を反映したものになっており、バイアスを伴うことになります。
６．理想は「RCT」、できないときは「調整」
RCTにおいては、処置・非処置の振り分けがランダムに決定されているため、処置を受けた人・受けなかった人の間に他の要因の違いがない、つまり、交絡因子が存在しないデータを作り出すことができます。したがって、単純な差の計算でもセレクションバイアスを除去した効果を特定することができるため、理想的な効果測定方法といえます。
しかし、マーケティングの実務では効果測定を最優先にして、マーケティング施策の対象者をランダムに処置群・対照群を割り振るRCTが難しいケースが多いのではないでしょうか。観察データしか手に入らないようなケースでは、効果を測定することをあきらめるべきなのでしょうか。答えはNoであり、むしろこういった状況こそ、因果推論の出番といえます。具体的には、単純な差の計算の代わりに、「交絡因子」となりうる属性・要因が処置群と対照群で同質となるように調整します。調整することで、RCTの状態をできる限り再現するという方法です。
今回は、因果推論の立場から、正しくマーケティング施策の効果を測ることの難しさについて説明してきました。改めて効果を測る際に、気を付けなければならない大切なポイントを整理したいと思います。
● 処置群と対照群の割り振りがランダムに行われていない「観察データ」では、単純な両群の平均値の差は、処置の「真の効果」とならない可能性がある。
●「真の効果」とは同じ人（グループ）に対して、処置を受けた場合と受けなかった場合の結果の差で定義される。しかし、どちらか一方の結果しか観察できないため、効果を特定するためには妥当な補完を行う必要がある。
● 結果に影響を与え、かつ処置群と対照群で同質になっていない「交絡因子」が存在するとき、単純な平均値の差には「セレクションバイアス」が生じる。
次回は、RCTを実施することが難しいマーケティング実務において、その代替手段となる「調整」方法の種類と、その注意点を詳しく解説します。
＜因果推論に関する記事一覧＞
効果測定に潜むバイアスを除く２つのアプローチ 【因果推論②】
マーケティング効果測定の定石、「傾向スコア」分析とは？【因果推論③】
行動データを活用した効果測定の最適解、「差分の差分法」 とは？【因果推論④】
