効果測定に潜むバイアスを除く２つのアプローチ 【因果推論②】
正しく効果を測定するための方法論として、注目を集める「因果推論」。本連載では、マクロミルのデータサイエンスチームが、その考え方とマーケティングへの応用を解説します。前回は、因果推論の基本的な考え方と、正しくマーケティング施策の効果を測る難しさについて解説しました。
今回は、正しく効果を測る手段である「ランダム化比較試験（RCT）」ができないときの代替手段となる、観察データの「調整」の分析手法の種類と、その注意点を解説します。
１. 「調整」することで比較可能な２群を作る
はじめに、観察データの「調整」とは何か、その概要を説明します。前回、マーケティングの結果で得られるデータのほとんどは、広告接触やキャンペーンなどの施策（処置）の対象者を、ランダムに割り振っていない「観察データ」であると説明しました。このような状況で、施策を受けた人（処置群）と受けていない人（対照群）の「結果」の差を単純に計算しても、その効果を正しく特定できない可能性があります。このような正しい効果からのズレを「セレクションバイアス」と言います。セレクションバイアスが生じる原因は、結果に影響を与える「第３の要因」が、処置群と対照群で同質になっていないためです。このとき第３の要因は「交絡因子」と呼ばれます。
例えば、スマホゲームアプリ運営会社が、自社アプリの利用時間を高めることを目的に、Web広告を出稿したとします。その際、Web広告の効果を、広告接触者（処置群）と広告非接触者（対照群）におけるアプリの利用時間を比較することで測定します。このとき、「スマートフォンの利用時間」は交絡因子となり、バイアスが生じる可能性があります。スマートフォンの利用時間が長い人ほど、Webブラウジングの時間が長くなり、結果的に広告に接触しやすくなり、スマートフォンの利用時間が長い人はアプリの利用時間も長くなると考えられるためです。つまり、接触者と非接触者のアプリ利用時間の差は、必ずしも広告の効果だけでなく、両者のスマートフォンの利用時間の違いによる差を含んでいると考えられます。
因果推論では、このような「交絡因子」の影響を排除し、正しい効果を得るための分析手法が提案されています。分析手法には様々な種類がありますが、どの手法も「第３の要因を同質にした比較可能な２群を作る」という考え方に基づいています。
先ほどの例であれば、「スマートフォンの利用時間などの要因が、広告接触者と同じ状況である、非接触者のゲームアプリの利用時間」を計算します。そして、広告接触者の実際のアプリ利用時間から、その計算した値を引くことで、広告接触者における広告効果を算出します。このように、比較するグループ間で異なる第３の要因を同質化させる手続きを、因果推論では「調整する」と言います。
２．分析デザインによって異なる「エビデンスレベル」
観察データの「調整」は、RCTが実施できない環境下において、非常に有効な手段ですが注意も必要です。調整による分析は、RCTと比較して分析結果の「信頼度」が異なるためです。
「分析デザイン」ごとの信頼度は、大きく５段階に整理することができます（図１）。分析デザインとは、データをどう得るかを含めた枠組みを指したものであり、分析手法の区分です。上部に位置するほど、バイアスが少なく、分析結果の「エビデンスレベル」が高いとされます。このエビデンスレベルという概念は、医学の世界で主に活用されるものですが、マーケティングにおいても広告効果の測定や仮説検証の結果の信頼度を表す考え方として応用できます。
最もエビデンスレベルが高いとされる分析デザインは、メタ分析と呼ばれる手法です。今回は割愛しますが、これは複数の分析結果を統合するアプローチであることから、一般性のある結果を導き出すことができ、信頼度が高いとされています。２番目に信頼度が高いとされる手法はRCTで、観察データの調整による分析は３番目に位置しています。こうした序列になるのは、RCTでは、比較する２群であらゆる属性や要因が同質となる状態を作ることができるためです。一方で、「調整」では、属性や要因の同質化が限定的であり、すべてが同質な状態は作れません。つまり、セレクションバイアスを完全に除去できない可能性があるということです。
しかし、交絡因子となりうる第３の要因を見定め、それらを同質化できれば、信頼度の高い分析結果を得られることも事実です。観察データを調整する分析では、何が交絡因子なのかの「あたり」をつけ、それを適切に同質化できる手法を選択することが重要と言えます。
３．データの特徴ごとに適用できる手法を見極める
観察データを調整するための分析手法は多く存在しますが、大きく２つのアプローチに分類できます。これらのうち、どちらの手法が使えるかはデータの特徴や形式で異なります。データの特徴を見る上で重要なのは、「同質化させたい因子が『共変量』として入手できるか」、「処置前後の結果が入手できるか」という視点です。
① 共変量をバランスさせる手法
最初に確認しなければならないのは「共変量」として取得できるデータの内容です。ここで、共変量とは、処置の有無や結果の値以外に取得できるデータを指します。例えば、広告の効果を測定する場合、個票データとして、広告接触の有無やマーケティングKPIの他に、性別、年代、居住地などのデモグラフィック属性が取得できていれば、それは共変量となります。同質化させたい交絡因子が共変量として入手できれば、そのデータを利用して直接的に同質化の処理を行うことが可能です。専門的にはその共変量を「バランス」させると言います。
先ほどの例で、Web広告の接触がゲームアプリの利用時間に与える効果を分析するケースでは、効果を正しく測定したい場合、交絡因子となり得る「スマートフォンの利用時間」を同質化させる必要がありました。このとき、「スマートフォンの利用時間」が共変量として取得できれば、この値をバランスさせる手法を用いて、バイアスを除くことが可能です。
しかし、共変量として取得できないデータが交絡因子と考えられるときは別の手法を検討する必要があります。このような場合は、「処置前後の結果が入手できるか」という視点でデータをチェックします。
② 施策の前後で比較する手法
「処置前後の結果が入手できる」とは、同一人物について、処置が行われる前（プレ）の状態と、処置が行われた後（ポスト）の結果の状態が、データとして取得できることを指します。こうしたデータは、プレ・ポスデータ（前後データ）と呼ばれます。
一般的に、マーケティング施策の効果を測る上では、処置が行われた後の結果のみを用いることが多いと思いますが、プレ・ポスデータが利用できる場合、マーケティング施策の前後の比較を通して、共変量として入手できない因子を部分的に同質化させることが可能になります。
プレ・ポスで比較を行う分析手法の特徴は、個人ごとの個票データを必要とせず、「処置が行われた集団」と「処置が行われていない集団」の集計値のみでも分析が可能な点です。例えば、販促キャンペーンが特定の地域で行われ、「時系列データ」として、地域別に売上などのデータが得られているといったシーンで活用することができます。
しかし、前後比較に基づく分析は、原則として「プレとポストで変化しない因子」しか同質化できないという問題があります。例えば、性別、年代、居住地などのデモグラフィック属性は短期間で変化する可能性が低いため、これらが交絡因子と想定される場合には有効な手法になります。ところが、価値観や趣味趣向といったサイコグラフィック属性など、時間と共に変化しやすい因子が交絡因子と考えられる場合には、正しい分析ができません。「調整」の手法には様々なものがありますが、あらゆる因子を同質化できる「万能な手法」はないことを理解しておく必要があります。
これまで２つのタイプのアプローチを説明してきましたが、マーケティング実務の中で効果測定を行う際には、同質化させたい因子と分析するデータの特徴を鑑みて適切な手法を選ぶことが重要だと言えます。
なお、同質化させたい因子が共変量として入手できず、またプレ・ポスデータも利用できないときには、一般的には交絡因子に対処することが難しいと言えます。しかし、こうしたケースでも、極めて条件が良く「自然にＲＣＴのような状況が作られた」場合には、バイアスを除去した効果測定ができる可能性があります。
４．「調整」で望む結果が得られるとは限らない
最後に、「調整」の留意点を述べておきます。それは調整の処理を行った場合、「効果」の値が調整しない場合よりも高くなるケースもあれば、低くなるケースもあるということです。つまり、調整によって必ずしも望む結果が得られるとは限らないということです。しかしながら、調整を行うことで処置群と対照群は比較可能になり、しない場合に比べて、正確な効果が測れる可能性は高くなります。その結果として、測定結果に基づく意思決定の質も高まると言えます。データの制約によって、すべての交絡因子を同質化させることが難しいケースも存在しますが、用意できるデータでできる限りの分析を行うことが、マーケティング施策の最適化につながると考えられます。
今回はRCTができないときの代替手段となる、観察データの「調整」の分析手法の種類と分析の注意点を解説しました。改めて今回のポイントを整理します。
●観察データの調整の手法は「第３の要因を同質にした比較可能な２群を作る」という考え方に基づいている。
●「分析デザイン」によって分析結果のエビデンスの信頼度が異なる。
●「観察データ」であっても、交絡因子を同質化させることができれば信頼度の高い結果が得られる。
●同質化させたい因子が共変量として入手可能か、プレ・ポスデータが得られるかによって、適用できる調整のアプローチが変わる。
次回は、今回紹介したアプローチのうち、「共変量をバランスさせる手法」を取り上げ、分析方法の詳細について解説します。
＜因果推論に関する記事一覧＞
マーケターの新常識、正しい効果測定の技術とは 【因果推論①】
マーケティング効果測定の定石、「傾向スコア」分析とは？【因果推論③】
行動データを活用した効果測定の最適解、「差分の差分法」 とは？【因果推論④】
