【2021JDSCアドベントカレンダー】反応率が異なる二群に対する介入効果算出の罠とその解決方法

アドベントカレンダー日程表

こちら日程表になります。他記事にも飛べますのでぜひご覧くださいませ！

ごあいさつ

こんにちは！JDSC データサイエンティストの Daiki Akimoto です。
今回は注意していないとハマってしまう、反応率が異なる二群に対する介入効果算出の罠についての解説をしてみました。

ハマってしまった罠

あるマーケティング領域の案件にて、対象にランダムにダイレクトメールを送った際の過去データから、メールのアップリフト効果を算出する際に注意すべき点について述べます。その対象が反応率の異なるグループの集まりであり、それぞれのグループでメールの送付確率が異なる場合には要注意です。

例えば、ダイレクトメールをABそれぞれのグループに送った、次のようなデータを考えます。

これを見るとどちらのグループに対しても、メールの送付非送付に関わらず CVR が変わらないので「ダイレクトメールは効果がない」という結論が導けます。

しかし、以下のように AB グループをまとめて考えるとどうでしょう。

これを見ると、メールを送付した方が +16% 効果があるので「ダイレクトメールには効果がある」という誤った結論が導かれることになります。

では、これを解消するためにはどうしたら良いでしょうか？

解決方法

今回、誤った結論が導かれた原因は「CVRが高いグループのメール割当人数が多いことによって、見かけ上全体のCVRが上がった」ということです。

従って「メール割当人数を均一になるように調整した上でまとめる」という処置をすることで、これを解消することができます。具体的には人数をその割当確率で割り戻す処理をかけます(下表参照)。

この状態で AB グループをまとめてみましょう。

すると、メールの送付非送付に関わらずCVRが一定の値になりましたので「ダイレクトメールには効果がない」という正しい効果が導けたことになります。

なお、この処置方法は因果推論的には「逆確率重み付け(IPW: Inverse Probability Weighting)」という手法といい、ざっくりいうと「逆確率で重み付けすることにより、人数のカウントを強制的に揃える」手法です。

実務的には、既に与えられたデータがグループの混じり合ったものであり、それだけでは正しく効果を算出できない場合もあります。その場合には、ロジスティック回帰などで割当確率を予測することでグループを分離したうえで、IPWを用いて効果を算出する必要があります。