「効果検証入門」〜セレクションバイアスとRCT〜感想

交換検証入門がtwitterで話題になっていたので手に取ってみました。

こう見えても理系出身の私、ある程度は理解できるだろうと思って臨みましたが半分は理解できたのかできなかったのか...

記録程度ではありますが、理解したことをメモに残していきます。

効果検証とは？

例えばECサイト運用担当者が、顧客に販促メールを送ったとして、

メールによってどのくらいお客様の購買にどのくらい影響を与えたのかその効果を知りたいとします。

その時に活躍するのが効果検証入門です。

（「そんなのメールを送った人と送っていない人の売り上げの差を見ればいいんじゃないの？」と思われるかもしれません。そんな人にこそぜひ読んで欲しいです。）

セレクションバイアスとは？

セレクションバイアスは介入（メール等の処置・操作）を行ったデータ群と行っていないデータ群の集団の間に存在する元々の差です。

例えばメールを送った顧客群とメールを送っていない顧客群があるとします。この時メールを送る顧客はメールを送ってより効果のありそうな、毎月4回以上買い物をしてくれる顧客だったとします。（より効果的なマーケティングとして正しいです）

そしてメールを送信した後顧客の購買にどれだけ影響があったのか知りたいとなった時に、何と何を比較するべきでしょうか？

データからはメールを送った顧客と送っていない顧客から推定するしかありません。しかし、メールを送った顧客は元々買い物を多くしてくれる顧客であり、メールを送っていない顧客は元々買い物をしていない顧客であるため、比較をしても過剰な効果が算出されてしまいます。

この過剰に算出されてしまう効果をセレクションバイアスと言います。

RCTとは？

RCTとはrandomized controlled trialです。

セレクションバイアスを少なく抑えるための実験手法だと解釈しています。

簡単に言うと、「介入（処置）を行う対象は、とにかくランダム（無作為）にしなさい」と言うことです。

ランダムに選出された顧客群であれば、例えばメールの送られた顧客群の売り上げとメールの送られていない顧客群の売り上げの平均を比較することで、メールの効果を正しく推定できることは想像に難くないと思います。

RCTの問題点

RCTは分析において至極真っ当な手段ではありますが、実際のビジネスの現場では損になることもあります。先のメールの例で言えば、間違いなくメール配信対象はターゲットを絞った方がいいです。

また、販促メールを許可している顧客にしか送れないケースにおいて、メールを送った人と送っていない人で効果を調べたい時もすでにバイアスがかかっていると思います。

上記の様なケースでなくとも、すでにあるデータがセレクションバイスの掛かったものであるケースがあります。本書を読んで私は特にそう感じました。

本記事は第１章を読み終えたメモ・感想ですが、２章以降ではセレクションバイアスの掛かったデータを分析する上で、バイアスを軽減させる手法を紹介していきます。

（※できる限り私の言葉でまとめたかったため、有識者や本書をより理解した方からみると違和感があるかもしれません。コメントいただければ修正いたしますので、遠慮なく言っていただけると幸いでございます。）

効果検証入門〜正しい比較のための因果推論/計量経済学の基礎