効果検証に統計的因果推論を導入した取り組みについて
「GLOBIS学び放題における施策の効果検証に統計的因果推論を導入した取り組みについて」
はじめに
こんにちは！グロービスのデータサイエンスチームでデータサイエンティストとして働いている菅沼です。
2021年7月からグロービスに参画し、ビジネススキルを動画で学べる GLOBIS 学び放題 というサービスについて、行動ログやアンケート調査データの分析を担当しています。
今回は、GLOBIS学び放題における施策の効果検証に、統計的因果推論を導入した取り組みについてご紹介できればと思います。
統計的因果推論とは
一言で言うと
原因と想定される変数と結果となる変数の因果関係を、できるだけ正しく推定するための統計的手法の総称です。
(用途・仮定・制約などが異なる様々な分析方法があります。)
なぜ因果推論が必要か
例えば施策と効果の因果関係を把握したい場合、いわゆるA/Bテストであれば、処置群と対照群が無作為割り当て(ランダムな割り振り)されているので、処置群と対照群の結果変数をそのまま比較すれば、その施策がどれだけの効果を上げたのかが推定できます。
他方で、処置群と対照群をランダムに割り当てることができないケースが有り得ます。この場合、処置群と対照群の被験者の特徴(デモグラ・経済的条件・社会的条件・趣味嗜好など)が異なることで、セレクションバイアスが発生します。そのため処置群と対照群の結果変数をそのまま比較しても、施策効果の正しい推定にはなりません。
処置群と対照群の間にセレクションバイアスが発生する状況でも施策効果をできるだけ正しく推定するために因果推論が用いられます。
因果推論の分析方法
IPW推定・DID推定・LATE推定など様々な分析方法があります。ここでは各分析方法の説明は省略しますが、ご興味のある方は、下記文献などを参考にしてみてください。
「効果検証入門」安井翔太著、技術評論社、2020年
「調査観察データの統計科学」星野崇宏著、岩波書店、2009年
前職での因果推論の経験
前職では広告代理店に勤務しており、デジタル広告などの広告効果計測に因果推論を活用していました。
一般的には、デジタル広告の効果は、クリックスルーCV数やビュースルーCV数のように、その広告を経由したCVがどれぐらいあるか、で計測されます。ただし、このような効果計測には懸念点もあります。
デジタル広告をクリックしてCVしたユーザーが、本当に広告のおかげでCVしたのか、放っておいてもCVするような意欲的なユーザーが、たまたま広告経由でCVしたに過ぎないのかが分からないからです。
もしクリックスルーCVの中で、実は広告を出さなくても自然にCVしたケースが多ければ、広告効果は過大評価されることになります。
このような懸念を払拭するには、広告を配信する処置群と広告を配信しない対照群にランダムに分けて、A/Bテストを実施することが確実です。
しかし広告配信媒体ごとの環境や制約により、正確なA/Bテストを実施できないことが多くあります。手に入る範囲のデータで、処置群と対照群を分けることができたとしても、両群には何らかのバイアスがあることが多いです。
バイアスがある状態で、処置群と対照群を比較しても、正確な広告効果の計測にはなりません。
そこで因果推論、特にIPW推定・DID推定・LATE推定などを用いて、処置群と対照群のバイアスを是正して、より確からしい広告効果の推定に取り組んできました。
GLOBIS学び放題で因果推論が必要とされるケース
グロービスに入社した際、GLOBIS学び放題の分析において、因果推論が必要となるケースは少ないと考えていました。
何故ならば、広告配信媒体とは異なり、自社のWebサービス上では、適切なツールさえ導入していれば、ランダムに処置群と対照群を分けて正確なA/Bテストを実施することは難しいことではないからです。
しかし実際には、A/Bテストができない、もしくは、A/Bテストができたとしても何らかの問題がある場合に、因果推論による効果検証が必要になりました。具体的には以下のようなケースです。
過去に実施した施策でA/Bテストができていない
GLOBIS学び放題は教育サービスということもあり、短期的なCVを目的としたUI/UX改善施策だけではなく、ユーザーの長期的なエンゲージメント(例えば離脱防止)を目的とした施策も多いです。
そのようなエンゲージメント施策は、シンプルなUI変更施策に比べて複雑な施策設計(例えばWeb画面・メール・Push通知など様々なチャネルからのアプローチや複数種類の施策の反復的な実施など)になりやすく、ツールを用いたA/Bテスト実施が容易ではない場合があります。そのため、A/Bテストによる検証は避けられがちです。
しかし、このような場合、いざ施策の効果を振り返ろうとすると、施策対象セグメントのユーザーを処置群、施策対象セグメントから外れたユーザーを対照群にして、単純比較することになりかねません。施策対象は、(ランダムではなく)マーケティング視点で選ばれているので、当然、バイアスがかかっています。
従って、因果推論のIPW推定という手法を用いて、処置群と対照群のバイアスを是正した施策効果を推定することが必要になってきます。
A/Bテストを実施したが、処置群においてノンコンプライアンス問題が発生する
ノンコンプライアンス問題とは、処置群と対照群をランダムに分けたとしても、処置群の一部は施策が実行されない事象のことです(もしくは逆に対照群の一部に施策が実行されてしまう場合も当てはまります)。
GLOBIS学び放題では、エンゲージメントを目的とした特別サービスの訴求をすることがありますが、その特別サービスに参加するかどうかは、ユーザーの判断に任されています。
特別サービス自体は無償ですが、参加する時間がないなどの理由で、訴求しても参加しないユーザが一定割合存在します。
そうなると、効果検証のために、特別サービスを訴求する処置群と訴求しない対照群にランダムに分けたとしても、処置群の中で特別サービスに参加しないユーザが出てしまうノンコンプライアンス問題が発生するのです。処置群側にノンコンプライアンス問題がある状況で、処置群と対照群を単純比較してしまうと、施策効果を過小評価してしまうことが分かっています。
このような場合に、因果推論のLATE推定という手法を使うと、処置群と対照群の単純比較による施策効果の過小評価を是正することができます。
他方で、処置群における施策参加割合が非常に低いケース(訴求してもほとんど施策に参加しない)では、LATE推定を用いることが必ずしも適切ではないと考えています。
このようなケースでは、LATE推定ではなく、施策参加者を処置群、施策非参加者を対照群とした上で、IPW推定という手法で両群のバイアスを是正して施策効果を求めるようにしています。
因果推論を導入した結果
入社以来、上記ケースを中心に、複数の施策で因果推論による効果検証を提案・実施してきました。
因果推論導入前は、ビジネスサイドにおいて
・「施策の振り返りをしたくても、どのように効果検証して良いか分からない」
・「効果があるかどうか明確ではないまま、施策を延々続けてしまっている」
という状況が一部で見られました。
因果推論による効果検証を実施することで
・施策の成否を把握した上で、適切なリソース配分が考えられるようになった
・施策効果を踏まえて、改めて施策の目的や位置づけを整理できた
・効果検証方法が明確なので、施策実施→効果検証→意思決定のスケジュールをひきやすい
などの好影響があったと感じます。
因果推論実践の難しさ
因果推論の実践は一筋縄では行かず、試行錯誤や工夫が必要になります。そして試行錯誤や工夫をしたからといって、上手く行くとも限りません。因果推論のテキストは理論面での記述は充実していますが、実際の業務にどのように適用するかは、現場担当者が考えることが求められます。
実践のポイントとして、具体的には
・共変量をどのように選ぶのか
・処置群と対照群をどのように設定するのか
・施策効果の推定値の確からしさをどのように判断するのか
・因果推論を実践しやすい施策設計ができるのか
などが挙げられます。
この辺りの現場における工夫については、別途まとめて紹介させていただきたいと考えています。
終わりに
グロービスに入社して実感したことですが、そもそも施策効果が曖昧なままだと、限られたリソースを前提にしたときに、その施策を継続するのか、停止するのか、拡大するのか、という意思決定が非常に難しくなります。因果推論の活用により、曖昧になりがちな施策効果を明確にすることは、意思決定の最適化という観点から、大きなメリットがあると感じています。因果推論は、A/Bテストに比べて手間がかかり、設計に工夫が必要で、いつも上手く行くとは限りませんが、そうした苦労を上回る価値をもたらす可能性があると思います。
施策効果をエビデンスとして意思決定に貢献したい方は、是非、因果推論にトライしてみてください!
グロービスで一緒に働くデータサイエンティストを募集しています！
グロービスのデータサイエンスチームでは、一緒に働けるデータサイエンティストを探しています！
まずは、カジュアル面談を通して、あなたに合う組織かどうか確かめてみませんか？
この記事が気に入ったらサポートをしてみませんか？