見出し画像

IPW推定の活用で工夫したこと

グロービス・デジタル・プラットフォーム

はじめに

こんにちは！グロービスのデータサイエンスチームでデータサイエンティストとして働いている菅沼です。
2021年7月からグロービスに参画し、ビジネススキルを動画で学べる GLOBIS 学び放題 というサービスについて、行動ログやアンケート調査データの分析を担当しています。
以前、GLOBIS学び放題における施策の効果検証に統計的因果推論を導入した取り組みについてご紹介しましたが、今回は統計的因果推論のIPW推定を実務に適用する際に工夫してきたことをご紹介できればと思います。
尚、IPW推定の詳細については、ここでは触れませんので、下記に記載の参考文献をご参照ください。

活用上の工夫とは

前回の記事でも書きましたが、因果推論のテキストは理論面での記載は充実していても、実際の業務にどのように適用するかは現場担当者が考えることが求められます。因果推論の中で最もよく使われる手法の一つであるIPW推定についても、適切な活用のために現場の分析担当者の判断が必要になります。
今回はIPW推定を活用する際に、①共変量の選択、②処置群と対照群の設定、③施策実行前の準備の3点について、これまで社内で工夫・考慮して来たことをご紹介させていただきます。

共変量の選択

IPW推定における共変量の主な選択基準として以下の2つがあります。

1.処置変数と結果変数の両方に影響がある
2.処置後ではなく処置前に観測されている

1.処置変数と結果変数の両方に影響がある
この条件を満たす共変量を選択するアプローチは色々と考えられると思います。
例えば共変量候補を説明変数としたラッソ回帰を用いて、回帰係数のパラメータが0となる(目的変数に影響がない)共変量候補を対象外とする方法があります。ラッソ回帰とは、正則化項の働きによりモデルの過学習を防ぐための回帰モデルで、パラメータ推定プロセスで、影響力のない説明変数のパラメータを完全に0にすることができます。
ラッソ回帰を使う場合、処置変数と結果変数の両方に影響がある、という条件なので、処置変数を目的変数としたラッソ回帰と、結果変数を目的変数としたラッソ回帰の両方を実施し、いずれのモデリングでも回帰係数のパラメータが0ではない(目的変数に影響がある)共変量を選びます。

2.処置後ではなく処置前に観測されている
上記「1.処置変数と結果変数の両方に影響がある」 が専ら技術的なアプローチによりクリアすべき課題なのに対して、こちらは、どちらかというとデータが発生する事業のドメイン知識をもとに検討する必要がある課題です。
実務において、この選択基準を満たすのが難しいのは、ビジネスの構造上、処置前に観測されたデータが手に入りにくい場合です。
例えばGLOBIS学び放題では、会員登録直後にオンボーディング目的の施策を実施することが多くあります。オンボーディング施策を処置として効果検証したい場合、会員登録後の行動の大半は処置後になってしまうため、共変量としては使えません。
こうしたケースでは、ドメイン知識をもとに、できるだけ発想を広げて、共変量として使える特徴量を探します。共変量を探し出す観点を幾つか挙げてみます。

■会員登録前に何かしらのデータが取得されていないか考える
・GLOBIS学び放題であれば、会員登録前ユーザーのための専用サイトがあり、その回遊データを共変量として使用することができる

■会員登録時にどのようなデータを取得しているか考える
・GLOBIS学び放題では、年齢・職種・役職などを会員登録時に取得しており、そうした登録データを共変量として使用することができる
・また企業が従業員の育成目的でGLOBIS学び放題を一括して導入している場合は、そうした企業の受講者については勤務先の属性(規模・エリアなど)を使用することもできる

■会員登録と処置の間に何かしらのデータが取得されていないか考える
・会員登録直後に施策を実施するとしても、登録から施策実行までの短い間に、ユーザーが何かしらの回遊や選択をしているログがあれば共変量として使うことができる

■処置後に取得していても処置の影響を受けないデータがないか考える
・例えば、ある施策の目的がトップページのアクションを促すことを期待している場合、逆に言うとトップページ以外でのアクションは当該施策の影響を受けないと考えることもできる。
・もし施策実施後のトップページ以外のアクションの頻度が、処置群と対照群で差がある場合、その施策ではなく会員登録前からの意欲の影響で差が生まれた可能性がある。そうであれば共変量としての利用が可能になる。
・もちろんトップページのアクションを促した波及効果として、トップページ以外のアクションが増えることも理屈の上ではありうるので、個別ケースごとの判断が必要になる。

処置群と対照群の設定

今回はIPW推定を実施する場合の話なので、ランダムに分割された処置群・対照群ではなく、何らかのバイアスのある処置群・対照群の設定が前提となります。
まず処置群については、効果検証の対象となる施策を実行した群なので、こちらは一意に決めることができます。(処置群だが施策が実行されないノーコンプライアンス問題については、ここでは考えないこととします。)
他方で対照群については、施策の実行対象外であれば誰でも対照群になりうるので、一意に決まる訳ではありません。処置群と対照群のバイアスが確実に補正できるのであれば、理屈の上では、どのような対照群でも構わないはずです。
しかし実際には、処置群と対照群のバイアスが大きいほど、補正の難易度が上がる可能性があります。そのため実務では処置群とできるかぎり近しい対照群になるように設定をすることで、バイアスを小さくし、補正をしやすくしています。

例を挙げて説明します。
GLOBIS学び放題ではプロダクトの会員が参加できるイベントを定期的に開催しています。イベントのテーマは様々ですが、いずれも狙いとしては、学び放題での学習継続を動機づけることにあります。このイベント施策が、狙い通りに学習継続に効果があるのか、効果検証をしたいが、ビジネス上の事情によりABテストが実施できないのでIPW推定を用いるケースを考えてみます。
ここで処置群は

イベントに参加したユーザー

になります。
他方で対照群は

イベントに参加しなかったユーザー

と設定することができます。
このとき、処置群と対照群の間で

イベントに参加したユーザーは、不参加だったユーザーに比べて、元々学習意欲が高い

というバイアスが発生している可能性があります。
このバイアスをIPW推定を用いて補正するには

イベント開催前の学習量(視聴動画数など)

のような学習意欲に関わる指標を共変量とすることが考えられます。
図にすると下記になります。

ここで悩ましいのは、イベント開催前の学習量が同程度であれば、イベント参加者と不参加者の学習意欲についてのバイアスが補正できたと考えて良いかどうかです。
イベント開催時点の学習量は同じでも、それは、あくまで過去の学習量の話であって、今後も積極的に学習をしたいのか、今後は学習のペースを落としたいのか、という未来に向けての学習意欲の違いは残っている可能性があります。
そこで元々の学習意欲のバイアスを小さくするために、もう一工夫します。
イベント不参加者を全て対照群にするのではなく

イベントに申し込んだが欠席したユーザー

を対照群とします。
こうすると処置群も対照群も、イベントに申し込んでいるという点では共通することになります。もしイベントのテーマが「学習を続けるためのコツ」のようなものであれば、イベントに申し込んでいる時点で、結果として欠席したとしても、未来に向けての学習意欲が一定以上あるユーザーだと考えられます。従って、イベント不参加者全体を対照群にするよりも、その中でイベント申し込み後の欠席者に絞り込んで対照群にする方が、学習意欲のバイアスを小さくできると想定されます。もちろん参加者と欠席者の間にも学習意欲のバイアスはありますが、最初の時点で、できる限りバイアスを小さくしてからIPW推定を行った方が、補正の難易度は下げられるのではないかと思っています。
さらに工夫するとしたら、イベント申し込み時にアンケートを行い、今後の学習意欲がわかるような回答を入手します。例えば今後予定している学習頻度を聞いてみるのも良いでしょう。このアンケート回答は、イベント参加者と申し込み後欠席者の両方から取得できるので、共変量として使うことができます。アンケート回答を共変量として使えるのは、対照群をイベント申し込み者に絞ったからだと言えます。(尚、イベント開催後にアンケートを取得すると処置の影響を受けるので、開催前の申し込み時点で取得する必要があります。)
ここまで話したことを図にすると下記になります。

今回はイベント施策を例としましたが、それ以外の施策でも、処置群と対照群の元々のバイアスを小さくするような工夫をすることは可能だと思われます。漠然と処置群・対照群を設定するのではなく、処置群と近しい対照群はできないか、施策ごとに検討してみると良いかもしれません。

施策実行前の準備

ここまで話してきたことと関係しますが、IPW推定のような因果推論は、効果検証のことを考えずに施策を打って、実行後に効果検証方法を検討するよりも、どのように効果検証をするかを検討して、その準備をしてから施策を実行した方が、適切な効果検証ができる可能性が高まります。

一つは共変量選択の観点です。上記で、処置前に観測されている特徴量を共変量として使う、と記載しましたが、施策の実行タイミング次第で、「処置前」の観測期間は変わってきます。例えばGLOBIS学び放題で会員登録直後に施策を打つと、処置前期間は短くなり、作成可能な特徴量は限定されてしまいます。会員登録直後ではなく、会員登録から一定のラグを設けて施策を実行すれば「処置前」の観測期間は長くなり、その分、作成可能な特徴量は増やせますし、有効な共変量を選択できる可能性も広がります。ただし会員登録直後に施策を打った方が効果的だとすれば、処置前期間が長いほど、施策効果が薄れる懸念が発生してしまいます。効果検証の精度と施策効果がトレードオフの関係になりうるのです。こうした点を考慮した上で、施策を実行する前に、処置前期間の長さや作成する特徴量を検討し、実行タイミングを意思決定する必要があります。

もう一つは処置群と対照群の設定の観点です。上記で、対照群の設定を工夫すればバイアスを小さくできる可能性がある、と記載しましたが、対照群の設定は施策実行前に検討しておくべきです。何故なら、対照群のサンプルを特定するためのデータ計測が必要になるからです。例えばGLOBIS学び放題のイベント施策の効果検証で、イベントを申し込んだが欠席したユーザーを対照群にする場合、あらかじめ申し込みや出欠のログを計測して、分析に使えるようにしておく必要があります。
一般に、施策の実行が完了してからデータサイエンティストに効果検証の依頼が来る、というのは、よくある話です。しかし施策実行前の準備次第で、IPW推定のアプローチの幅は大きく変わってきます。施策実行の前段階から施策の企画担当者と協議をして、適切な準備をすることをお勧めします。

終わりに

今回は、IPW推定を活用する際に、これまで工夫してきたことをご紹介させていただきました。
「工夫をする」というのは、分析アプローチの効果的なオプションをいくつか持ち、その中からベターな選択をするということです。そのためには事業や施策に関する状況や制約を知り、施策の企画担当者と丁寧なすり合わせをするという、どちらかというとビジネス寄りのアクションが大事になります。
今回の記事が実務においてIPW推定を具体的に進める際にご参考になれば幸いです。

参考文献

星野崇宏(2009). 『調査観察データの統計科学　因果推論・選択バイアス・データ融合』. 岩波書店.
安井翔太(2020). 効果検証入門　正しい比較のための因果推論／計量経済学の基礎』株式会社ホクソエム監修, 技術評論社.

グロービスで一緒に働くデータサイエンティストを募集しています！

グロービスのデータサイエンスチームでは、一緒に働けるデータサイエンティストを探しています！ まずは、カジュアル面談を通して、あなたに合う組織かどうか確かめてみませんか？
https://recruiting-tech-globis.wraptas.site/

この記事が気に入ったらサポートをしてみませんか？