因果推論を用いたメルマガ配信頻度の最適化

こんにちは。エムスリーデータ分析グループの山本です。
今回は、我々データ分析グループが日々行っている取り組み内容の紹介として、メルマガの配信頻度に因果推論の考え方を導入し改善を行ったプロジェクトを紹介したいと思います。

プロジェクト背景・内容

m3.comには、様々な種類のメルマガが存在し、メルマガ種別ごとに登録いただいた会員にメルマガを配信しています。例えば、日々のニュースや講演会の情報、転職のための求人情報などのメルマガ種別があります。
たくさんの種類のメルマガが存在しているため、ある方はニュースのメルマガをよく読む、ある方は求人情報のメルマガをよく読む、など個人によって興味を持つメルマガは様々です。

メルマガを送られる側の立場から考えると、メルマガ登録自体はしていても興味があまりないメルマガ種別の配信頻度は低く、興味のあるメルマガ種別は配信頻度高くしてほしい、と考えると思います。
また、メルマガ送信の総量を一定とする場合、m3.com訪問頻度が高く普段からそのメルマガ内容に近しい情報を手に入れているような会員の方には、そのメルマガ種別ではなく、普段手に入れていない情報が記載された他のメルマガ種別を送ったほうがm3.com来訪頻度が高まると考えられます。

今回は、以上のような状況を解決するために、因果推論を導入しました。興味度合いの指標としてメルマガクリック率によって配信頻度を決めるのではなく、そのメルマガ種別を送ることでm3.com来訪頻度が高まるかどうかによって配信頻度を決めたいと考えたからです。

実施内容

実施内容の全体像
まず最終的な実施内容の全体像とそのスコープを決めます。
全体像は、会員×メルマガ毎に「配信効果」を定義し、配信効果を算出、効果が高い人により高い頻度でメルマガを送付する、という流れとしました。
そして改善のスコープは、今回は簡単のためにメルマガ間の相互作用は明示的には考慮せず、「メルマガごとに配信数を最適化する」こととしました。例えば極端に言うと、メルマガAが何通送られているかに関わらず、メルマガBの配信頻度はメルマガBの配信効果だけを用いて決める、といった形です。現実問題としては、他のメルマガ配信頻度との兼ね合いもあると思いますが、改善のファーストステップとしてこのような形をとりました。

配信効果の定義付け
次に、これまで話してきた「配信効果」というものを具体的な値として定義する必要があります。今回は、因果推論の考え方を用いて、配信効果を以下のように定義しました。

配信効果＝①クリック率 × ②クリック有無によるその後7日間のm3.com来訪頻度の差分
①：メルマガのクリック率
②： クリックした場合のその後7日間のm3.com来訪頻度ークリックしなかった場合の7日間のm3.com来訪頻度

配信効果の算出
配信効果は過去の配信ログと機械学習モデルを利用して算出します。
②のクリックによるその後の7日間のm3.com来訪頻度の差分は「クリック有り会員における来訪頻度」と「クリック無し会員における来訪頻度」を予測する2つのモデルを作成し、会員ごとにそれらモデルを用いて算出した値の差分を取ることで算出します。これは因果推論手法のうちmeta-learnerのt-learnerというものの考え方を用いています。

配信頻度の決定
配信頻度は、配信効果上位OO%を週2通、その次上位OO%を週1通、のようにあらかじめ決めておいた比率を用いてルールベースで決定しました。今回はテスト以前と全体での配信数が変わらないように配信頻度とその比率を調整しました。

施策結果

結果として、配信数はほぼ変えることなく、クリック数は10％ほど、m3.com来訪頻度は5%ほど伸ばすことができ、会員の方が興味のある内容かつm3.com来訪頻度を高められるメルマガ種別の配信頻度を高めることができたのではないかと思います。
モデル自身の精度や配信効果の定義、配信効果に基づいた配信頻度の決定方法、メルマガ間の相互作用など、まだまだ改善すべき点があるので、今後も継続的に取り組んでいきたいと思います。

おわりに

さて、今回の記事はメルマガの事例でしたが、エムスリーにはデータ分析の知識を活かして継続的な改善を行っていく機会がまだまだたくさんあります。

データ分析グループでは、新卒・中途ともにデータサイエンティストを絶賛採用中なので、ちょっとでも興味をもっていただいた方は、是非コンタクトいただければと思います。
https://recruit.m3dag.com/