続：Salesforce謹製AIのEinstein(予測ビルダー)の使い方をプロダクトマネージャーに直接教えてもらった一部始終の記録とその結果

前回のnoteはこちら：https://note.mu/geeorgey/n/n993c03f220aa

今現在、データのバッチ処理中で、ちょっと時間があいているので、前回の続きの記事を書こうと思う。

前回は、Einstein予測ビルダーと、Pardotの行動スコアを使って、有力人物リストを作ってメール配信してみたら、開封率がなんと100%を超えました(びっくり）みたいなコンテンツだったのだけど、これだけだと片手落ちでまだ検証が終わってなかったのです。

前回検証したのは、スコアの高い人たちは反応してくれる人なのではないかという仮説検証でした。これについては文句なしの結果が得られたと思っています。一方で文章中にも書いたのですが、我々のゴールは実際にアクションを行ってもらうことです。これについては、時間の関係で検証が難しかったことも有り前回のnoteでは触れていません。

今回の検証内容

・Einstein予測ビルダーで1万人の研究者をスコアリングしました
・検証に使うのは、リバネス研究費に研究者が申請してくれるか否かです
・予測が正しければ、スコアが高い人が申請してくれるはずです。それを検証してみましょう

今回のアクション

今回は、前回のようにスコアリングで絞るのではなく、スコアリング対象者全員に対してメールで研究費についての通知を行いました。
最終的に、申請してくれる人のスコアを見て、スコアの高い人が申請してくれることが確認できれば、予測ビルダーのスコアの信憑性が担保出来ると考えられます。

得られた結果

まだ締め切ってないので最終データではないのですが、ある程度傾向が取れたので公開します。

0の所にあるのは、予測ビルダーの対象外のレコードです。教師データとなった人もしくは、対象外の新規のユーザがここに入ります。今回の分析とは無関係ですので無視します。

スコアが27-51の間で7件の申請があります。
スコアが70-88の間で15件の申請があります。

現時点で既にスコア上位の方が申請可能性が高いということを言ってもよさそうです。

今後の戦略をどうするか

高スコアリングの方が申請する可能性が高いことがわかりました。高得点のユーザの方が申請してくれるということなので、私達が行うべきは、高得点ユーザーへの丁寧なコミュニケーションであると言って差し支えないでしょう。

一方で、27-51の人からも申請書があがっています。こちらへのアプローチを0にしてしまうと、高得点で得られる数の半数程度(全体でいうと23%)の申請書がロストするという事になってしまいます。これは決して少ない数では有りません。これをまるごと諦めるというのは少し効率が悪く感じます。

何と天秤にかけるのか

天秤にかけるのは、前回のnoteにも書きましたがPardotからのオプトアウトです。我々のオファーを見て、リバネスを見限ってしまう数と、集めたい申請書の数で天秤にかけます。

仮に申請書の数が少なすぎるという場合であれば、多少は痛みを伴っても(つまりオプトアウトが発生しても)可能性のある人全てにアプローチを行って、申請書数を稼ぐということになるでしょう。

逆に、1人の研究者へのコネクションを得るのにかかるコストがものすごく高かったとします。オプトアウト＝資産の毀損だと私は思っていますが、全体へのアプローチを重ねるとオプトアウト数がかさんでいく事になります。得られる申請書の価値がオプトアウトによって減少する資産価値と比べてより高いものなのかという点でアクションが変わってきます。的確な人へのアプローチだけで、申請書の数が想定通り集まるのであれば、何が何でもアプローチするという必要はないのです。

オプトアウトはスコアの低い方でのみ起こるのか？

こちら、オプトアウト済みな人のスコアをとった散布図です。

オプトアウト自体はどのスコアでもまんべんなく起こっていることがわかります。強いて言えば20未満の数が多いかなという感じですね。40付近にもピークがあるので、41以上だとほぼまんべんなく発生すると言えます。

それであれば、40以上の人のみをターゲットにすると、オプトアウトが変に大きくならずに、申請数を稼ぐことができるのではないでしょうか。先ほどの申請済みの人のスコアを見ても、40未満の申請数は1しかありませんので、ほぼ需要を満たせると言って差し支え有りません。

他にも色々な戦略が考えられます

オプトアウトした分は新規研究者を追加していくことで穴埋めしていくという考え方であれば、追加するコストを如何に下げるかに頭を使えば良い。

あまり多くの人にアプローチしすぎずに的確な人へのアプローチだけで結果を残したいということであれば、もっと予測モデルを先鋭化させる必要が出てくるでしょう。前回のnoteに書いたように、Einstein Analyticsで作ったスコアのほうが、成否をきっぱりと分けてくれるので、それを使っても良いかもしれません。

ここまでの結果を踏まえて次の一手

次回の研究者向けのリバネス研究費のアプローチでは、スコアが40以上の人に絞って行うことで、資産を既存せずに、申請数が最大化出来るということが予測されます。逆に40未満の人たちについては、メールで無理やりアプローチしても効果が低そうなので、別のアクションを検討する必要がありそうです。

Einstein予測ビルダーの力を引き出そう

6月からやってきた検証ですが、ここまでやったので、一段落です。効果については胸を張ってありますと言えるでしょう。

おそらく皆さんが実務で取り組む場合には、半信半疑という状態から始まるのだと思います。データを集めて継続的に最新状態になるような仕組みを作り、それを使っていくつかモデルを作ってみる。AIのスコアは、アクションが伴わないと意味がありませんので、ひとまずテストで実務への導入を現場に協力してやってみるというのが次です。やってみたらこちらのnoteのように振り返りをします。妥当なモデルが作れていれば、それをもっとブラッシュアップする方法を考えるし、スコアと何も連動していないということであれば、データセットを考え直す必要があります。

何れにしても試行錯誤は必要です。しかし、一度コツを掴むと、継続的にスコアを利用してより良い事業戦略を組むことができるようになるだろうと考えられます。

以上、Einstein予測ビルダーについてのお話でしたとさ。