リテンションボット（解約抑止・分析チャットボット）の適切な効果測定方法
普段私たちは、カスタマージャーニーにおける解約というタッチポイントに設置したリテンションボットからユーザーの解約理由などを取得することで、本来は解約する必要のないはずのユーザーに適切な情報をお伝えしたり、顧客企業に解約以外のブランディングや獲得、ロイヤルティ向上などの目的に合わせた施策に役立つ示唆をフィードバックしたりしており、これらをリテンションマーケティングと呼んでいます。
今回はこのリテンションマーケティングを行う上で私たちが重要だと考えている指標と、そこから導かれる適切なリテンションボットの効果検証方法についてお伝えし、解約時にどのようなデータが重要になるのかを知っていただければと思います。
リテンションボットにおける重要指標
1. リテンションボット利用後の解約抑止者数
まず思い浮かぶのが、顧客サービスの利用者が解約ページでリテンションボットを利用し解約を踏み留まった人数、すなわち解約抑止
者数です。弊社プロダクトの導入顧客にもよるのですが、基本的に「リテンションボットの利用」とは、リテンションボットを開封し、選択式の質問または記述式の質問に1問以上回答することと定義しています（画像を参照）。さらに、リテンションボットを利用した日から起算して次の決済日の時点でサービスへの登録が継続されているユーザーを「解約を踏み留まった」ユーザーとして認めており、月ごとに解約抑止者数を算出しています。
この解約抑止者数のボリュームがどのくらいあるのかを見ていくことで、リテンションボットが如何ほどの効果を発揮したのかを理解できます。
しかし、ただ解約抑止者数を追いかけることには落とし穴が潜んでいます。
2. リテンションボット利用者全体に対する解約抑止率
ここ1年のサブスクリプション型の動画配信サービスを例にとって考えてみると、新型コロナウイルスの緊急事態宣言が発令されている時期はおうち時間によるサービス需要が高まり、発令されていない期間よりも新規入会のユーザー数は非常に多くなっていました。それに伴い解約ページ訪問ユーザーも月ごとに変動するため、解約抑止者数にも毎月ばらつきが出てしまいます。こうした社会情勢や季節といった外部要因は常に存在し、それらを完全に排除することは不可能です。このことを踏まえて考えると、残存したユーザー数そのものを追いかけてリテンションボットの施策が効果的だったかどうかを検証するのは、決して合理的とはいえません。
そこで新たに候補として挙げられるのが解約抑止率になります。私たちが解約抑止率と呼ぶ指標は、解約ページのリテンションボットを利用したユーザー全体に占める、解約抑止者数の割合のことを指します。割合のため、解約ページ利用者の多寡に依らない比較的安定した指標といえ、解約抑止者数よりも適切な指標に思えます。
しかし、この解約抑止率という指標を取り入れても、リテンションボットの効果を評価する上で月間の数値比較をしてしまうと完全に外部要因を排除することはできません。
データの比較対象
実は、リテンションボット全体のリテンション効果を検証するために当該月の解約抑止率を前月や前年同月のものと比較するのはいい手法ではありません。
もちろん、解約を踏み留まったユーザーによる売上推移を知る上では前月と比較することは参考になりますし、年度の変わり目や長期休暇など、季節性の傾向を知る上では前年同月のデータがある程度参考になります。ただ、何度も繰り返すようにリテンションボット自体の効果を知る上ではそれだと不十分なのです。
では、どのような比較が適切なのでしょうか。
まず適切な比較方法をお伝えする前に、有名な比較手法であるABテストについて述べたいと思います。
ABテストの鉄則は「比較したい変数を1つにすること」
デジタルマーケティングでは、ABテストという効果検証手法が頻繁に用いられます。ABテストとは、広告文やLP（ランディングページ）などのCVR（コンバージョン率）を最適化するために、2つの比較したいパターンを用意して効果の高いパターンを検証するマーケティング手法のことです。
そのABテストの鉄則として、「変数を1つだけにして条件をそろえること」が挙げられますが、その理由は、変数を複数にしてしまうと、CVRの高かった方のパターンがどの変数による影響かを判断できなくなるためです。
例えば、AとBの広告バナーのうちどちらが最適かを知りたいとします。もしそれぞれの広告バナーが異なるURLに掲出されていた場合、例えAのバナーのCVRが高かったとしても、それはバナーだけでなく、掲出先URLの影響も受けた結果となってしまいます。
必ず変数を1つにし、条件を揃えることが正しいABテストを行う上で不可欠なのです。
リテンションボットの効果検証は「リテンションボット非利用者」との比較がキー
さて、話をリテンションボットの効果検証に戻しましょう。
リテンションボットのリテンション効果を検証するために、解約抑止者数や解約抑止率を前月や前年同月のものと比較するのが適切でないことは先ほどお伝えした通りですが、その理由はABテストの例に挙げたものと全く同じで「変数が1つだけでなく比較対象と条件が揃っていないこと」にあります。
もしその比較を実施して、前月よりも解約抑止率が高かったとしても、前月のリテンションボットの内容だけでなく、それ以外の先ほど挙げたような外部要因が変数として影響を与えてしまっているのです。もっと言えば、これらをひっくるめて比較対象月の違いそのものが余計な変数となってしまっているのです。
したがって、厳密にリテンションボットによる効果を知るには、同月内で比較できる対象を選ばなければなりません。
その対象となるのが、解約ページを訪れたものの、リテンションボットを利用しなかったユーザー、すなわちリテンションボット非利用者です。
リテンションボットを利用することで、利用しなかった場合よりもどれだけの効果があったかが本質的に知りたいので、同月内の非利用者と比較することではじめてリテンションボットの効果がわかります。リテンションボットにより実質的に解約防抑止に成功した人数は次の式で算出できます。
括弧の中身にはリテンションボット非利用者の残存率が含まれますが、この割合がリテンションボットの利用有無にかかわらず残存する割合であり、前提条件となります。この割合を超えて残存した分がリテンションボット利用者の実質的な残存率というわけです。
実際にこの式に数字を当てはめてみましょう。
リテンションボット非利用者40,000人のうち5%の2,000人が残存し、利用者10,000人のうち15%の1,500人が残存したとすると、実質の解約抑止者数は上の式を用いて10,000×(0.15-0.05)=1,000人と計算されます。
さらに、解約ページ訪問者全体に対しての実質の解約抑止者のシェアは1,000/50,000=2%となり、決して小さくない効果といえるでしょう。
以上、リテンションボットの実質的な効果検証に必要な考え方として、非利用者の残存率との差分を見る重要性について紹介しました。
万が一非利用者のデータが取得できない場合には、過去のデータなどアクセスできるデータを用いて非利用者の残存率を推測する方法がありますが、より厳密に効果を検証するには実際の非利用者の残存データを用いることが推奨されます。
