天下一武闘会で伝えきれなかったこと

先日、CSHACK主催のイベント「天下一武闘会」に参加させていただき、約130名の参加者による会場投票の結果、なんと優勝しました！
予選：チャーンリスク察知を実現した顧客ステージという概念
決勝：ステージ構想を実現するまでの6ステップ
というテーマで話させていただいたのですが、いかんせん時間が5分と短く、最終的には「CSの皆さんはもうわかってるはずです！」と精神論的な発言までする始末だったので、もう少し補足しておこうかなと思います。

HRMOS採用管理って？？

HRMOS（ハーモス） | 人が活躍する未来は、企業が人を活用する未来。

ざっとこんなプロダクトです。
・BtoBのSaaS
・採用担当者が応募者や人材紹介会社、社内面接官とのやり取りを一元管理して可視化し、採用業務を効率化したり、データ分析したりするのに使う
・1年契約〜
・オンボーディングにかかる期間は通常1〜3カ月
・CSのゴールは利用企業が採用成功すること
採用に課題感をお持ちの企業様いらっしゃれば是非お声がけくださいw

今回書いてみること

今回のプレゼンでは
・CSの全ての施策は継続率とぶつけて分析しましょう
・分析結果を元にしながら顧客をステージ分類しましょう
・その際に正しさを求めちゃダメです。大事なのはスピードです
・ステージ分類の精度を高めるための仕組みは織り込んでおきましょう
・最短3ヵ月で顧客ステージはつくれます
というお話をさせていただいたのですが、そこに至るまでの過程はイマイチ話さなかったので、ここにたどり着くまでにどんな分析をしてたのかをちょっと書こうかなと思います。

HRMOSCSが分析してきた施策たち

①ユーザー会
2017年4月からこれまで20回ほどのユーザー会を開いています。ちなみにHRMOSではユーザー会参加実績のありなしが最も継続率に相関しています。一応、複数回参加したかどうかなども見ているのですが、実はそもそも1回参加したかどうかだけで強力に相関は出ていたりします。ちなみにカウントの単位は会社ごとです。
【改善したいポイント】
・ユーザー単位で見た方がよさそう
※よく参加してくれていたユーザーさんが退職されるケースもありますし。
・参加ユーザーのレイヤーや社内での役割も見れるとよさそう

②旧NPS
2017年1月頃にテスト的に単発でNPSを取りました。その結果と継続率との相関を分析しました。うちの場合は回答結果よりもそもそも回答していただけたかいただけていないかが一番継続率に相関していました。１つおもしろかったのはなぜか批判者の方が中立者よりも継続率は高かったことですかね。
【改善したいポイント】
・継続から何カ月目で回答したかで回答が揺れる
・質問項目の設定がイマイチよくなかった

③新NPS
というわけで②を改善しました。改善ポイントは
・利用開始から3ヵ月目と8カ月目に取ることに変更
・主に8カ月目に取ったNPSとの相関を見る
・質問項目の精査
です。こちらはまだお試し期間中（n数不足）という感じですが、、、
【改善したいポイント】
・回答率向上。うちは今50%くらい
・ユーザーに心理的負担をかけずに100%回収できる方法を模索したい

④オンボーディングスコア
導入時にこれだけは設定してほしいポイントを点数化しています。
具体的には、
・企業IDを設定してくれたか
・最初の求人票を作ってくれたか
というような感じですね。点数ごとに調べていくと閾値が見つかりました。
【改善したいポイント】
・項目が正しいかは常にチェックが必要
・⑤で紹介するスコアとの統合

⑤アクティベートスコア
CSメンバーが厳選した「HRMOS使うならこの機能使わなきゃ損！」という機能の利用率を見ています。④のアドバンス版ですね。
【改善したいポイント】
したいというかしたのですが、実は元々11項目あったのですが、相関がキレイには出ていなかったんですね。なので、ひとつひとつの項目の利用状況に継続率をかけ合わせて、本当にその機能を使うことが継続率に相関するのかを検証しました。そうすると5項目は相関がありませんでした。なので、5項目は削除して6点満点に編集しなおした経緯があります。
新しい項目の追加と現状の項目の正しさチェックは定期的に必要ですね。

⑥サポート窓口への問い合わせ
企業ごとの問い合わせ数をカウントしています。
うちの場合は期間に注目して分析を行っており、契約開始から終了までの期間のうち、ある一定の期間に問い合わせがこない企業様は8割近く解約することがわかりました。衝撃のデータです。つまり、企業ごとにその一定期間のサポート窓口への問い合わせの有無をモニタリングしておけばある程度の精度で解約が予想できることに、、、
うちではここはステージ分けに反映というよりは個別分析でアラートに使っている状況になります。

全体を通しての課題感というか注意点

とにかく履歴データをどう残すかが大事かつ大変です。上記の分析項目でいうと、
・ユーザー会参加履歴
・NPS履歴
・問い合わせ履歴
に関してはデータを残しやすいのですが、スコアに関しては変化を捉えるのがなかなか難しく、というか変化を残していなかったので分析の時にはかなり苦労しました。実は今も手作業でバックアップとっている状況だったりはするので、うちも最も早く改善すべきポイントだなと思っております。

最後に

はじめてnote書いてみたのですが、書いているうちに自分の思考も整理されていくので中々おもしろいですね。今後もたまにちょくちょく書きたいなと思いました。そして振り返ってみると今回は運よく優勝させてもらったものの、中身はまだまだ改善余地だらけだなーと。これからも気を引き締めて頑張らないといけないなと改めて感じることができました。
最後まで読んでいただきありがとうございました。