プロダクト改善のインパクトポイントはどのようにして見つけるのか
ヘルスケア領域の行動変容に取り組むエーテンラボ株式会社で、toCのカスタマーサクセスをしているだいちです。
最近書いた記事に「はじめてのBtoBtoCプロダクトマネジメント」というものがあり、カスタマーサクセスの肩書きを持ちながら、プロダクトマネジメント領域にも足を踏み入れています。
ここ数ヶ月は、プロダクトのどこをどのように改善すれば最もインパクトが出るのか、そのポイントをどのように見つけ出せばいいのか、この一連の問いについて頭を悩ませてきました。
このページは、インパクトポイントを見つけるためにいろいろ試行錯誤した結果を書き残したものです。
下記の流れでプロダクト改善を進めていきました。このページでもその流れに沿って説明をしていきます。
ファネルベースでの定量分析を行う
ファネル分析で特定した課題に対して、定性調査を実施する（定量と定性のMix）
課題に優先度をつける
1/ ファネルベースでの定量分析を行う
まずは分析がしやすいファネルベースでデータを見てみました。ファネル分析をすることで「どこに」問題があるのかが特定できます。
私はファネル分析を2回行う結果となりました。1回目が「インプットベース」、2回目が「アウトプットベース」です。結論から言うと、「アウトプットベース」のファネル分析のほうが良い意思決定に繋がりました。
インプットとアウトプットの関係は下記の画像のとおりです。
複数のインプットが複合的にアウトプットに影響を与えています。我々の事業でいえば、アウトプットが禁煙成功だとしたら、そのインプットは禁煙補助薬を購入したか、実際に使用したか、みんチャレアプリを使用したか、などが挙げられます。
はじめは「インプットベース」でのファネル分析を行いました。行ったというよりは、無意識のうちに「インプットベース」になっていたのが正しいです。
上図の申込完了を母数として、 補助薬購入率 → みんチャレアプリの使用率といったファネルを見ていったとします。もちろん補助薬を購入したり、アプリを使ったりしたほうが最終的な禁煙成功率は高いです。
仮に「禁煙補助薬の購入率」は十分高く、「みんチャレアプリ使用率」の改善幅が大きいとわかったとしましょう。では、アプリ未使用からアプリ使用へ、"正規ルート"へと引き上げることが正解なのでしょうか。私はこの段階で何とも言えぬモヤモヤを抱え始めました。何か抜けている気がする、本当にこのKPIを追うのが正しいのだろうか、と。
これは後日気づくことになるのですが、インプットベースだと、ほかの要因を見逃す可能性が高く、効果的な課題・打ち手にならない恐れがあります。
仮の課題である「みんチャレアプリの使用率」を改善すると禁煙成功率はきっと高まるでしょう。しかし、芯を食った課題にアプローチできているのかは疑問が残ります。
課題を定義するときは、最終的に達成したいKGI、つまりここで言うアウトプットから始めるべきでした。アウトプットベースだと、最終的に目指すゴールを軸としているので、課題の特定で外すことはありません。
私が担当している禁煙事業は「数ヶ月後に禁煙ができていれば成功」というプログラムなので、アウトプットを軸に、時系列でファネル化をしてまとめていきました。最終的にできあがったものは以下のようなものです。
余談ですが、健康プログラムは「特定の時期までに結果を出す」という意味で、受験塾や資格試験講座と共通点があるのかなと思いました。教育系の分野は詳しくないので、これを機に少し勉強してみたいです。
2/ ファネル分析で特定した課題に対して、定性調査を実施する（定量と定性のMix）
ファネルで定量分析をした後は、定性調査に移ります。定量分析と定性調査にはそれぞれ強みがあり、得意分野を組み合わせて活用することで最大限の効果が得られます。
定量分析と定性調査のmixをMixed Methodsと呼ぶことがあり、下記の記事が参考になりました。
「UXリサーチャーのための「Mixed Methods」読書会を開催しました」
ファネル分析は定量分析です。定量分析は、全体の傾向を把握したり、仮説に一般性があるかを検証したり、どこに課題があるのかを特定したりすることが得意です。しかし、それがなぜ起きているのかは分かりません。
なので、課題を特定した後は、ユーザーの行動背景を理解することが得意な定性調査を行ったり、ときには追加でデータ分析をしたりして、課題の解像度を高めていきます。
一つの課題、あるいは一つのセグメントに対して、4,5人にインタビューができれば8割型は理解できるでしょう。
3/ 課題に優先度をつける
ユーザーインタビューを実施すると、おそらく複数の課題が明らかになると思います。
解くべき課題の優先順位づけで迷ったとき、基本的にインパクト基準で決めていくのがよいと考えています。しかし、同時に本当の一番はわからないという前提に立つことが、意思決定のROIを最大化することに繋がるのかなと考えています。
「意思決定のROIという考え方」という記事を参考に、意思決定は「正しさ、早さ、納得度」の3つで構成されるとするならば、これらのバランスをとってROI（効果/コスト）を最大にすることがよい意思決定となります。
一番インパクトが出る箇所の特定を求め続けることは、納得度を上げますが、早さを落とします。おそらく正しさはそこまで変わらないと思います。せいぜい3位が1位になる程度でしょう。おおむね直感が正しいはず。
であれば、正しさの優先順位はある程度ざっくりでよいと考えます。トップ3に入りそうであれば着手するくらいの気持ちがベストかもしれません。早さを落とす＝コストがかかるということなので、ROIが悪くなります。チームでの納得感とのトレードオフですが、ROIが最大になるようなバランスを取ることがPMの役割の一つになるでしょう。
「この課題はデカそうだ」と、解くべき課題の解像度が高まったら、施策を決めていきます。課題の解像度が高ければ高いほど、施策はスッと迷わずに決められるイメージです。
ただ、考えた施策が本当に課題に対して効果的かを確かめることは必要だと思います。施策が課題を解決するかどうかの不確実性が高い場合や、施策の開発工数が高い場合は、できるだけリスクを減らすための調査・検証が必要でしょう。
その事前調査をどこまですべきかは、下記の動画に一定の答えがあったように思うので置いておきます。
動画：事業成長に寄与するためのプロダクトマネジメント方法論〜ROI計測とユーザー検診における困難さと打開策〜
まとめ
プロダクト改善のインパクトポイントの見つけ方として、取っかかりはアウトプットベースのファネル分析を行う。その後は定性調査を交えながら課題の解像度を上げていき、ROIが最大となるように意思決定をしていく。こんな感じでまとめとしたいと思います。
全体的な参考図書は「グロービスMBAクリティカル・シンキング」です。あらためて勉強すると学びが多く、これまでは感覚でプロジェクトを進めてきたんだなと感じることばかりです。
最後に宣伝
エーテンラボは絶賛採用活動加速中です。
自分が入社を決めた理由でもあるのですが、エーテンラボは組織として真っ当なことを真っ当に取り入れている。ここが好きになったポイントです。
たとえば、下記のような点を推しています。
目先の売上のためにハックはせず、顧客に対して効果を出すことで売上が上がるビジネスモデルにしている
ヒトとの歪み合いにリソースを割かず、コトに集中するために心理的安全性を重要視している
全社の利益のためにがんばることが個々人のインセンティブとなる評価報酬制度を設計している
雰囲気としては「大人なスタートアップ」という表現が似合う会社です。ご興味あれば下記の採用ページを覗いてみてください。