データ活用事例が自分のプロダクトにフィットしないのはなぜなのか
データからプロダクトのボトルネックを発見し改善した事例は枚挙にいとまがありませんが、事例を参考にして上手く行った経験は意外と少ないのではないでしょうか。The Lean Product Playbook の著者 Dan Olsen さんが語ったその理由がしっくりくるものだったので、本記事で紹介します。 Dan さんの動画は Webinar: Actionable Advice for Integrating Quantitative and Qualitative Insights by Heap から見ることができます。
端的な理由は、プロダクトのフェーズによってデータのとり方と活用戦略が異なるからです。本記事では、プロダクトにはどのようなフェーズがあり、各フェーズでどのような手法を取るべきかを動画の内容を中心にまとめます。
※トップの画像は Stable Diffusion 2.1 で作成しました。Prompt は "The cat in the school and feel difficult to the lecture and lay down on the desk." です。
プロダクトのフェーズ
プロダクトは Phase1: リリース前、Phase2: リリースしたが Product Market Fit していない、 Phase3: Product Market Fit した状態の 3 つのフェーズがあります。
Phase1 ではプロダクトを開発する前にプロダクトを通じ提供する解決策が求められているものか確信を得ることがゴールになります。この段階では、定量的なデータより定性的なデータ、具体的には想定顧客の反応などが重要になります。 Phase2 ではリリースしたプロダクトの Product Market Fit の改善、すなわち成長軌道に乗せることがゴールです。プロダクトがリリース済みであるためそこから得られる定量的なデータを定性的なデータと組み合わせてプロダクトを改善します。Phase3 はより大きな成長がゴールとなります。この段階では、定量的なデータの分析が主となります。事例を参考にする際は、その事例がどのフェーズで行われたもなのか頭に入れておくことで自分のプロダクトのフェーズに合ったものを選ぶことができます。
個人的な印象ですが、すべての Phase をうまくこなせるプロダクトマネージャーは稀有です。プロダクトの立ち上げに関わった Phase1 が得意なプロダクトマネージャーが、 Phase2 、 Phase3 とプロダクトが成長するにつれて成果を出せなくなった場合、プロダクトのフェーズとプロダクトマネージャーのスキルとのミスマッチが起きている可能性があります。この場合、プロダクトマネージャーはデータサイエンティストの採用を提案するなど自分の不得意領域を補う施策を取る必要があります。逆に、 Phase3 のプロダクトを非常にうまくマネジメントされていた方が新規プロダクトの立ち上げを任されて期待する成果が出せなかった、というパターンもあり得ます。このときは営業やカスタマーサポートなど Phase1 が得意な方と一緒に動くなどすると効果的です。
フェーズごとのデータ分析方法
次の図は、プロダクトのフェーズに適したデータ分析を示しています (When to Use Which User-Experience Research Methods より引用し、 Phase のキャプションを追加 )。データ分析の手法は、縦軸に Behavioral (やっていること) / Attitudinal (言っていること)、 横軸に Qualitative (定性的) / Quantitative (定量的) をとり分けています。 図から、 Phase1 では Attitudinal / Qualitative な手法、具体的にはインタビューや顧客のいる環境で行動を観察する Field Studies が適していること、プロダクトをリリースした Phase2 からは Behabioral なUsability Testing や Customer Feedback といった選択肢が増えることがわかります。 Phase3 になると、A/B Testing や Clickstreamなどから定量的な行動データを取ることができます。
Phase のキャプションを追加
個人的に、プロダクトのフェーズに応じて使える手法が増えることはポジティブですが、増えた手法をうまく活用しないと正しい判断が行いにくくなることも示唆していると感じました。A/B Testing などは Interviews のようにメモ帳一つあればできるわけではないので、計画的な環境整備が必要です。環境整備は他の実装に比べ優先順位を落とされやすいので、スイムレーンを別途用意するなどして対策することが効果的です。
Phase2 から Phase3 へ移行する
プロダクトをリリースしたら、 Product Market Fit したいものです。動画の中では Product Market Fit しているかどうか判断する指標として Retention rate を推奨しています。どれぐらいの顧客が期間を経てもアクティブであるかを計測するということです。バケツの中に水を入れる時、バケツに穴が開いていたら水がたまらないように、まず穴をふさいだ後にユーザーの獲得をすべし、という示唆です。
動画では、サインインの各ステップで離脱率が高いプロセスを特定し、改善した事例が紹介されています。これは、 Phase2 で Usability Testing をうまく使った事例と言えると思います。
おわりに
動画の内容は以上です。AWS が無料で資料を公開している ML Enablement Workshop は、プロダクトで機械学習を活用できるようになるためのワークショップです。ワークショップ本体の資料に加え、本記事のような先進的プロダクトで活躍する方のノウハウをデータサイエンスを活用するプロダクトマネージャーを訪ねて と題し Q&A 形式でまとめています。ぜひワークショップのコンテンツと共に参考にしていただければ幸いです！GitHub で Star をしていただくとすぐにアクセス出来て、また Watch すると更新通知が来て便利です。
ワークショップの内容が気になる方はカジュアルトークをしていますのでぜひお声がけください。 AWS からのワークショップ提供に関心ある方は AWS の営業担当、もしいなければカジュアルトークでご相談ください！
この記事が気に入ったらサポートをしてみませんか？