「定性」と「定量」を活用したプロダクト開発事例

前回の初note以来、約２ヶ月ぶりの更新です。普段はインタースペースという会社でRECOTORI（以下、recotori）という旅行特化SNS/クチコミアプリのPM＆ディレクターとして、グロースやらプロダクトマネジメントやらを担当しています。

これはなにか？

この記事では、「定性」と「定量」を活用したプロダクト開発について、一般論をまず確認します。その上で、recotoriで新機能（フォロー機能）を導入する前の分析〜企画、導入後の効果測定〜次の改善施策の立案までの事例を、実際の資料(数値はモザイク)や分析アウトプットなども踏まえながら紹介します。

なぜこのテーマを選んだかというと、自分がPMとしての実務経験が無いときに、どのようにプロダクトの施策立案、分析、次の改善などのPDCAサイクルを回すのか？イメージがあまり持てなかったから。2年ぐらい前の自分みたいなNext PMの誰かの役に立てば良いなと思いました。

「定性」と「定量」を活用するとはどういうことか

よく言われることですが、定性、定量にはそれぞれ得手不得手があり、

１．定量・・・どこに問題があるか？
２．定性・・・なぜその問題が起きているか？

を把握するのに適しています。

今回は、この分野で世界的にも実績があり『UX for Lean Startups』の著書でもあるLaura Klein氏の「When to Listen & When to Measure」を引用し、もう少し具体的にみていきます。

定量的アプローチ:
・現在、最も価値の高い顧客に最も多く利用されている機能を見てください。そこにパターンがあるかどうかを調べ、そのパターンに合う他の機能をテストします。

・あなたが追加しようと考えている機能を表すボタンやナビゲーション要素を追加することによって、 "偽のドア "テストを試してみてください。

※「When to Listen & When to Measure」をDeepLで翻訳

定量的アプローチとして、recotoriにおいては、「ファネル分析」と「リテンション分析」の２つをつかうことが多いです。後者は特に「コホートリテンション」を見ることが多いです。ちなみに、コホート分析は日付コホート、経路別コホート、機能利用別コホートなど、色々使うことがあるので別の機会にnoteを書きたいと思います。

定性的アプローチ:
・製品を使用しているユーザーを定期的に観察します。彼らがどこで苦労しているか、どこで失望しているように見えるか、またはどこで彼らが望むことができないことを不満に思っているかを見てください。それらはすべて、現在の機能を改善したり、新しいものを追加したりするためのアイデアを与えてくれます。

・あなたの製品の使用を止めた人に話を聞く。製品を使い始めたときに何を得られると思っていたのか、なぜ使用をやめたのかを調べてください。

・あなたの製品を使っている新しいユーザーを観察し、最初の15分間の使用で何を期待していたかを聞いてみましょう。これが製品が実際に提供するものと一致しない場合は、製品を修正するか、初めてのユーザー体験を修正して、期待値を正しく設定するようにしてください。

※「When to Listen & When to Measure」をDeepLで翻訳

製品の利用を止めた人へのヒアリングは効果的なのですが、謝礼を高めに設定するなどインセンティブを付与してもアポが取りづらいです。。。なにか良い方法があれば知りたい。。

（前提）主要KPIと課題仮説

それでは早速recotoriの事例に入っていきますが、まずは当時のrecotoriの状況や背景を確認しておきます。

前提として、サービスの主要指標として「投稿数」と「アクティブユーザー数」を設定していました。そして、それらを最大化する上での”課題の仮説”として、下記の２つを設定していました。

１．投稿側・・・他人からフィードバックがあること
２．閲覧側・・・自分の興味、関心に近いコンテンツが届くこと

そして、リソースの都合で打てる施策も限られていたので、できることならそれら２つの課題を同時に満たせるソリューションを探していました。

定量分析で、課題仮説を検証する

まずは定量分析ですが、いわゆるマジックナンバー分析やリテンション分析を行って、課題仮説の検証を行いました。

当時は「投稿に”いいね”をする機能」があったので、他人からのフィードバック要素とも言える、いいね！機能の利用状況などを分析することで、さきほどの課題仮説を検証できるのでは？と考えました。

その結果、下記のことがわかりました。

１．投稿したユーザーは、いいねをn回されると投稿継続率がx%上がる
ちょっと分析が荒いのと、グレーアウトが多くて恐縮ですが、結論としてはいいねをされるほど、投稿継続率が上がることがわかりました。

２．会員ユーザーは、いいねをm回するとリテンション率がy%上がる
また、閲覧ユーザーの分析として、いいね機能の利用経験アリ／ナシでリテンション分析をして、比較をしました（こういうときにReproさんはサクッと数値を出せるので感謝です🙏）。

色が濃いほどリテンション率が高いのですが、これを見るといいねをしたユーザー群はそうでない群に比べて、飛躍的に良い結果になっていることがわかります。おそらく、「興味がある、クオリティが高いといった良いコンテンツが出たから、いいねした」ということが言えそう（N1インタビューでも実証済み）です。

ちなみに、これらはあくまで「相関」であって「因果」ではないですが、実用的な範囲でスピーディーに結論を出すことが重要だと思っているので、分析の細かさは立ち上げフェーズではこの程度でよいのではないか？と思っているタイプです。

定性分析で、課題仮説を検証する

定性分析については、定期的にN1インタビューを実施しているので、そこで抽出したインサイトや声をもとに、感覚を掴んでいます。

（論理が飛躍している箇所もありますが、、、）さきほどの定量分析と、こちらの定性分析を考慮した結果、

１．投稿側・・・他人からフィードバックがあること
２．閲覧側・・・自分の興味、関心に近いコンテンツが届くこと

が解決できるとグロースにつながるのではないか？という仮説はある程度強固になりました。

要件定義、仕様策定

さて、課題仮説を検証できたので、ソリューション考案に進むのですが、今回はかなりシンプルな解決策であったため、スムーズに進みました。

ソリューションの検証も大きな機能追加の場合はしたほうが良いのですが、今回はそもそも要望も多かった内容ですし、一般的なので、簡易的なヒアリングで検証をしました。

あと、このあたりでMAXもりもり要件にしたくなるのですが、リソース都合もあるのでミニマム機能でリリースします。。。

（長くなるので、本記事では、この過程は割愛します・・・😭）

（リリース後）効果は高いけど利用率が低い！

無事リリース！お疲れさまでした！となった後は、効果を測定します。今回は、実際の社内共有資料を数値部分だけグレーアウトして公開します。

ひとことでいうと、「効果は高いけど、利用率が低い」という結果になりました。

結果的に、フォロー機能の効果はある程度検証できましたが、新たな課題が発生したので、次は「いかにフォロー機能を利用してもらうか？」という改善施策に移っていきます。

（改善施策）オンボーディングに組み込む

利用率をどうあげるか？が課題だったので、ユーザーのオンボーディングフローに、フォロー促進の画面を組み込みました。

ここはすべての新規会員ユーザーが通る大通りなので、効果はバツグンです。が、ここもある程度は狙い通りだったのですが、とある課題も生じており、次はその改善をしようと思っています。

まとめ

以上、「定性」と「定量」を活用したプロダクト開発事例ということで、recotoriで新機能を導入する前の分析〜企画、導入後の効果測定〜次の改善施策の立案までの事例を、実際の資料や分析アウトプットなども踏まえながら紹介しました。

こういった機能追加や改善の事例は、なかなか出てこないので、これからもときどき公開していきたいと思います。

ほかの会社さんは具体的にどのようにやっているのでしょうか？もしよろしければコメント欄やTwitterなどで教えて下さい。感想やフィードバックもいただけたら嬉しいです。

ほそぼそとTwitterやってます⇓

ジョブ理論の概念説明がわかりやすい...！

引用：https://t.co/LIY1fb7BkX pic.twitter.com/dVSfBwCUoX

— owano (@owano49) October 2, 2020