見出し画像

プロダクトの成功指標について〜HEART指標やジョブ理論によるアウトカム指標を解説

kaz｜ハヤカワカズキ

外資系IT企業でプロダクトマネージャーをしています、ハヤカワです。
日々、Twitterでプロダクトマネージャーのノウハウや考え方などを発信しています。

突然ですが、ジョジョの奇妙な冒険 第5部「黄金の風」に登場するディアボロのスタンド、キング・クリムゾンにこのような名言があります。

画像1

『空の雲はちぎれとんだ事に気づかず！』………
『消えた炎は消えた瞬間を炎自身さえ認識しない！』
『結果』だけだ!! この世には『結果』だけが残る!!
時間の消し飛んだ世界では「動き」は全て無意味となるのだッ！

過程はどうでもよく、結果だけがこの世のすべてだ、という「時間を吹き飛ばす能力」にピッタリの名言です。

さて、プロダクト開発においては、結果だけがすべてなのでしょうか？

『プロダクトマネージャーはプロダクトが失敗したことに気づかず！』...
『消えたリソースは消えた瞬間をリソース自身さえ認識しない！』
『結果』だけだ!! この世には『結果』だけが残る!!
スタートアップの世界では「開発過程」は全て無意味となるのだッ！

そもそも、プロダクト開発における『結果』とは何を指すのでしょうか？私が普段からとても大事だと思うのは「プロダクトの成功指標は何なのか？」ということです。

私の周りの方々に「みなさんのプロダクトの成功指標はなんですか？」と聞くと、バシッとすぐに明瞭な答えが返ってくる方は、なかなかいないです。

ローンチしたばかりの製品はどのくらいうまくいっていますか？新しくエンハンスメントのために追加した機能はどのくらい良くなって、まだどの程度良くない部分があるのか？うまく行っているのか、行っていないのかをどのように測るのか、というのは意思決定においてもとても大切です。しかし、なかなか答えられない人が多いのではないでしょうか。

ということで、今回はプロダクトの世界において追うべき「成功指標とは何なのか？」ということについて少し書きたいと思います。

いつものようにかんたんなスライドを作ってみました

スライドごとに抜粋して説明します。

プロダクトの 成功指標について (1)

プロダクトの改善のための成功指標については、様々な観点があり、ビジネス規模、サービスの特徴、人によって様々な指標があると思います。ここではシンプルに分けて２つの指標を考えてみます。

① アウトプット指標

１つ目はプロダクトそのものに関するアウトプットの指標です。アウトプット指標は最も一般的で昔から使われている指標だと思います。有名なものとしては、各指標の頭文字を取ったPULSE指標があります。

ページビュー（Page views）
滞在時間（Uptime）
待ち時間（Latency）
7日間のAU数（Seven-days）
収益（Earnings）

これらは、プロダクト開発の際には当たり前のように計測ができるような設計をしますし、どこかしらのデータベースにこのようなデータを貯めておいて、何かしらの分析ツールでなんとなく見ている人も多いのではないでしょうか？

しかし、これらだけを追うのには問題があります。

PULSEメトリクスだけでは判断できない以下2つの課題がある。
・ユーザー体験の品質を計測しづらい
・ビジネスの改善に繋げられる測定基準を設けられない

(引用: HEARTメトリクス https://uxdaystokyo.com/articles/glossary/heart-metrics/)

たしかに、7日間のAU数が前の週より23%増加しました、とか、滞在時間が平均23秒増加しました、と言われても、で？となりますよね。

他にもユーザーのアクティブ率を見るためのDAU (Daily Active User)やMAU (Monthly Active User)を見たり、ダウンロード数やアプリストアでのレビュー数などを見ている方が多いのではないでしょうか。もちろんこれらのアウトプット指標は、製品の健康状態を見るためには欠かせない指標になります。

しかしこれは、顧客にどれだけの価値を届けられたか？というプロダクトの本質的な目的を測るのには不十分です。

アウトプット指標はプロダクトそのものについての指標であり、あくまでも製品が出力したただの結果でしかありません。そのため、顧客に目を向けた指標を追っていくことが必要になります。

なるほど、じゃあ顧客アンケートを取ろう！

と考える人もいると思いますが、待ってください。一般的には、アンケートやNPSスコアを取ることで顧客満足度を測ることができますが、これはあくまでも顧客のその時の感情を取ることしかできません。

プロダクトを使っていて、どのように感じているのか？価値を感じているのか？を測るには不十分です。

そこで、これから紹介するアウトカム指標を計測することで、プロダクト開発における本当に追うべきの成功指標が分かります。

②アウトカム指標

プロダクト自体には価値がありません。プロダクトはユーザーが抱えている課題を解決することで、価値を届けるための手段です。そのため、プロダクトそのものが出力するアウトプット指標だけを追っていても、それは成功指標と呼ぶことはできません。

つまり、プロダクトマネージャーはプロダクトによって顧客にどのくらいの価値を届けることができたのか？を成功指標として追うべきです。

そこで、考えるべきものがアウトカム指標です。アウトカム指標と呼べるものはいくつかありますが、ここでは2つの代表的な指標を紹介します。

②-1 HEART指標

HEART指標はGoogleのUXチームが発表したUXの品質に関するメトリクスです。

ハピネス/Happiness: 顧客がどのくらい幸せを感じているか？
エンゲージメント/Engagement: 顧客がどのくらい興味関心をもち関わろうとしているのか？
アダプション/Adoption: 顧客が製品や機能に初めて気づき、使い始めて、価値を理解し、どのくらい定着しているか？
リテンション/Retention: 製品や機能を使い終えて、どのくらい戻ってくるか、継続的に使っているか？
タスクの成功/Task Success: 製品や機能内で、行うべきタスクがどのくらい正しく、早く、期待する通りに実行されて成功したか？

各指標 Happiness、Engagement、Adoption、Retention、Task Successの頭文字をとっています。

PULSE指標との違いや、実際にHEART指標を作るやり方についてはこちらの記事に書かれているのでぜひご覧ください

たとえば、YouTubeという製品を例にするとこのような形になるのではないでしょうか。

画像3

5つの指標はそれぞれ定性的な表現であるGoalを書きますが、一方で実際のビジネスの世界では定性的な指標は計測が難しいです。

データドリブンの意思決定をする上でも、Measurable (計測可能)であることは大切です。そこで、設定したゴールを達成したかを判定できるシグナル(Signal)を定義します。次に、そのシグナルを指標(Metrics)として定量的な値に落とし込むことで、計測可能にしています。

もちろん、ここで結果的にアウトプット型の指標に近いものがMetricsで導き出されることもあると思います。しかし、単一的なアウトプット型の指標と異なり、それぞれが必ず5つのHEARTの指標に紐付いていること、定性的なゴールに紐付いていることで、単なるアウトプットの値ではなくなり、意味のある計測可能な指標を測ることができるようになります。

②-2 ジョブ理論によるアウトカム指標

アウトカム指標の例として、HEART指標に続いて、ジョブ理論のアウトカムベースの書き方を次に紹介します。HEART指標に導き出される指標は、結果的に従来のアウトプット指標に近くなりますし、分かりやすいくなると思います。

一方で、追うべき指標が乱立し、結果的にプロダクトがどの程度成功しているかを判断しづらくなる可能性もあります。そこで、ジョブ理論を使って、より顧客への価値にフォーカスした単一的な指標を考えてみます。

ジョブ理論についてはこちらのnoteをご覧ください

上記のnoteなどでも私が普段ジョブ理論について考えるときは、ストーリーベースの記述をします。

成功指標について (3)

この記述法では、「状況を示す When」、「行動の動機を示す I want to」「求めている成果を示す So I can」でジョブ(JTBD: Jobs-to-be-done)を記載します。これにより、実際のユーザーがいつ、なぜ、どのような行動を取っているのかという、ユーザー行動の全容を捉えることができます。

ジョブ理論では主に、ユーザーインタビューを行ってジョブの仮説を検証していきますが、このときにストーリーベースのジョブに従って、インタビューを行うことができます。

インタビューの中で、実際にどのような状況で、なぜ、どのような行動を取ったのかという顧客の過去の経験や事実を明らかにします。これにより、実際のユーザーが望んでいるジョブを定義することができます。一方で、この表記ではMeasurableな指標は出てきません。

そこで、ストーリーベースによる記述により検証されたジョブをアウトカムベースの記述に書き換えます。

成功指標について (5)

アウトカムベースでの記述では、同様に状況を表す「文脈」と行動を示す「対象」を記載します。ストーリーベースにおける、When = 文脈、 So I can = 対象と捉えることができます。書き方として異なるのは「指標」と「方向」です。

対象となる事柄をユーザーがなぜ望んでいるかを、定量的に測れる「指標」と最小化/最大化で示す動きの「方向」で記載します。

「指標」には、時間の他に

お金、数量、距離、可能性、割合...

のような一般的に計測可能なものや

不安、信頼、安心、快感、恐怖...

などの感情的なものが入ることもあります。

感情的な指標の場合は、実際のプロダクトの成功を測る際には計測がやや難しくなりますが、予め知っておくことで、感情的な指標であっても測ることのできるようなユーザー体験、プロダクト設計を開発段階から取り入れることができます。あとから取ろうと思っていても、取れないのがデータの妙です。

アウトカム指標を意識してユーザーインタビューをしよう

そこで、ユーザーインタビュー段階で、ジョブをヒアリングする際に、顧客にそのジョブをどのように良い/悪いを判断しているのかも聞いておくと、アウトカムベースのジョブを記述する際に役立ちます。

たとえば、「アプリで食事をデリバリーするときに何を重要視してお店を選んでいますか？」や、「洋服を探すときになぜそのアプリを使っているんですか？」などと聞き、ユーザーが何を評価して、判断して、その行動を取っているのかを聞き出すまで、Whyを繰り返します。

すると「値段が安いから」とか「早く見つかるから」とか「安心して探せるから」のような上述した「指標」と「方向」を見つけ出すことができます。つまり、ユーザーが何かしらのジョブを達成する際にとる行動や、そのときに検討する他の選択肢を何によって評価して、その行動を取るのかをインタビューで聞く必要があります。

このようなアウトカムベースのジョブを定義しておくことで、プロダクトをローンチしたあとに、そのプロダクトがどの程度うまく行っているのか？新機能をリリースしたあとに、それがどの程度良かったのか？悪かったのか？というプロダクトの成功指標をジョブがどの程度達成されているか、つまり顧客が求めている価値を基準に測ることができます。

たとえば、先程のスライドの例で言えば

ランニングをしているときに今聞きたい順番で音楽を並び替えて再生するまでの時間を最小化する

音楽再生アプリのようなプロダクトだとしたら、顧客がアプリを開いて好きな順番で音楽を並び替えて再生するときの、時間を内部で持っておけばプロダクトの成功指標として測ることができます。

この例は、他にも感情的な表現によって、指標を定めることもできます。

ランニングをしているときに自動的に並び替えされた音楽を聞いたときのモチベーションを最大化する

もし、このような成功指標を設けたとしたら、アプリ内でモチベが最大化されたかどうかを測る仕組みを事前に考えて作ることができます。

たとえば、簡単なものとしては、アプリ内でフィードバック機能を追加したり、楽曲スキップをせずにどれだけ継続的に聞き続けるかの秒数を測ったり、再生してから停止するまでの時間を測ったりするなど、モチベーションが最大化されているか？というベースとなる指標が決まれば、あとは関連する指標を導き出すことができます。

このようにアウトカムベースのジョブを予めユーザーインタビューから聞き出して、定めることでプロダクトがどの程度うまく行っているのかという成功指標を定量的に測ることができます。

他にも、アウトカム指標については、個人的にここ2,3年で最高の良書と思っている「Escaping the Build Trap: How Effective Product Management Creates Real Value」に非常に素晴らしく書かれているので、ぜひ読んでみてください。

さいごに

ここまで、アウトカム指標についてHEART指標やジョブ理論を紹介してきました。明確で、計測可能なアウトカム指標を実際に開発体制に取り入れることは3つのメリットがあります。

1. カスタマードリブンで成功を評価できるため、プロダクトや会社の目線ではなく、顧客にどれだけ価値を届けることができているかで考えられる
2. コミュニケーションにおける共通言語となり、プロダクトチーム全体でのミスコミュニケーションや方向性の合意のミスを減らす
3. データドリブンの意思決定が行えるため、主観を取り除き、意見の対立を避けることができる

プロダクトマネージャーとして、製品そのものが出力するアウトプット指標だけを追うのではなく、顧客にどのくらい価値を提供できたのか？、プロダクトチームとして何に向かって開発を進めるのか？、何をもって意思決定をするのか？という大事な3つの観点をアウトカム指標によって明確にすることができると思っています。

ぜひ、みなさんのプロダクト開発においてもアウトカム指標を考えてみてください！ご質問や気になる点があったらお気軽にTwitterでDMをいただければ、できるだけ返したいと思います。

他にもジョブ理論やプロダクトマネジメントのあれこれについて発信しているので、この記事が良いと思った方はぜひ noteのスキとTwitterのフォローをお願いします！🙇





この記事が気に入ったらサポートをしてみませんか？