「成果」と「行動」に基づいてプロダクトを改善しよう～『行動を変えるデザイン』を読む～「改善」編

※この記事は「『行動を変えるデザイン』を読む」マガジンの一部です。

こんにちは。『行動を変えるデザイン』翻訳チームのtantotです。今回は『行動を変えるデザイン』の第Ⅴ部について紹介します。

第Ⅱ部～第Ⅳ部にかけて、ゴールを決め、コンセプトを作り、実際のプロダクトを構築しました。第Ⅴ部では、一度作り上げ、リリースしたプロダクトの「改善」について取り上げています。

測定～「成果（アウトカム）」と「行動（アクション）」を表す指標を測ろう

行動を変えるプロダクトがうまく機能しているかどうかを測るのに最も大事な指標はなんでしょう？　PV？　WAU？　CVR？　このどれかかもしれませんし、どれでもないかもしれません。

当たり前ですが、「行動を変えることができたか」「それにより、目指す成果（アウトカム）が実現できたか」が大事であるから、それを表す指標が何なのか、を徹底的に考えよ、と本書は主張します。

例えば第Ⅱ部の紹介記事でも例として挙げたダイエットアプリの場合

・アクション：毎日の運動で
・アウトカム：○kg減量すること

でした。

このプロダクトの効果測定としては、例えば

・ユーザーが30日間きちんと毎日運動できたかを、センサーで取得した行動ログで測る
・ユーザーが30日後に目標通り（例：5kg）減量できたかを、ユーザーが毎日記録した体重で測る

といったものが適切になるでしょう。

ここでのポイントは、何を、どのように、どのくらいの期間で測るかを明確にしておくことです。それが明確になっていれば、プロダクトがうまくいったかどうかをシンプルに判断することができるからです。

（成果・行動の指標を計測して、改善を回すことが重要）

また、行動を変えるプロダクトの場合、「ユーザーの体重」のようにプロダクトの外にある指標を測定しなければいけないケースがけっこうあります。その場合、「ユーザーが体重を記録する」等、プロダクトでうまくデータを取れる仕組み自体をあらかじめ用意しておく必要があります。リリースした後から気づいて困ることのないよう、指標とその測り方は先に考えておきましょう。

どうしてもプロダクト自体では成果が計測できない場合は、「データブリッジ」という考え方を使います。プロダクト内で取れる指標と、実世界での事象を紐付ける計算モデルを作る、という感じですね。例えば、

アプリを毎日起動している人の20%が、実際に毎日運動している

という関係が成り立っていれば、アプリの利用データを測るだけで、ターゲットアクション（毎日運動する）がどれだけ達成されているかを推測することができるわけです。この関係式は、事前にパイロットプロジェクトを実施して計測せよ、と言われています。

考察～ビヘイビアプランに基づいてボトルネックを見つけよう

ターゲットアウトカムとアクションを測定して、思ったよりうまくいってなければ、プロダクトの改善が必要です。そこでまずは「何がうまくいっていないのか」を考察するわけですが、ここでも「行動」に基づいて掘り下げることが大事だと本書ではいいます。

アウトカムやそれを導く行動に至るまでの行動が、当初描いたビヘイビアプラン（第Ⅲ章の読書ノート参照）のとおりにうまくいっているのか？　目詰まりしているステップはどこか？　そこで躓いている理由はなぜか？

ダイエットアプリの例だったら、「運動をする」前の「決まった時間にアプリを起動する」という行動がうまくできていないのかもしれません。

その躓きポイントがわかったら、そこをCREATEアクションファネルで掘り下げてみましょう。「決まった時間にアプリを起動する」ために、アプリが決まった時間にPUSH通知を送っているとしたら、もしかしたら、それが気づかれていなかったり（キューの欠如）、ちょうどユーザーが他の用事を片付けている途中なので無視してしまっていたり（アビリティの欠如）するのかもしれません。

ここまでわかれば、改善点が明確になるので、実際にプロダクトを修正し、アップデートしていきます。

変更～小さく試してまた計測しよう

改善点が決まったら、小さな単位で変更してリリースし、計測して、また修正する。これはリーン開発での「ビルド・メジャー・ラーン」を始めとして、アジャイル系のプロセスではとてもなじみ深いプロセスであり、「行動を変えるプロダクト」の場合も、そこの基本は変わりません。

とはいえ本書では、普通のABテストから多変量テスト、多腕バンディットといった手法や、ABをやらない前後比較での検証、あるいはスタッガード・ロールアウトなど、様々な検証手法をコンパクトに解説してくれているので、一読する価値があります。（統計学の専門知識とプロダクト開発の実戦経験がある著者ならでは、という点ですね。）

プロダクトの改善は、終わりないプロセスです。だからこそ、自分たちのプロダクトが何の成果を目指しているのかを明確にし、それをぶらさずに測れる指標を見ながら改善活動を進めることが重要だ、ということを本書は強く主張していると感じました。

書籍紹介ページ：

行動を変えるデザイン - 心理学と行動経済学をプロダクトデザインに活用する

Amazonで購入する：

行動を変えるデザイン ―心理学と行動経済学をプロダクトデザインに活用する

～『行動を変えるデザイン』第Ⅴ部目次～

第Ⅴ部　プロダクトを改善する

　第12章　効果を測定する

　　なぜ効果を測るのか

　　成果と指標から始めよう

　　どうやって指標を測るのか

　　効果を明らかにする：実験を行う

　　効果を判断する：ユニークな行動と成果

　　実験以外の効果の判断方法

　　プロダクト内で成果が測定できないと何が起きるのか

　　まとめ

　第13章　行動の障害を見つける

　　ユーザーがプロダクトを使うところをこの目で見よう

　　データを確認しよう

　　障害の乗り越え方を見つける

　　まとめ

　第14章　プロダクトを学び、改善する

　　どの変更を実験するのか決める

　　主な変更ごとに効果を測定する

　　いつまでやれば「十分」なのだろうか

　　既存のプロダクトで行動を変えるには

　　まとめ