グロースハックにおける指標とユーザテストの意義
ずいぶん前だが toC PM Night#3 〜グロースハックの本質を語る〜 に行ってきた
私はサーバーサイドエンジニアなのだけど、まず登壇者に梶さん @kajikento がいること、そしてエンジニア以外にもちょうど企画業務をやってたのでUXに関する指標がNPSが主だと詰むと思い、KPI周りについてPM業詳しくなりたくて参加。
梶さんについては、社内のデザイナーさんにUXについて詳しい方のアカウントを教えていただいたときに紹介いただき、以前からフォローさせていただいていた。
かなり学びが深かったので当日のツイートをまとめてnoteに残したいと思う。
ちなみにたくさん出てくるMetricsというワードは「指標」と翻訳していただけると！
North Star Metricsを探せ
今回の勉強会で挙げられた指標は3つある。
・KPI：ビジネスの最終成果を図る結果指標
・North Star Metrics：1つだけ追うべき、重要な指標
・KGI：強い因果を持った先行指標
「North Star Metrics」、お恥ずかしながら初めて聞いた。詳しくは
プロダクトの本質的な価値が顧客に提供できているかを測る単一の指標
のことだそう。
図で関係性を表すと以下のようになる。(梶さんのスライドより)
KPIとKGIの間にあるのがNorth Star Metrics。KGIは数値が大きく、結果の達成まで遠い。また広告やPRでごまかせる数値になる。そのため、KGIとKPIの橋渡しとしてNorth Star Metricsが必要。
なかなかうまくNorth Star Metricsを設定できてない企業が多いけど、うまく設定するならビジョンを翻訳し、それを裏付けるデータに設定するとよい。
(ビジョンとデータの掛け算)
NSMは直接追う数値、KPIは施策を行う対象の数値、KGIはダッシュボードで結果を追う数値として3構造で使い分けるのがよいそう。
Counter metrics
Counter metricsとは「改善に難癖をつけられる可能性がある指標」のこと。
各metricsと対になるcounter metricsをチェックしないと改善してるつもりでも全体悪化していることがある。
数値が上がっても相関して悪い指標も上がってる可能性があるので、習慣的に確認して注意する必要がある。
数値を動かす施策の打ち方
①伸ばしたいmetricsの分岐点を見つける
この分岐点とは特定のアクションをした回数ごとのmetricsを比較したときに、大きくジャンプした箇所のこと。急に増えるか急にいなくなるか。ジャンプ前のユーザーをより多くジャンプさせる施策を打てば勝手に全体のmetricsは解決する。
JUMP箇所の見つけ方はピボットテーブルを作りまくるのがよい。ユーザーごとにアクションを何回したかをアクションごとにピボットテーブル作ってジャンプする箇所を見つける。
なお数値の上下は逆因果と単純相関と純因果の可能性ある
純因果を見つけるには
1、自分の感覚でジャッジする
2、ユーザーに目の前で使ってもらってテンションの変化を見る(定性)
3、速攻でABテストかけて数字を動かす
純因果のみ、施策の効果として正しい数値。
数値の上下のwhyをあぶりだす際はユーザテストが有効。
②ユーザテストでwhyをあぶり出し、施策に翻訳する
ユーザビリティテストによって数値からは見えてこない改善点が見えてくる。KPIに関連するタスクを目の前でやってもらうことで、問題のwhyを特定する。その後見つけたwhyに優先順位をつけていき、施策として翻訳していく。そうすることで原因をつかめるようになり、施策を外さなくなるそう。
データ見過ぎ問題
データに深く潜りすぎると、木を見て森を見てない問題が発生することもある。そのため以下のようなシンプルなグロースのモデルを持っておくとよい。
全体像を見失わないためのマインドセット
また、木を見て森を見てない問題を解決するには、以下のマインドセットが重要とのこと。
1, 最高と最悪のフローを描く(UX改善のインパクトを把握)
2, KPI、KGIツリー(きちんとツリーで整理してチームで見れるように)
3, タスクフローを整理しておく(体験フローを分岐含めて整理しておく)
施策を追加することで全体のフローが煩雑にならないかウォッチしておく
タスクフロー、管理が行き届かず更新されかったり少人数しか見てないことはあるあるだけど、チームで理解しておくことで全体を考えて施策を打てる。部分最適は🙅♀
チームの空気をデザインする
1,リリースの周期を先に決めてそれに施策やチームの動きをあわせる
周期をまたぐ施策は分割して毎回の周期で必ずなにか打ち手を打てるように
2,小さな勝利を自分たちで認識して、自分たちを鼓舞する
週次で少しでも改善が見られたらチームで祝う
また、チームでユニコーンのサービスを上から順に触っていってシェアすると自分たちの普通の基準が上がるそう。
今まで懐疑的だった納期とwin sessionはけっこう大事なのかなと思った
グロースハック人材は育てるか自分がなる
グロース人材はなかなか見つからないし、見つかっても倍率が高いので、チームのメンバーを育てるか自分が強い人材になる。なり方は以下の記事より。
上記記事にて初めて名前を見たUX本も多かったので、下記の本を買ってみた
・ユーザ中心ウェブサイト戦略
・ウェブユーザビリティの法則(Don't Make Me Thinkの邦訳。他の勉強会でも必読と紹介されてた)
・デザインのデザイン
感想
一番思ったのはOKRのOを数字に変換したものにnorth metrics starが近いのかなということ。困ったことはワークショップのときにチームのKGIを書けなかったこと。
OKRとnorth star metricsやKPIとKGIの関係性について懇親会では話してみたけど、OKRとは全く別に設定してるところが多そう。(OKRのメソッド的にはKPIに絡めないのがよさげだけど、そうなるとOKRの重要度薄れる問題)
ユーザテスト、大事なのはとてもわかるけど、頻度と予算と対象の施策の規模についてが難しいよなーと思い、懇親会時に聞いてみました。自社発行のポイントでユーザテストの報酬を支払うと会計上やりやすいとのこと。
とても勉強になりました！！データ抽出をよくしてたりExcelはそこそこ触るのでピボットテーブル作ってみたい
当日のスライドはこちら！
サポートは書籍や勉強会参加費に活用させていただきます。学んできたことを記事にしたいと思います！