効果的な仮説検証についてあれこれ考える
最近「効果的な仮説検証とは？」ということを考える機会があったのでじっくりと考えてみる。
まず効果的に仮説検証をするためには、いくつかのステップに分けて考えると分かりやすい。「適切な問題を見つける」「適切な仮説を見つける」「適切に検証する」の3つに分ける。本来であればこの順番で適切に意思決定をしていく必要がある。また「適切な問題を見つける」ことにもっとも時間をかけたほうが良い。
例えば、webサービスを運営しており、「ユーザーから使い方について問い合わせが多いので、ヘルプページの導線を目立たせるためにサイトの右上に目立つ赤色で”？アイコン”を設置しよう。デザイン変更後の効果を測るためにABテストの設計をしよう」といったケースを考える。
このケースでは「効果的な仮説検証」という意味ではABテストの設計よりも前段階が支配的だと思う。これは何が問題で何が仮説なのだろうか？
おすすめの本です。
「使い方についての問い合わせが多い」ことは何が問題なのか？
問題について考えてみると下記のようなものがありそう。
・CSが使い方の問い合わせ対応に多くの時間を使っている
・使い方が分かりにくく解約につながっている
・SNS等でネガティブな口コミが多く新規会員獲得に悪影響がある
これらもさらに深堀りすと良い。これらの深堀りや整理をするうえでロジックツリーやMECEなどを知っていると便利である。最終的に「実際どのような害」があるのかが明確になるまで掘り下げていく。例えば、「CSが新規の問い合わせに対応するのが遅くなり、新規顧客の獲得率が下がっている」など。
次にファクトを集める。ここで考えた問題の候補が本当に解決すべき問題なのかを判断するためにデータなどを集める。このときに役に立つのが「縦の比較」と「横の比較」。比較した上で、本当に解決すべき問題とそれらの優先順位を決める。
例えば、「解約率の改善は入会率などの改善と比較してもビジネスインパクトが非常に高いが、使い方がわからないことが解約理由としてトップであり、他と比べてもダントツ。さらに多くの顧客はCSに問い合わせることなく解約にいたる。CSに問い合わせがあった顧客の解約率は低い。」ということ分かり、解決すべき問題は「CSに問い合わせないと使い方が分からない」ということになる。この問題を解決して解約率を改善したい。
問題を解決する方法の仮説は何か？
問題が明確になったので、次は適切な仮説を考える。仮説を考えるときにもMECE等のフレームワークが役に立つ。複数の仮説を立てた上で、どの仮説が最も良いかを判断する必要がある。仮説を比較するためにさらに仮説を分解する。冒頭の例であれば、解決方法の仮説は「サイトの右上に目立つ赤色で”？アイコン”を設置する」ことであり、仮説分解すると
・赤色は目立つ
・アイコンが目立てば、使い方が分からない顧客はクリックする
・遷移先を見れば顧客は使い方がわかる。
などが考えられる。これらの仮説が正しいのか？ということをできる限りデータを集めて判断したい。この「データを集めて」というのは意外と難しい。組織文化として適切に実験をし、実験の結果がシェアされている状態であれば、比較的集めるのは容易になる。例えば、「過去の例では、青よりも赤のほうがクリック率がよかった。」など。
他にも様々なログを使って分析することも検討する。「CSに問い合わせがあった顧客に遷移先のURLを送ると問題が解決している」など。これらを行うためにはあらゆるデータにアクセスできるデータ分析基盤が必要かもしれない。整っていないと分析するよりも「やったほうが早い」ということになりかねない。仮説を分解して小さくすると過去の事例やログ等から成り立ちそうかが分かる。それらの情報をもとに問題解決のための複数の仮説を比較し、もっとも効果がありそうなものを決定する。
解決策の仮説を適切に検証する
ここまできたらABテストを行う。「サイトの右上に目立つ赤色で”？アイコン”を設置する」ことで、本当に解約率が改善するのかを見る。解約率に影響するまでに長い時間がかかるかもしれない。様々な工夫が必要。(この辺は社内のデータサイエンティストに聞いてください)
この施策が効果があるかということだけでなく、次のグロース施策に使えるように適切に分析することも重要。アイコンのクリック率やクリック後の行動などを分析し適切に共有したほうが良い。
つまりどういうことか？
「使い方の問い合わせが多い → ヘルプへの導線強化」というのはことを効果的に仮説検証するためには、いきなりABテストをするのではなく、現状を分析しながら、本当に解決すべき課題は何かを考え、その問題の解決策として最も効果的で可能性が高いものを考え、ABテストを行い施策の効果を検証しつつ、次の仮説検証に必要なデータを集めましょう。
そもそも「使い方の問い合わせが多い」ことが悪いとは限らないし、CSの人数を増やすことで解決できるかもしれない。また、「使い方の問い合わせが多い」が、解約率は非常に低くいかもしれない。
ここまで書いて気づいたけど、効果検証と仮説検証の言葉の解釈が人によって違うかも。まぁいいか...
この記事が気に入ったらサポートをしてみませんか？