サービス改善やグロースハックでぶち当たる「これは正しい因果か、因果が逆なのか、ただの相関なのか問題」の解決法

2018年9月7日 10:54

グロースやサービスデザインのメンタリングをする中で、しばしば相談を受けるのが、

「ある機能Aを使っているユーザーの継続率が高いことが分かったが、これは正しい因果関係かどうか、どうやって確かめればいいか？」

という相談だ。

具体的には「ある機能Aを使っているユーザーの継続率が高い」ときに以下の３つのパターンが考えられる。

A）順因果：機能Aを使うことがユーザー継続率の押し上げにつながっている
B）逆因果：ユーザー継続率が高いユーザーなので結果として機能Aを使っている
C）単純相関：機能Aと継続率の間に因果関係はなく、単純に相関しているだけ

サービス改善をしてグロースを達成するためには、A）のKGI(上記の例では継続率)に対する順因果の数値を見つけたいのであって、B）の逆因果やC）の単純な相関では、機能Aを使うユーザーの割合を上げることに成功しても最終的な継続率というKGI向上にはつながらない。

正しい因果関係かを確かめる方法

見つけたデータの関係が正しい因果関係（順因果）かどうかを確かめる方法は、大きく以下の２つがある。

ユーザーテストをしてみて機能Aを使っている瞬間のユーザーの表情や行動を観察してポジティブな反応をしているか見るというアプローチ。

要は機能Aにテンションが上がっているか。

機能Aにテンションが上がっていればそれは継続率などのKGIを押し上げる順因果を持った機能であり、もし機能Aへの反応が薄ければそれは逆因果か単純相関の可能性が高くなる。

機能Aの利用率を上げるというKPI改善の施策が簡単に思い付き、かつ実行コストも高くないときは、実際に施策を実行して機能Aの利用率=KPIを改善してみて、それによってKGIが動くかどうかを見る。

機能Aの利用率UPに応じてKGIが改善すれば正しく因果で結ばれていると判断し、実行コストが高くてもより改善インパクトの大きい施策を行って機能Aの利用率改善に動いていけば良い。

もしあなたの組織でユーザーテストを少なくとも3ヶ月に1回以上やっていないのであれば、まずはユーザーテストという定性アプローチから始めるのをオススメする。

なぜなら、ユーザーテストを行ってユーザーがサービスに対してどう反応するかを直に見ておくと、次に別の指標の因果関係が気になったときに、「これはユーザーがテンション上がってた部分だから順因果っぽいな」とか、「ここはユーザー無反応だったから逆因果か単純相関っぽいな」とか肌感で判断が付くようになってくる。

良い企画者、良いプロダクトオーナーというのはいかにこういった肌感を身に着けているかだと思うので、その意味でも是非ともユーザーテストは頻度高くやっていきたい。

毎週or隔週1時間ZoomやSkypeでグロースハックやUX改善のメンタリングをするというのをしています。

興味あるスタートアップや企業の方はお気軽に以下TwitterかFacebookまでご連絡くださいませー！

また、グロースやサービスデザイン関してディスカッションしたり、最新の記事をお届けするFacebookグループもやっています。

ぜひご参加くださいませ。

AIやXRなどの先端テック、プロダクト戦略などについてのトレンド解説や考察をTwitterで日々発信しています。 👉 https://twitter.com/kajikent