擬似相関に惑わされない適切なKPIを設定する方法

ゲームアーキテクトの米元です。
今回は、社内メンバーが執筆した記事を公開させていただこうと思います。

擬似相関に惑わされない適切なKPIを設定する方法

リリース中のゲームを改善する際、改善に必要なKPIはどのように設定していますか？

KPIを設定するにあたって、データ分析の結果見つかった数値を、マジックナンバーとして設定することもあると思います。

《補足》
マジックナンバーとは、アプリの運営における（継続利用や収益などの）重要指標が飛躍的に向上するカギとなる条件のこと。Twitterの「30人以上をフォロー、10人以上からフォローバック」や、Facebookの「10日間で7人と友達になる」などの例。

マジックナンバーは、一見、アプリの運営に大きな飛躍をもたらすようなカギに見えます。しかしながら、KPIにマジックナンバーを安易に設定することは非常に危険です。なぜなら、そこに強い相関関係が見られたとしても、実は因果関係の全く無い擬似相関である可能性があるからです。

つまり、それらしい示唆が出たからといって、その数値をマジックナンバーとしてKPIに置いてしまうと、いくらそのKPIの改善に取り組んでも、アプリ自体の目標の達成のためには全く効果が無いということになってしまいます。

 

擬似相関に陥らないためには

KPIを設定する上で、そのような擬似相関に陥らないためにはどうすればいいでしょうか。
「ユーザーの継続率を高める」という指標を達成目標として考えてみましょう。
ユーザーの継続率を高めるためには、現在ゲームを継続してプレイしていないユーザー、あるいはゲームの継続を途中でやめてしまいそうなユーザーに、ゲームをプレイし続けてもらわなければなりません。ですので、その点を念頭にKPIを設定していきます。

ここで、適切なKPIの設定が分かりやすいよう、先に誤ったKPIの設定の例を紹介します。
ゲームのデータを分析した結果、DLから7日以内にギルドに加入したユーザーの継続率が高いという結果が得られたとします。
それを踏まえて、全体の継続率を高めるために、「DL直後からギルドへの加入を積極的に勧めるミッションを作る」というKPIを設定するとします。しかし、このKPIは擬似相関に設定されているため、目標である継続率上昇を達成するような効果は出ません。
では、なぜこの関係は擬似相関なのでしょうか。

疑似相関に陥ってしまう理由

一般に、擬似相関に陥ってしまう原因には、交絡因子という第三の変数の存在があります。
交絡因子は、要因と結果の両方に影響を及ぼすものであるため、本来は全く関係の無い要因と結果に妥当性があるように見えてしまう原因になります。
そして、相関関係にある2つの変数に、交絡因子が絡むことにより、交絡因子とそれぞれの変数間には因果関係があるため、交絡因子を除いた時にもその2つの変数間で因果関係があるように見えてしまうのです。これが擬似相関です。

つまり、先程のギルド加入の例が擬似相関である理由は、「DLから7日以内でのギルドへの加入」と「継続してプレイすること」のどちらにも、「ユーザーのやる気」が交絡因子として存在しているからです。

やる気があるユーザーはDLから7日以内でギルドに加入するし、継続してプレイもする。
そのため、ギルド加入と継続したプレイの間に因果関係があるように見えてしまいがちですが、そこには相関関係はなく、擬似相関を信じ込んだ結果、間違った施策を行ってしまう……そのようなカラクリでした。

そして、「やる気がある」というのは、当たり前ですが、一人ひとりのユーザーで度合いが異なるものです。そのため「ユーザーの継続率を高める」というユーザー全体に向けた目標の達成には、上手く影響してくれません。

それではこの場合、どうすればいいのでしょうか。

それには、この「ユーザーの継続率を高める」というKPIを捉え直すことが大事です。ユーザーがどうすれば継続的にプレイしてくれるのかではなく、継続してプレイしないユーザーがいる原因を特定することの方が、より重要になります。 

ユーザーが継続的なプレイをしない原因を分析した例

では、継続してプレイしないユーザーがいる原因を特定できた場合のKPIの設定、そしてKPI達成のための行動指標の設定までの流れを考えてみましょう。

例）ユーザーの継続率を高めるため、分析を進めた結果、クエストでの離脱が多いことがわかった。そこでユーザーの離脱が多いクエストを特定する。
①まずクエストプレイUUを調べる。
②調べたクエストプレイUUを、直前に挑戦したクエストのクエストプレイUUで割り、クエスト継続率を算出する。
③クエスト継続率を算出した結果、クエスト２の継続率が悪いことが判明した。

例　クエスト継続率の算出結果

④この結果から、クエスト２を一度プレイした時点からクエスト３をプレイするまでの過程に、ユーザーが離脱する何らかの原因があることが推測できる。

このような流れで、ユーザーの離脱が多いクエストを特定することができました。
ここで考えられる、ユーザーがクエスト２で離脱してしまう原因としては、
・クエスト２が難しくて、プレイするのを断念してしまった。
・クエスト２はクリアしたが、その次のクエスト３への誘導が適切でなかった。
・クエスト３の情報を見たユーザーがプレイする気を失くしてしまった。
などが考えられます。

これらの分析で、「ユーザーの継続率を高める」という達成目標に対して、「クエスト２の継続率を高める」というKPIが設定できました。そしてそこから、先程挙げたような、離脱する原因として考えられる項目を、KPI達成のための行動指標に設定しました。
こうすることで、業績達成指標から行動指標まで落とし込むことのできた、非常にロジカルな指標を設定することができました。

目標達成に向けてKPIを設定することは非常に重要ではありますが、きちんと目標に効果のあるKPIかどうかに注意して設定しないと、改善に向けた取り組みが全く無意味なものになってしまうということもあります。

特に、既にリリースしているアプリゲームの場合は、改善に必要なデータがたくさん揃っているはずです。そのため、そのデータを目的を持って分析し、意味のある示唆出しをして、KPI・行動指標に反映させることを意識していただければ、擬似相関に惑わされず、ゲームの改善がより適切に行えるかと思います。

《参照した記事》

【事例】安易なマジックナンバー分析で疑似相関に陥らないよう注意！ - YuRAN-HIKO (hatenablog.com)

【お知らせ】

プレアナでは、「数値遊びの創造」で新たな価値を創造すべく、ゲームを中心としたエンタメの面白さの数値化に日々取り組んでいます。

最近は「数値遊びの創造」を体現するゲームとは違う遊びを提供するNFTプロジェクトにも取り組んでいますので、そんなちょっと変わった取り組みを、一緒にやっていきたい！という方は、ぜひこちらのWantedlyページまでご連絡ください。また、

「データ分析はなぜ失敗するのか？」
「売上が長続きするゲーム設計の秘訣」

など、アプリゲーム開発運用に関する無料セミナーも実施中です！
アプリゲーム開発運用を行っているチーム単位で実施しておりますので、詳しいお問い合わせや日程調整はこちらにてお受けしております。

会社HPはこちら

その他、Twitterでも時々ゲームとデータについてつぶやくこともあるとかないとか…