ハイパーカジュアルゲームのプロトタイプテストを高速で実施する方法

ハイパーカジュアルゲーム開発において欠かせない一つのステップが、プロトタイプテストです。
「大量のプロトタイプを開発し、テスト段階を経たうえで本格的に作り込むタイトル、プロモーションをかけるタイトルを絞り込んでいく」という大きな流れについては広く知られているかと思います。
では、この絞り込んでいく過程を高速で進めるためには、具体的にどのようなことをやっているのでしょうか。

ここで具体的に知りたいことというのは以下のようなポイントです。
1.どれくらい作り込んだ段階でテストをするのか
2.具体的なテスト方法とは
3.どういう基準で中止、継続の判断をするのか
4.スケジュール感は？

上記のような点について、Clap Clap GamesというデベロッパーがJoypacのウェビナーで言及していますので、その内容を一例として記載しています。
なおClap Clap Gamesは、Voodoo, Kwaleeでパブリッシングされたタイトルのデベロッパーであり、2名体制で開発をしている会社です。特に少人数開発でパブリッシャーと組むことも考えているデベロッパーの皆さんにとって参考になる点が何かしらあれば幸いです。

テストは2段階で、開発も2段階で

個別のポイントに踏み込む前に、まずはテストフローの全体感です。以下はClap Clapによる図解ですが、この段階分けは複数のパブリッシャーで実施しているパターンです。

特徴的なのはテストを2段階で設定していること、そしてそれぞれ異なる判断指標を置いていることです。第1段階はCTR"のみ"を見るテスト、第2段階はCPIと継続率が判断指標です（パブリッシャーによっては、ここでプレイ時間や到達ステージ数が継続率に代わる指標になります）。

ここでいうCTRとは、テストとして動画広告を出稿し、それがどれくらいの割合でクリックされるか、つまりどれくらい多くの人が興味を示すのか、という話です。
開発が終わっていないのに広告出稿？と思う人もいるかもしれません。例えるならTwitterで「こんなゲーム開発中です」と10秒ほどのプレイ動画を上げてみたらものすごい反響が！！というのと、やっていることは同様ともいえます。
つまり第1段階のテストは「このゲーム、どれだけ多くの人にウケる可能性があるんだろう？」を見るテストです。一方で第2段階のテストは「どれだけハマって遊んでくれるか」のテストです。

第1テスト：スケーラビリティを見るテスト
↓
第2テスト：スティッキネス（継続率、プレイ時間、到達ステージ数）を見るテスト

これは非常に理にかなったやり方であるといえます。ハイパーカジュアルにおいてスケーラビリティは欠かせません。そして順番としても、2から1の要素を加える変更は難しめであり、1があるタイトルに2の要素を足していく方が相対的に成立しやすい、という話です。

どれくらい作り込んだ段階でテストをするのか

では、どれくらい作り込んだ段階で第1テストを実施しているのでしょうか。
第1テストまでに必要な開発は「10秒程度のゲームプレイ動画を撮影できるだけの分量」です。もちろん、まだストアに上げていない状態です。
目的はあくまでも、人々がコンセプトに興味を示すかどうかの検証なので、Clap Clapのケースでも以下のようなシンプルなシーンを10秒程度、がここまでに必要な開発です。

作りは極めてシンプルですが、CTR（世の中のウケの度合い）を確認するには充分、というのがここまでに必要な開発です。

スケールしなさそうならもう進めないと判断をするこのテストフローは、初動の開発工数を最少に抑えたケースといえます。そんなドラスティックに判断しちゃうの？と思う方もいるかもしれませんが、ある意味このやり方は「この企画、当たるかどうかわかんないから、とりあえずちょっと作って投げかけてみようか」→反応がイマイチ→「じゃ、いったん見送って次の企画考えよう！」という感じで、企画の検証と考えるとしっくり度が増すかもしれません。

具体的なテスト方法とは

次に具体的なテスト方法です。CTRのみを見る第1テストはFacebook広告を少額の出稿で試すケースが多く、Clap Clapの場合は以下です。

・4,5個の動画をテスト、どれがCTRが高いかを見る
・1日あたり$50で4日間のテストをアメリカ、iOSのみを対象に実施
・CTRのテストは素のゲームプレイのみで。「このレベルをクリアできるか」とか上にテキスト等を重ねない
・Facebookで4%以上のCTRであれば、開発を進めるのに適切といえる（パブリッシャーによって基準値は違うけれども）
・パブリッシャーによってテスト方法は異なるが、最近よくみるパターンはこれ

これは既にやり取りしているパブリッシャーがいて、テストの費用負担や広告の設定をサポートしてくれている場合の投下金額といえます。あくまでも上記は一例なので、動画は1つだけ・1日$30で、というテストでも集まるクリック数から考えると充分に成立するといえます。パブリッシャーがいないのであれば、前述のようにTwitterで反応を見るというのも代替策としてはありでしょう。
なお、ゲームが出来上がっていない段階なので、広告のリンク先は「近日リリース予定」「このゲーム、どう思いますか？フィードバックください」といったページが用意されていることが多いです。

どういう基準で中止、継続の判断をするのか

改めてテストの流れを記載すると以下です。

第1テスト：スケーラビリティを見るテスト
　↓CTRが基準値以上
第2テスト：スティッキネス（継続率、プレイ時間、到達ステージ数）を見るテスト
　↓CPIや継続率が基準値以上
本格ローンチへ

CTRについて、Clap Clapは4％としていますが、同じくウェビナーに出ていたZeptoLabは2.5%が基準と言っています（ZeptoLabはハイパーカジュアルではなく、カジュアルという括りにおさまるゲームが主体です）。
Clap ClapはCPIや継続率については具体的に触れていませんが、仮に一般的によく言われるような数字で置くならば、CPI $0.3前後、継続率D1が40%, D7が15％前後といったあたりが目安といえます。これらの数字はあくまでも目安で、各社異なるというのはあれど要点としては以下です。

・それぞれのテストにおいて設定した基準値を超えるかどうか
・超えていないが惜しい、"これは改修で超える可能性がある"と思えるのか
・ガラリ数字が変わる可能性がある改修してみたい要素があるのか

数字は惜しいけど、ガラリ改修してみたい要素がないという場合は、永久に中止ということではなく「いったん、寝かせておく」ぐらいの軽い気持ちでいいかもしれません。そのうち別のアイディアとガッチリ組み合わさって日の目を見る時がくるまでのストック、という感じですね。

また、パブリッシャーと組んでテストを進めている場合は、"惜しい"で先に進めてくれるケースもあるでしょうし、他の指標を拠り所に進めるケースもあります。
CTRテストでは同時に「動画の3秒再生数」の割合を基準にしたり、CPI&継続率テストの段階ではプレイ時間、到達ステージ数を拠り所にしたり、という感じです。

スケジュール感は？

スケジュールに関しては、2つ話があがっています。
・プロトタイプの開発期間は？
・トータルどれくらいの期間で？

これに対してのClap Clapのケースで言えば、以下です。
・最大で1日2つはコンセプトを、できるものはプロトタイプまで作る
・リリースタイトルのほとんどは第1テストからローンチまで1ヶ月以内

既存のスクリプトやアセットが大量にストックされているので、多くのケースはありものの組み合わせでできあがる簡易なプロトタイプという話ですが、だとしても高速ですね...。
ローンチまでの期間も一例ではありますが、相当速いケースです。もちろん数ヶ月、それ以上というタイトルもあるなかで、今回のClap ClapのケースはCTRテストに始まり、全てを最速で大量に進めようとした場合のやり方として、あくまでも一例、部分的にでも何かしら参考になるところがあって取り入れたいものがあれば幸いです。

まとめ

プロトタイプテストについてまとめると以下です。

・テストは2段階で ＝ 開発も2段階で。
・まずはスケーラビリティ。次にスティッキネス（継続率、プレイ時間、到達ステージ数）のテスト。
・第1テストまでに必要な開発は「10秒程度のゲームプレイ動画を撮影できるだけの分量」でも可能。

＜第1テスト＞
・良し悪しの判断基準：CTRのみ
・目的：スケーラビリティを見るテスト（どれだけ多くの人にウケる可能性があるか）
・ここまでに必要な開発：初見のインパクト、5秒のプレイ動画でおもしろさが伝わるゲームプレイかどうか
↓
＜第2テスト＞
・良し悪しの判断基準：スティッキネス指標（継続率、プレイ時間、到達ステージ数）
・目的：スティッキネスを見るテスト（どれだけハマって遊んでくれるか）
・この段階で必要な開発：深さ、ついついもう1度プレイしたくなるか

参照：Webinar On-Demand: How to Test Hyper-Casual Games to Maximize Performance