iPhoneで Air 太鼓の達人を作る 1
太鼓の達人と言えば、もはや説明不要の大ヒットゲームシリーズですね。筆者も昔相当やりこみまして、今でも★８をギリギリクリアできるくらい。近所のショッピングモールで見かける際にはよくプレイしていて、息子らに「すげえ！」と言わせている中年プレイヤーです。
最近ではスマホ・スイッチ・PC などに移植されていて家庭でも楽しむことができます。しかし、スマホやゲームパッドをポチポチ押してプレイするのは、なんとも消化不良な感じが否めません。スイッチ版ではジョイコンも使えますが、青・赤の区別が難しく、満足するプレイができません。
iPhone でリアルタイム手認識 ToF AR SDK とは ?
先日、ソニーから iPhone で手認識が使えるようになる ToF AR SDK がリリースされました。これを Unity で作るアプリに導入することで、高精度・リアルタイムの手認識が使えるようになります。上記リンク先の動画を見ても、かなりの精度で認識できていることが伺えます。
「この手の動きをキーボード文字入力に変換できれば、Windows 版太鼓の達人を使って Air 太鼓の達人ができるのでは？」
という好奇心が、今回の記事の発端になってます。
もちろん、Ultra Leap (Leap Motion) など PC に特殊なデバイスを接続して手認識する手段は今までにもありました。ただ、今回は iPhone だけで可能なので、将来 iOS アプリとして Air 太鼓の達人のようなものが作れるのでは？という期待があります。（楽曲・譜面提供してくれる人がいれば、Air 音ゲーが作れる！）
では早速設計から解説していきたいと思います。（ちなみに、この執筆開始時点ではまだシステム全体が完成していないので、「やっぱ駄目でした」となってしまう可能性があることをご留意ください。）
（手認識部分の紹介はしばらく後になります。
「ToF AR (手認識) 以外は興味無いわ！」という方はこちらへどうぞ↓）
設計： PC との通信、キー入力方法
色々やり方があるとは思うのですが、自分が考えたのは、
(1)： ToF AR が入った iOS アプリで手認識
(2)： (1) からメッセージ受信、キー入力を発生させる PC プログラム
(3)： 太鼓の達人 Windows 版（J key で赤ドン、K key で青カツ）
という構成です。
(1) は Unity で開発。
(2) は Java で開発します。自分が得意なので Java にしましたが、今どきの人は Python で作ったほうが楽かもしれません。
音ゲーなので遅延が課題になりそうです。スマホと PC の接続は Wi-fi ではなく LAN ケーブルがあると望ましいです。↓こういうやつですね。
太鼓の達人 Windows 版の準備
外部プログラムからキーやタッチ入力が可能なのは Android （エミュレータもしくは実機）か Windows になります。iOS 実機はおそらく無理です。
Android 実機への外部入力は、その部分の解説だけで大変な量になってしまうため、今回は Windows 版を使うことにしました。
https://taikotdmx.taiko-ch.net/
Windows 版太鼓の達人は GAME PASS というサブスクに対応しているらしく、キャンペーンを利用すれば初月１００円で遊べます。素晴らしいですね。早速契約しました。
一旦長くなったのでここで切ります。次回は (2) と (3) の検証（Java で発生させたキー入力が太鼓の達人側に反映されるか？）をやっていきたいと思います。
続きはこちら↓
この記事が気に入ったらサポートをしてみませんか？