CCKと脳波デバイス「FocusCalm™」との連携実験（自宅でね）

clusterで公開してる自作ゲームと脳波計測デバイスの組み合わせ。 「FocusCalm」と「GoodBrainアプリ 実験用UDP通信」を使用しての夏休みの工作です・・・とはいえC#とか使っているのでサーバーへはアップできず、自宅での実験です。
※注意事項として自機の操作自体はキーボードで操作しています、後述する必殺技の発動が脳波に関連して起動するというものです。

9191はもともと義肢装具士であり（いまはのんびりとカミトコの運営などして全くそれらしくない生活をしてますが）メタバースで作品を色々と後悔してる時にいつもどこか頭の片隅に「VRってフルトラッキングも楽しいけど、これって五体満足が前提な遊びだよな…」とか思ってしまいます。まぁ、いつもそんなこと考えてるわけではないのですが、個人的にもっと別の没入感ってないのかな？とか思ううちに「意識（意思）のトラッキング」というキーワードが浮かぶようになってきました。

別にそれを研究テーマにできるほど頭は良くないんですが、今年からその問いへの答えを探しにデジタルハリウッドの大学院へ通い始めました。ちょうどタイミングよく、AIがまた一段と進化してプログラミングやその学習にも応用できるということで早速PythonやJavaScriptの講義を受けたりしてプログラミングをAIに丸投げ手伝ってもらう感覚もつかめたのと、ハコスコ様が脳波のUDP計測のトライアルを募集していたということもあって無謀にも挑戦しました。その間にカミトコの3周年イベントもあってキャパ声してしまいましたがとりあえずは完成させてみました。

※もともと9191はCCKやGrasshopperなどのGUIプログラミングは得意でしたが、コードを打ち込むガチなプログラミングは初挑戦です。

掲載の動画ではコンソールで脳波計から送られた集中（Attention）の値を表示しています。 動画のバトルゲーム中に、一定の集中の高い状態になると中央下の「Rush!!」のゲージが増加します。ここでは集中が50以上70未満の状態では１秒間に１づつ増加し、集中が非常に高い70以上になると1秒間に２増加する仕組みになっており。それぞれの状態で自機の周囲にパーティクルエフェクトが出現するような仕組みになっています。また、時期がダウンするとゲージはゼロに戻ります。 ゲージが満タンになると自機が光柱に包まれ追尾型のオールレンジミサイルが斉射され、敵機に向かって飛びます。 激しい戦いの最中に複雑なコマンド入力を要することなく、集中を高めることで必殺技が使用できるという仕組みにしています。

動画でも字幕で解説してますが簡単に動画の秒数に合わせて解説します。

0:51

開始直前からAttentionが50を超えているので、

ゲージの増加および自機に青く回転する模様のエフェクトが出現しはじめます。

0:55

Rush!!ゲージがチャージされて満タンに近づいたため、青白いスパークが発生。

0:59

開始と同時にゲージが解放され、光柱が上り必殺技エフェクトが発動。

ミサイルが斉射される。同時にRush!!のゲージはゼロになります。

1:07

Attentionが50を切っているのでゲージの増加が停止。

1:32

再びAttentionが50を超え始めエフェクトが発生、ゲージが増加。

1:41

自機のダウンによってRush!!ゲージがゼロに。

2:01

再び増加したRush!!ゲージによって必殺技が発動。

3:15

Attentionが70を超えたことにより自機にリング状のエフェクトが発生

ゲージの増加速度が上がります。

3:38

高いAttentionを維持した状態で勝利。

ざっくりとこんな感じです。
動画には続きもありますので是非見てみてください。

clusterの外部通信機能が発展するとこうやってオリジナルデバイスとの接続ができるようになって、やがて脳波や心拍など身体の動きだけでなく意思のようなものもトラッキングできるのではないかな？と思ってたのでとりあえずやってみました。