脳波でNFT

先日、MXTVの番組DeepTVの収録に行ってきました。

9月16日(金)23:30~24:00 東京 MXTV
YouTubeでも配信されるそうです。
私は脳波をNFTに変えるアーティストとして参加させていただきました。

脳波のNFT化は、もともと
サイバー南無南無で実験的に行っていましたが
発表したのは、脳波ではなく心拍を使用しました。
その時の様子はこちらからご覧ください。

今回の「脳波をNFTにする」について、
５個に纏めました。
どなたにも読んでいただけるように、専門用語は極力使わないようにしています。
最後まで楽しんでいただけると光栄です。

１，今回のオーダー内容と条件
２，使用した機材・ソフトや素材など
３，難しかったところ
４，完成した映像と想定外の現象
５，終えてみての感想

１，今回のオーダー内容と条件

今回のオーダーは
ただ歩くだけでお金が得られるゲームのように、ただ脳波測定ディバイスをつけるだけでNFTアートが作れるようにしたい
との事でした。

条件としては
・２分間のダンスと演武を２名の人が３回行う
・ゲーム要素が欲しい
・音楽に合わせて出演者の2名は少林寺拳法とバレーをする

２，今回使用した機材・ソフトや素材

使用した機材
・うちの爆速ＰＣ（12900KS×rtx3090）
・脳波測定ディバイス muse ２台

・iPhone　２台（脳波測定ディバイスの数値を読み取るため）
・Wi-Fiルーター（これは、iPhoneとPCをつなげるため）
・プレステ用コントローラー（これはVR内を自由に飛ぶため）

使用したソフト・アプリ
・空間演出のためのソフト＝TouchDesigner
・museのデータをPCに送ってくれるiPhoneアプリ＝Mind Monitor

使用した曲・素材
・PLATEAU（国土交通省が提供している３Dデータ）
・佐藤亮爾さんの楽曲　今回の放送のために３曲アレンジしてくださいました。
・冨金原さんが改造したキャラクター　
少林寺拳法の演武とバレーのダンサーさんが出演されるとのことで
QPK9クン（番組のキャラクター）がそれらをしているように冨金原さんに動きをつけてもらいました。

３、一番難しかったところ

脳波を使ってゲーム感のある演出にする事でした。
museで取得できる脳波はアルファ波・ベータ波・シータ派・ガンマ波・デルタ波の５つと、頭の動きの加速度センサーです。
museは手軽に使えるセンサーではありますが、医療機関の様に正確な数値を図るものではないですし、
脳波の種類に優劣をつけることに関して自分自身は勉強不足だったので
優劣感はないけれど、ゲーム感のある演出を２種類考えました。

①脳波によって色や動きが変わる渦巻の演出
５種類の脳波それぞれ、イメージの近い色を決めて、出演者の方の脳波に合わせて、渦巻が変わるようにしました。
また、渦巻の動きは脳波の強さと頭の加速度によって、バラバラになったりまとまったりするようになっています。
イメージしたのは、ドラゴンボールのスーパーサイヤ人です。
ピンチになって、黄色い気を体の周りに出す孫悟空。
その孫悟空のように、キャラクターの周りをキラキラした光が覆ってくれると、出演者がパワーアップしている感じがして面白いですし、
色で脳波を表現しやすいと思い、ＶＲの中に入れました。

②シンクロする事で現れるレーザーやお花畑の演出
ゲーム的な要素としては、競争もありますが、協力もあるのでは？と考え
出演者のお二人の脳波がシンクロした時にレーザーが出たり、お花畑になったりするようにしていました。
アクティブな状態でのシンクロではレーザーで
リラックスした状態でのシンクロはお花畑です。
実際、なんどもお花畑が出てきて、きらびやかなVR空間になったのではないかと思います。

４、完成した映像と予想外の現象

完成した映像はこちら（脳波はテスト用の物を使用しており、当日の映像とは異なります。）

収録終了後に、スタッフの方々にも脳波で演出効果を出す体験をしていただいたり、盛り上がりました。
また、脳波をもとに生成したNＦＴアートはこちらになります。
（こちらもサンプル画像で実際に測定して作ったものとは異なります。）

収録中の予想外な出来事なのですが、
少林寺拳法をされていた安田さんの脳波がずっとデルタ波優勢になっていたことです。
どの脳波が優勢か？によって渦巻の色がわかるようにしていたので、アバターから出ている渦巻はずーっと同じ色です。
確認用のモニターでは、すべての脳波の数値が動いていたので、システムとしては機能していたのですがｗ
表示上は変化のない状態でした。
３つの演目の間に休憩がなかった上に、激しい動きで呼吸が荒くなっていたので、
落ちついた演出中も落ち着かなかったのでしょう。

次回に同じ事があれば、細かい数字まで出してちゃんと動いていることを映像化したり、
落ち着いた演目からやってもらうことで、対処できればと思います。

５，演出を終えてみての感想

今回は技術者としてではなく、アーティストとして参加させていだきました。
大学で彫刻を専攻していた私としては、アーティストと呼ばれる地上波に出して
いただけるのはとても光栄な事でした。
今回、私にオファーをくださった伊藤博文様
スタジオ見学を快く承諾してくださった伊藤格様
関係者の皆様
共演者の安田様　光希様
そして、楽曲提供・技術提供・お手伝いをしてくださった、佐藤様・冨金原様・中村様
まことにありがとうございました。

今後も、時空とココロをテクノロジーアートで繋ぐを目標に様々なコンテンツ制作を行いたいと思います。

お問い合わせはこちら

info@imgee.tokyo

写真提供　中村優斗さん