メタバースの研究開発をミュージックビデオで表現する
お久しぶりです！GREE VR Studio Laboratory（以下、ラボ）の中野友介（明治大学・4年／就活中！）です。
ラボではこの1年近くコードネーム「UXDev」という、次世代メタバースに向けた研究開発成果をショートフィルムを通した表現で伝えるプロジェクトに携わらせていただいております。
ちなみにこの手の研究開発を動画で発信する手法は、MetaやNVIDIAも非常に力を入れて取り組んでいます。特にNVIDIAは最先端の講演の中でも、楽曲とMVの融合技術を発表していました。
さて、我々のラボからも7月末にUXDevシリーズの新作動画『Meta Dreamers - UXDev by GREE VR Studio Laboratory - ツユハナビ ft.菜那』が公開されました。なかなかの大作になったので助監督から見た製作の裏側を過去のシリーズからパワーアップしたポイントを中心にご紹介します！
過去作のメイキングもぜひ合わせてご覧ください！
チーム紹介
各メンバーにお気に入りのシーンとともに自己紹介をしていただきました。
テーマ設定
前作の『”Back to Metaver-School” - a blooming future of Metaverse in REALITY』で登場した軽音部の4人がひと夏を描くというテーマで、方向性の違いによってぶつかりながら大会用のMVを撮影するという目標に向かって進んでいくというストーリーになりました。前半部は梅雨の鬱屈とした雰囲気に仕上げ、後半は楽曲の盛り上がりに合わせて夏を感じさせるような明るいイメージの画作りを意識しています。
また、パンデミック下で様々な制限の中での部活動を強いられている現役の中学生や高校生にメタバースを通して希望を届けたいという狙いがあります。
もちろんラボの研究開発としての意味合いもありますのでテクノロジー的にも数多くの見どころがあります。これはディレクター白井さんがいずれ公開していくと思います。
楽曲について
今作の楽曲『ツユハナビ』は前作から音楽監修としてご協力いただいている加茂フミヨシ先生にご紹介いただいた、シンガーソングライターの菜那さんに作詞・作曲をお願いしました。Unityで各カットの製作に入る前のストーリー設計の段階から作品のイメージをお伝えして歌詞を付けていただいたので映像と歌詞の親和性が取れたと思います。テーマ設定でも触れたとおり中高生の軽音楽部を強くイメージして製作しているため、カバーやオケ音源を使った「歌ってみた」に挑戦することができるようにライセンスの設定を行っています。練習用に各種パートのソロ音源もあります！
『ツユハナビ』は各種音楽配信サービスから聴くことができます！
見どころ・技術的挑戦
複数のアニメーションのブレンド
ライブシーンでは以下3つのアニメーションの融合に挑戦しました。
・モーションキャプチャーによる身体のアニメーション
・自動生成した演奏アニメーション
・カメラを使って撮影した顔の表情アニメーション
モーションキャプチャー収録
株式会社 クレッセントにご協力いただき、ライブシーンを中心にモーションキャプチャーを使用。パントマイム・アーティストの荒木シゲル先生と作曲者である菜那さん、音楽プロデューサーの加茂フミヨシさんに直接アドバイスを受けながら撮影を行いました。実際にバンド用の楽器を準備しています。これまで自分で1コマ1コマキーフレームを打ってアニメーションで動かしていたキャラクターですが、自分の体で演じるという体験はなかなかに新鮮です。普段インドア派な僕が数時間にわたってベースを持ちながら演技をしていたので撮影の翌日は筋肉痛で大変でした。バーチャルにもフィジカルが必要ですね(笑)
楽曲演奏の運指自動生成と「AI Fusion」の開発
実はモーションキャプチャーで軽音部の4人を演じているメンバーは、多少の経験はあれど「楽器が弾ける」というほどではありません。でもキャラクターには完璧に演奏させたい…そこで武政さんがメインで研究・開発を行った楽曲自動演奏技術が登場します。前回のブログでも紹介した通り、10ヵ月近くにわたって研究してきた成果がここで活かされました。
自動演奏は実は前作UXDevQ2～Q3でも実装されていたのですが、そのままでは正確なだけのロボットっぽい動きになってしまいます。今回はプロトタイプを作ってきた振り返りから、より自然な演奏動作を生成する「AI Fusion」という技術を開発しました。
まず自動生成によるアニメーションを手や腕に限定して部品化します。そしてそれ以外の動作をモーションキャプチャーのデータとブレンドすることでイキイキとしたリズム感を演出しつつ正確な演奏を実現していきます。Unity内では各パートのMIDIデータからどのタイミングでどの音（コード）が鳴っているのかのトリガー情報を得ることができます。例えば『ツユハナビ』ではギターであれば17種類、ベースであれば13種類のコードが登場します。登場する全てのコードの分類器とステートを作成し、タイミング情報をMIDIから与えてあげれば正確な演奏になります。コードそれぞれの手の形のアニメーションとコード間の移動は、理論上は全てのコード進行の組み合わせのアニメーションを作る必要がありますが、統計的に出現する回数の多いコードを優先して作るだけで有限の時間で製作できる…という手法になります。
詳しくは武政さんが論文を書いていますのでまたの機会に解説します。
表情のキャプチャー
前作までは表情はエモートによるアニメーションに加えて手作業で付けていましたが、今回は「前半の憂鬱な雰囲気から、後半にかけて、よりシンクロ度が上がったライブステージを表現する」という技術仕様がありました。そこで、スマホ版のREAILTYと互換のエンジンを利用して、細かな演技や歌唱時の細やかな変化を表現しています。iPhoneの内部カメラとLiDARデバイスを使うことで高速に表情アニメーションが収録できるパイプラインを構築しました。Unity上での実装はHumanoidおよびVRMでの実装に合わせてBlendShapesを利用して約60fpsで収録した52か所以上の特徴点をBlendShapeの各プリセットとしました。
（左：表情アニメーションなし 右：表情アニメーションあり）
エフェクトの強化
新しくラボの仲間に加わったフランス人留学生（ISART Digital/東京工科大学に留学中）の Alexandre Berthaultさんにエフェクト周りを担当してもらいました。Unity Visual Effect Graph（VFX Graph）を使った「弾いたベースの弦が光るエフェクト」や「みんなで合体ポータルエフェクト」、ラストのライブシーンの蛍のようなパーティクルやライティングなど見栄えの強化という面はもちろんのことUX（ユーザ体験）の開発としてメタバースでの楽器演奏はどう見せるべきかを考えて製作しました。
HMD版の並行開発
実は、この「Meta Dreamers」のリアルタイムアニメーションですが、Oculus Questで動作するPoC(Proof of Concept)版があります。株式会社GONBEEE-projectのごんびぃー(福田陸弥)さんのご協力で開発しております。
「ティザー動画とHMD版の並行開発」というと、ちょっと大変な感じに聞こえるかもしれませんが、実際には自動演奏システムの技術検証や3D空間内での指のアニメーションの検証、カメラやキャストの立ち位置などデータの最適化、UIの検証など「VRならでは」の検証は多く行えました。
ときどき他のメンバーがプレイヤーのことを見てくれたり、楽曲の演奏に対して正しい情報を表示したり…と新しいUXの研究成果が随所に実装されています。
そしてOne more thing, というころで、こちらにYouTubeで観れる360度動画によるラストライブのシーンを公開したいと思います。
＜360動画です！スマホやHMDで見てください＞
https://www.youtube.com/watch?v=274RyxmyjjQ
こちらは堀部さんによるUnityを使った360度動画のパイプライン構築です。また別の機会にブログ記事を書いてくれると思います。
ライブシーンは画作りと技術開発に多くの時間をかけて作っているのでHMDを被って視界いっぱいに観るのがおすすめです。オリジナル楽曲の『ツユハナビ』もとてもいい曲に仕上がっているのでぜひ沢山聴いてください…！
さいごに
UXDevシリーズでは「未来のUX」を探求するという目的で去年のクリスマスから約3か月に1本というペースでストーリー仕立ての動画を公開してきました。プリプロ開始から公開までかなり短い期間で多くのことをやらなければならない環境の中で、ラボ全体のUnityスキルと画作りのノウハウは大きく成長したはずです。いやギュン上がりです。また、僕自身は助監督として製作進行の管理からストーリー設計、レイアウト、アニメーションの編集など多くの経験を積むことができました（まだまだ修行中ではありますが…）！
REALITY株式会社 GREE VR Studio Laboratoryでは以上のように、技術も映像制作も両方やっています。ご興味がある方は[Web]やYouTube(https://j.mp/VRSYT)を観ていただけると嬉しいです。
また、インターンに興味を持ってくれた方はぜひこちら[インターン希望の方へ]から詳細をご確認ください！