見出し画像

[絶賛開発中] VRライブサービスの様子を先出し紹介!

株式会社LATEGRA

こんにちは。XR Communication部のいとうです。
今回は年内サービスリリースに向けて絶賛開発中のVRライブサービスの様子をチラッとご紹介したいと思います。
今後XRライブ制作に携わってみたい方、弊社の業務に興味をお持ちの方の参考になれば幸いです。

自社紹介

改めましてにはなりますが、まずは簡単に得意領域の業務紹介をします。

LATEGRAはXRライブ制作を得意としております。
リアル会場でのARライブや会場含めてすべてバーチャル空間になっているVRライブなど、さまざまなXRライブを制作しています。

バーチャルライブというものがまだまだ一般認知されていない2017年からスタートし、気づけば6年目に突入したLATEGRAの強みとしては数々のハイクオリティライブを作ってきた、に尽きると思います。

あくまで個人的な視点ですが、最終的なルックへのこだわりを全フェーズで追求しているところが自社メンバーながら日々尊敬しています。

参照：LATEGRA WORKS VSingerLive2020

まず↑のように純粋にモデルだけでもすでにメチャメチャ良いんですが、

参照：LATEGRA WORKS VSingerLive2020

モーションキャプチャやリターゲットの調整等にも時間をかけて、1つ1つの動きでもキャラクターのリアルさや存在感を出しています。


参照：LATEGRA WORKS VSingerLive2020

さらに、AR空間演出やカメラトラッキングを駆使して現実とバーチャルをリアルタイムで融合させるので、もう「バーチャルなのに、そこに居るじゃん」なライブ体験になっているんじゃないかと思います。

LATEGRAのライブ制作については「LATEGRA的XR LIVEのつくり方」という記事で紹介していますのでそちらもご興味あれば見て下さい。

サービス概要紹介

そんなLATEGRAが現在開発中のVRサービスで目指すものはすごくシンプルで「みんなでLATEGRAクオリティのライブをバーチャル空間で体験する」を実現することです。

少し前の参考事例ですが、フォートナイトでDJマシュメロ氏がバーチャルライブをしていましたが、これをバーチャル空間で、XRデバイスを身につけて一人称で没入するイメージに近いです。

↑参照：Marshmello 公式youtube 動画


デモコンテンツの制作紹介

冒頭の「自社紹介」で書いたLATEGRAの得意領域をふんだんに活かしたライブのひとつに「Vsinger Live2020」という実績があります。

■Vsinger LIVE 2020 ダイジェスト映像
https://vimeo.com/455347119/9a41d5f2f7?share=copy

今回はこのARライブを没入型VRライブに変換してみた様子を紹介します。
中国のファンの皆さまからの評判も圧倒的に高かったライブをVRでみたらどれほど印象が変わるのかとても楽しみです。
それではVRライブの検証紹介スタート!

step.1 基盤開発

プロジェクトスタートした昨年ぐらいからパートナーさん含め多くのプロジェクトメンバーでVR基盤を開発しました。
詳細はまた別の機会に記事にしますが、紆余曲折・喧々諤々を経て最終的にスタンドアロン型ではなく、PC VRで入れるVR基盤が完成しました。
スタンドアロンを選ばなかった一番の理由としては、チューニングを頑張っても実現したい世界観のルックや演出を実現が難しそうだったことです。（XRデバイス、早く進化してくれ～）
ということで、ひとまず大きく下記2つを実現するMVP(Minimum Viable Product)基盤が用意できました。

  • PCとHMD（ひとまずMetaQuest2）をつないで、バーチャル空間に友達と入れる

    • 同じ空間にいる人とコミュニケーションがとれる

    • 空間内は自由に散策できる、もちろんサイリウムも振れる

    • OpenXR規格を意識してるので一応MetaQuest以外もいける

  • ライブ会場・ライブコンテンツをコントロールできる

    • 管理者アプリから開場やライブの再生停止がコントロールできる

    • バーチャル空間（会場）モデルは自由に差し替えることもできる

    • ライブ用の照明や配信カメラも入れられる

step.2 ライブコンテンツ調整

MVP基盤ができたので、検証コンテンツにてテストしてみます。
今までもサンプルデータで検証はしていましたが、デモとしてステークホルダーの方などに定常的に見せられるものも用意する必要があったため、これを機に作りました。
だいたい下記の順番で進めていきました。

  • コンテンツ選定

    1. →Vsinger Live2020からデモとしてわかりやすい演目を抜粋しました。

    2. バンド形式のもの、複数人がダンスしているもの、VRで演出が映えそうなものを選定。

  • キャラクター・モーション・音源の移設

    1. →レンダーパイプラインを変えたり変えなかったりと、ここでも色々ありましたがこの辺りの移設自体はわりとスムーズにいきました。

  • VR用ステージの用意

    1. →元のライブはリアル会場で開催されたため、バーチャル空間にVR用のステージを用意しました。

    2. キャラクターモーションや演出が映えるステージの形状にしたり、バックモニタとARモニタで流していた映像もせっかくなので複数個所で出せるようにすることで、視界の中の演出面積を増やしました。

  • 照明・電飾の打ち込み

    1. →ステージ形状が変わったこともあり、照明と電飾は一から打ち直してArt-Netで対応しました。

    2. VRということで、空中に筐体を設置したり空間を包み込む形にしたりと、360°を活かした照明配置と演出ができました。

Unityでの再生イメージ　空間を囲うように照明をダイナミックに配置しています

これでで概ねライブがVRで再生できるようになりました。

step.3 調整とブラッシュアップ

実機でのテストで細かい部分をいろいろと調整をしました。
細かくて長くなるのでここは割愛します。
（※note最下部で有料コンテンツとして一部内容を紹介します）

Unityでの再生イメージ　バックモニタとの見え方なども検証します

デモVRライブの移設完了

ということで、無事にARライブを没入型のVRライブに移設できました！
画像だと全く没入感が伝えられなくて歯がゆいですが一部のキャプチャご紹介します。


開演直後のスモークはVRだと臨場感マシマシ！
ステージに上がって近くで見ていきたいですね
バンドメンバーとの一体感が伝わってきます
ソロパートも順番に目の前に移動して見れます


目が合った時の存在感と感動！
空間演出もやっぱりVRの醍醐味

まだポストエフェクトやSSSが反映されていませんのでわりとパキっとしたルックになってますが、それでもやはりVRは没入感がダントツでいいですね。

今回はもともと配信用2Dライブだし、360°演出もないからVRにしたところでな～と思っていたんですが、やはりグラフィック…グラフィックは全てを解決する…!!という感じの圧巻さでポテンシャルを感じさせてもらいました。

少なくとも国内ではほぼ見ない「PC VRライブ」によるハイクオリティなライブをVRで実現できました。さらにメンバー複数人でお話ししながら周れるところもライブ感が高まっていますので、世界各地の人々が離れていても手を取り合うようなVRライブ開催を実現できればと思います。

閲覧にはハイスペックPCが必要となりますが、それに見合うだけのグラフィック・バーチャルライブをお届けできるサービスになりそうです！

イベントプロデュース、舞台・パーティクル演出、キャラクター・ステージデザインのモデリング、開発、Unityアーティストと、一通りのXRライブ制作メンバーが社内にいることで実現できたデモだったかと思います。
引き続き、最高のXRライブ体験の実現に向けていきますのでご期待ください！

おまけ（有料）

おまけで、今回のVRデモ制作に当たって苦戦したポイントを制作メンバーに聞いてみました。
少しだけ技術的な話も入るため有料とさせていただいていますが、もしよければ覗いてみてください。

ここから先は

1,328字 / 2画像

¥ 500

この記事が気に入ったらサポートをしてみませんか？