AR音楽ライブ実験 in Zepp Haneda (TOKYO)の動画公開！ ～ mocopi×AR技術を使ったパフォーマンスの舞台裏～
ソニー広報のHTです。
スマートフォンと6点の小型センサーだけ簡易に全身の動きをトラッキングしてアバターを動かせるモバイルモーションキャプチャー『mocopi』。
発売以来、３Dアバターの表現を可能性を広げるツールとして多くの反響をいただいています。また、mocopiの公式アバターRAYNOSちゃんの公式Twitterや先週に新たに開設した公式Youtubeでは、mocopiを通じたコミュニケーションの輪を日々広げています。
≪AR音楽ライブ実験にmocopiを活用≫バーチャルとリアルを繋ぐ次世代のエンタテインメントを目指して
手軽にどこでもアバターを操れるmocopiで、プロのクリエイターの方々を支援すべく、事業開発チームは日々新たなソリューションの探索を進めています。今回はAR音楽ライブというバーチャルとリアルを繋ぐ新しいエンタテインメントにmocopiを活用した事例をご紹介します。
今月初旬に、ソニー・ミュージックエンタテインメント EdgeTechプロジェクト本部が主催するZeppホールの実証実験ライブに、mocopiの開発チームが参加。ソニーグループ間で連携した取組のひとつとして実施しました。
会場はZepp Haneda (TOKYO)。
実空間上にAR技術でバーチャル映像を重ね合わせることで、VSinger(バーチャルシンガー）があたかもZeppホールのステージに立ち、その場にいるかのように、多彩なアングルから複数のカメラで映し出されます。なお、リアルタイム配信（社内限定公開）にも同時に挑みました。
★本日3月24日、このARライブ実験の舞台裏動画を公開しました！👇👇
★実際のパフォーマンスのダイジェスト映像がこちら👇
このパフォーマンスを支援する仕組みの一部は以下のとおりです。
VSingerのトータルの表現を担うのは、モーションキャプチャーのデバイスであるmocopiや表情や手指のトラッキングツール、そしてこれらモーションデータを合成するソフトのバーチャルモーションキャプチャーです。
同時に、実空間にVSingerの映像を重ね合わせる演出（AR重畳）では、ステージを実際に撮影する複数のカメラの位置やアングルなどの各種情報を、編集ソフト上のVSingerを撮影する仮想カメラと同期させ、リアルとバーチャルの映像を合わせこんで、リアルタイムにレンダリングしています。
これにより、VSingerの姿が実際のカメラアングルに合わせて、自然に映し出されています。
ステージ空間を捉える実際のカメラの切替や各カメラのパンチルトズーム等操作には、ソニーミュージックが開発している省人化を実現する撮影・制作ソリューションが生かされています。また、ステージ空間の撮影には、ソニー業務用カムコーダーの6Kフルサイズセンサー搭載モデル『FX9』や昨年9月に発表したフルサイズセンサー搭載レンズ交換式PTZカメラ『FR7』など計4台を使用しています。
現段階で実用化は未定ですが、今後、リアルとバーチャルのパフォーマンスを融合したり、リアルとメタバース空間の会場とを行き来してみたりと、この先の音楽ライブの可能性について、色々想像してみたくなりますね！
mocopiは、カジュアルなセットアップでエンタテインメントのコンテンツ制作の現場でもクリエイターを支援するデバイスとして、今後もさらに提案を広げていきます。
今回mocopi事業開発チームとして参加したZeppホールでの実証実験ライブは、今後、ソニーとソニーミュージックとの共同の取組として、さらにプロジェクトを進めていきます。ぜひ、これからの展開に引き続きご注目ください！
【ご参考】mocopiを使ったプロのクリエイター制作向けの提案事例はこの他にも。CES2023では、プリビジュアライゼーション（映像制作をする前により簡単な方法でイメージを視覚化したもの）の活用についてソニーピクチャーズと連携して現地ブースで提案しました。３Dアニメの映像制作用途等を想定しています。
