ソニーの可搬型ボリュメトリックシステムを活用した空間演出で、リアルとバーチャルが融合！
ソニー広報部のHOです。
クリエイターと共創して、クリエイターが求める表現を実現するために、ソニーのR&Dチームは日々さまざまな取り組みを行っています。
今回は、テレビ局カメラオペレーターの視点とソニーの可搬型ボリュメトリックシステム技術を組み合わせた、新たな映像の見せ方を探求する共同実験の様子をライブ配信すると聞きつけて、6/23に行われたTBS Tech Design Lab主催の「Tech Design 2023」（会場：「Tech Design X」）のライブ配信現場にお邪魔しました！クリエイターがより魅力的な映像を制作できるように、ソニーがどのような技術を提供しているのかを紹介します。
ライブ配信では、ソニーの技術開発研究所の百田竹虎（ももた・たけとら）さんがシステムを紹介しました。背景は、ソニーの可搬型ボリュメトリックシステム技術でキャプチャーした出演者の映像と、TBSの美術スタッフが制作された3DCGの背景データをUnreal Engineで合成したリアルタイム映像です。
会場ではメインステージの横に、ボリュメトリックシステムの機材を設置し、キャプチャーする場と、メタバース上で再現された映像を同時に鑑賞することもできました。↓↓
尚、同日には、イベントを主催した TBS Tech Design Labが「Tech Design X」を拠点とし、共創を推進する「クリエイティブパートナー」の取り組みを発表しました。 ソニー株式会社もこの取り組みに参加します。
同研究チームは、 R&D (研究開発) とビジネス開発を一体で行なっています。R&D に留まらず、潜在的なお客さま、あるいは将来的なパートナーと 技術検証を行っています。
改めて、ソニーの可搬型ボリュメトリックシステムとは？
可搬型ボリュメトリックシステム（Portable Volumetric System）は、7つのセンサーを使って、ほぼリアルタイムで被写体の３D映像を作り、メタバース空間に表示するシステムです。このシステムは、人や物体、空間の３D映像を即座に作成・配信することができます。また、コンパクトな機材のため、使用する場所を選びません。ソニーが開発したこのシステムは、たった７つのセンサーを使って簡単にセットアップでき、将来的には主にライブ３D映像の配信などの現場で活用することを目指しています。
↑↑ 設営の様子もタイムラプスでお届けします！
↑↑ キャリブレーションの様子（Xperia 1 IVで撮影）
専門スタジオでのボリュメトリックキャプチャーの他に、”可搬式”という選択肢が増えた！
ソニーにはもう一つ、現在清澄白河BASEで使われているボリュメトリックキャプチャーソリューションがありますが、こちらは主に映画やミュージックビデオ用途の2D映像制作に使われています。
一方で、「今回のシステムは、上記のようなハイエンドのシステムとは対極に位置し、相補関係にある」と、開発を担当した技術開発研究所の田中健司（たなか・けんじ）さんは説明します。
可搬型ボリュメトリックシステムは、リアルタイム性が重視される用途で、簡単にかつ一定の映像クオリティで3D映像を再現することができます。7台のセンサーで構成され、セットアップにかかる時間は校正も含めて1時間以内と、簡単にボリュメトリックキャプチャを実現することができます。さまざまなクリエイターやプロダクションの方々に活用しやすく、ライブ3D映像配信や仮想空間上のコミュニティでのファンとの交流にも活用できます。
欧州サッカーチーム「マンチェスターシティ」とのコラボレーション（新しいファンエンゲージメント）
同研究チームは 、2022年10月にソニーと英プロサッカーの強豪、Manchester City Football Club（マンチェスター・シティFC）とのメタバース上のコミュティでのバーチャルファンエンジメントに向けた取り組みにも参加しています。
この時は、可搬型ボリュメトリックシステムを持ち込み、3人の選手をキャプチャしました。これをさらにライブにして、今年のCESのソニーブースでも紹介しました↓↓
メタバースへの関心が高まる中、CGだけではなく、実写を用いたコンテンツ制作へのニーズや期待も高まります。
今後もソニーが取り組むクリエイションを支える研究開発にぜひご注目ください！
