XRって？

こんにちはこんばんは　おはようございます。
久々の投稿です。
ここのところ、配信のコミュニティの機材更新や新しい技術へのチャレンジを見るばかりで、自分では何も発信しない状況でした。
「新しい機材が欲しいなぁ」「でも小遣い少ないしなぁ」「仕事も忙しいしなぁ」といった状況。
2月、松井さんのZOOMオフ会も、その前週までやってた「ProLight & ProVisual 2022」出展の後片付けで欠席。後からアーカイブを見ると、その会場で展示されていたXR技術が話題になっていました。

XR。。。２つの意味

いま、XRというと一般的には「仮想現実」を使用した映像表現の総称を指すことが多いです。以下の３つの○Rを総じて「xR（クロスリアリティ）」と言っています。
VR＝Virtual Reality（仮想現実）
AR=Augmented Reality（拡張現実）
MR=Mixed Reality（複合現実）

VRは「VRゴーグル」のような視聴機器を装着して、視聴者（という表現がいいのかわからないけど体験する人として）が仮想現実空間に没入する表現方法です。最近では「PlayStation VR2」の発表が目新しいですね。

ARは現実世界に仮想現実を重ね合わせて、実写に説明を付け加えたり、実際にはないオブジェクトをその場に存在させる表現方法です。最も知られているのはGoogleマップのストリートビューかもしれません。

MRは現実に仮想世界を“融合させる”ことができます。VR、ARの要素を多く含むのですが、例えば、CG空間上に存在させた実物の人間を、視聴者が自由視点であらゆる方向から観察したり、ディレクターが自由にカメラワークを行なってポストプロダクションでシーンを作り出すことができます。
私が扱っているIO industriesのカメラは、このMR撮影方法であるVolumetric Captureでの実績を多く持っており、今後の発展に期待がもたれている分野です。

Volumetric Capture

ソニーが作成したVolumetric Captureデモンストレーション
残念ながらソニーのスタジオはIO industriesカメラではないのですが（汗）

一方、今回ProLight & ProVisual 2022でご覧いただいた「XR」はエクステンデッドリアリティと言われているものの中の、狭義での手法を指す言葉です。基本時にはLEDのステージを使用し、ビデオサーバーから3DCG背景を映してその上で演者がパフォーマンスする、電機書き割りのようなものですが、撮影するカメラの位置座標をセンサーで割り出し、その情報をビデオサーバー上で演算することで、LEDからはみ出した場所にも3DCGを配置し、カメラの動きに合わせて描写することで現実以上の大空間を表現することができます。

演者の背景はLEDに映った3DCG映像であるため、グリーンバックでクロマキー処理の合成をするより、より自然な表現を行えることが特徴です。高精細なLEDパネルの発達とカメラ位置やズームセンサリング、リアルタイムに高速レンダリング表現を行うビデオサーバー技術が融合して作られた、これも一種の仮想現実です。

実は昨年より、このXRスタジオを都内某所に構築しており、私はその撮影・スイッチング・配信セクションを担当していました。
近日、運営が開始され、このスタジオを生かしたコンテンツが配信される予定です。公開されましたらまたご紹介します。