バーチャル撮影システムとHoloLens演出の技術的なお話

HoloLens演出が実現するまでのお話はこちら。

この記事では技術目線で実現ための気づきを与える話をします。

表現したいことのゴール

一度動画の14:00あたりを見ることをお勧めします。

ポイントは

・身体とCG世界がインタラクティブに作用しているか
・三次元的な整合性が取れているか

の2点です。

実際の様子のスクリーンショットがこちら。

ハンドジェスチャーに応じて、Cubeが小さくなっています。

Cubeを奥に置くと、人間より奥側に描画されます。

これが

・身体とCG世界がインタラクティブに作用しているか
・三次元的な整合性が取れているか

になります。

使用技術を分解する

これらの現象を理解するためには、使用技術を分解して考える必要があります。

HoloLens表現のバーチャル撮影
= 3DCGリアルタイム合成技術 + HoloLens技術 + 位置合わせ

3DCGリアルタイム合成技術

3DCGリアルタイム合成技術では、グリーンバック背景に立つフィジカルな人間とCG空間をリアルタイムに合成します。

実際はこのようにグリーンバックのスタジオに立っています。

ここで基本的な合成絵を作っています。
こちらは、リアル人間 + CG空間の合成絵です。

実際のCG空間 (Unreal Engine) はこちら

画の作り方の順番としては以下のフローになります (ざっくり)。

実写映像 (グリーンバック)
↓
クロマキーによるキーイング (人の部分だけくりぬく)
↓
ProjectionCubeにキーイングした映像を貼り付ける
↓
CG空間 + ProjectionCubeの映像を出力する
↓
配信

ProjectionCubeについての説明はこちら。

シンプルに考えたい人は、CG空間内に実写映像のパネルを置いているイメージでOKです。ProjectionCubeなので、実際はパネルではなくCubeという感じです。

なので、前後関係は実写映像を投影しているProjectionCubeより前にあるCGコンテンツは、人間より前に描画されます。

これで
・三次元的な整合性が取れているか
の前後関係の謎は解けたでしょう。

あとは、
・身体とCG世界がインタラクティブに作用しているか
について説明します。

HoloLens技術 (手の操作)

HoloLens技術を説明する前に、HoloLens技術と合成技術の関連性を示しておきましょう。

この全体像からわかるように、HoloLens2とCG合成の間では、Cubeの座表情を送っているだけになります。
したがって、手でオブジェクト操作する演出はHoloLens単体の機能になります。

これはHoloLens 2の標準機能として備わっています。

手で直接操作 - Mixed Reality

このようにHoloLens視点からは白いCubeを手で操作できています。

他にも、今回HoloLensアプリには以下の機能を実装しました。

・手でオブジェクト操作
・OSC通信の送り先のIPアドレスの設定
・座標の基準点の調整機能

また、今回Unity製アプリからUnreal製システムに座標を送るため、座標軸の変換とスケール変更を行いました。

Unityは
・X：右/左
・Y：上/下
・Z：前/後
・単位：メートル (m)

Unrealは
・X：前/後
・Y：左/右
・Z：上/下
・単位：センチメートル (cm)

次のようなコードを書きました。

 public static class Vector3Extensions
 {
       public static Vector3 UnityToUE4Position(this Vector3 vector)
       {
           return new Vector3(vector.z, vector.x, vector.y) * 100f;
       }
       public static Vector3 UnityToUE4RotationEuler(this Vector3 Euler)
       {
           return new Vector3(-Euler.z, -Euler.x, Euler.y);
       }
       public static Vector3 UnityToUE4Scale(this Vector3 scale)
       {
           return new Vector3(scale.z, scale.x, scale.y);
       }
}

位置合わせ

今回3つの空間の位置合わせを行う必要がありました。

・物理空間
・CG空間
・HoloLens空間

これらの座標空間を合わせる必要があります。そのために原点と向きを合わせる必要があります。

物理空間↔CG空間の位置合わせ

こちらについては、CG空間の制作時点でスタジオのサイズに合わせて制作します。

また、カメラ座標とCG座標も光学式トラッキングで座標合わせしています。

物理空間↔HoloLens空間の位置合わせ

物理空間とCG空間に共通の原点と向きを定義しているので、それをHoloLens空間とで合わせます。

合わせ方はマーカーと直置き式がありますが、今回は直置き式を選択しました。

スライドではCG世界と書いてありますが、HoloLens世界が正しいですね。

HoloLens世界の原点と向きを再定義したので、Cube座標は原点 (基準点) からの相対座標をCG世界に送ります。

ここでぴったり合えば理想なのですが、現実には多少ずれが生じるので、Offset値を調整できるようにしました。

おまけ1 スライドから取り出す実装

プレゼン中の演出では、スライドからCubeを取り出す実装をしていました。

これは実は子供だましのような実現方法でした。

CubeがあるスライドからCubeが存在しないスライドを準備して切り替える瞬間に、スライドの後ろに配置したCubeを引っ張り出すという見せ方をしていました。

3次元空間なので、スライドの裏にCubeを隠すということができます。

おまけ2 登壇時のTシャツ

今回運営が、登壇者共通のTシャツとして、上記のTシャツを準備しました。

実はこのTシャツ、グリーンバック撮影仕様になっていまして、黒基調のTシャツになっています。

もちろんグリーンバックなので緑 (弊社のロゴカラー) が入ったTシャツは絶対NGですし、白基調も床の緑色を反射してしまうため、キーイングで透けてしまいます。キーイングするなら黒基調の服装がベスト、ということで共通Tシャツとして設計しました。