配信VJにおいて、クロマキーで遠景/近景にVを合成している人向けの、「中景」のご提案(前編：解決すべき内容の確認編)

はじめに

こういうことができますし、やり方をお伝えする記事(主にこの後の記事で)です。
ただ、前提条件だけでそこそこのテキストになっちゃったので、この記事では今回やろうとしていることの難しいポイントを確認して終わります。

具体的な実装方法は後編を読んでください。
映像をご覧いただいて、ある程度採用した機能のイメージがわく人は後編だけでやれると思います。
この記事では主に既存のクロマキー合成での問題点、課題
後編ではこの合成のメリット、特徴もお伝えしていこうと思います

配信VJにおける遠景/人物/近景の考え

はじめに、この概念は僕が今回の説明のために勝手に言ってるだけのものなのでご容赦ください。
ただ、放送・配信の制作現場において利用されるM/E(M/K)と呼ばれる概念や、画像制作アプリケーションなどにおけるレイヤーなど、近い考え方は各所にあるかと思います。
簡単に図を作ってみたんですけど、下記のようなものです。

画像の編集・制作におけるレイヤーとある程度同じようなものであるとご理解いただけると思います。
この組み合わせにおける
遠景：ベース(一番下)となるソース(映像・画像)
人物：キーイングされる人物を含むカメラソース
近景：一番手前、最優先で表示されるソース
とこの記事では便宜的に呼ぶことにします

クロマキーという技術について

例えば、この映像(以下、参考動画)

僕の配信DJ/VJにおける映像へのイメージをぶち壊した作品なのですが、
こちらの映像では上記の画像のように背景の映像、DJのアリムラ氏、手前の映像、の3つのレイヤーで映像が構成されていることが見て取れます
(ちなみに、途中でアリムラ氏と機材がブラックアウトするところ、キー抜き去れた映像の色や明るさをどんどん落としても限度があるのでどうやったのか全く分かってない。いまだになんだこれ、ってなってます)

ただ、カメラの映像信号には不透明度、という概念がありません。
クロマキーとは名前の通り、特定の色(ないしそれに類する範囲)をキー信号(今回の場合は透明色)であるとして扱う仕組みです。
この緑という色とその他の人物や機材との色差を利用して、背景のグリーンバック背景が写っている個所のみを透明として取り扱ってるわけですね。

クロマキーの難しさ、また、できない(と僕が思っている)こと

ハリウッドも含め、昨今の合成においてほぼスタンダードともいえるグリーンバックとクロマキー合成ですが、弱点もあります。

１：背景と被写体が近い場合、光の回り込みが発生する
あまり意識されないことですが、緑色の物体は緑色の光を反射しています。
ので、ありがちなこととしてグリーンバックを使った人がうっすら緑色に見えたりします。特に輪郭のような部分が
２：キー信号が反転できない(ことが多い)
もっとも重要なところです。
映像編集系のソフトではできることもあるのですが、いわゆるスイッチャーなどでは実装されてないことが多い機能です。
今回の参考動画ではグリーン部分を透明にすることがそれにあたります。
僕の使用実績、およびマニュアルを確認した範囲では
・Newtek Tricasterシリーズ(TC1～mini)
・BlackMagicDesign ATEMシリーズ(8K～mini(含むtelevisionstudio))
・Panasonic HS-50
・Roland V-40HD
この辺ではクロマキーの反転はできないものと見受けられます。

今回の本題：クロマキーでは、人物を抜けても「中景」を作れない

今回の肝でもあるのですが、前項のキー反転ができないこともあり
クロマキーでは人物を映像の投影面に使えない(≒映像の「中景」にできないのです。
今回作ろうとしているこの動画ですが、

これは下記の動画の曲とMVが好きすぎて再現したくなったものです。

こちらのMVでは、人物のいる部分と背景の色を入れ替えることで、人物のシルエットを浮き上がらせていることがわかります。

今回僕はこの映像のために、

こんな感じで色を入れ替えた映像(左からA、B)を横並びで用意しました。

こういった映像が用意してあれば、
人物以外(≒遠景)の部分を再現させるにはグリーンバックと置き換える形で右側の映像を置けばいいです。
では、人物の映っている箇所を左側の映像と置き換える(中景とする)には？

今回は人の映っている範囲を領域として切り抜き、かつ映像をその中に映像を投影させる(フィルソースにする)必要があります。
繰り返しになりますが、クロマキーは特定の色範囲(特定範囲のグリーンや青など)しか透明化できません。しかも、切り抜いたとしても簡単には映像ソースを投影することはできないんですね。
(後編での説明になりますが、切り抜き用の情報と投影用の映像を別の映像ソースから取得する機能は外部キー(External Key)というものになります)
なお、仮にキー反転ができた場合は、
１：遠景映像に映像Bを置いてキーを反転したカメラソース(グリーンバック部分のみになるはずです)を配置し、この合成結果をグリーンバックで抜いてグリーンバックと人物部分に映像が合成されたフィル映像B'を作る
２：別の機材ないし配信アプリケーションで映像Aを背景とし、通常通りクロマキーで緑を抜いた映像B'を被せる
と作ることはできます。(説明だけで目が滑りますが)

これでクロマキー単独ではこの合成がちょっと難しいということが確認できたかと思います。

では人物の領域に映像に投影したい場合はどうするか
後編でご説明します。