習作「模型に棲むもの」　制作記録（カメラワークのある実写映像にどう3DCGを合成させるかについて）

VFXの練習として作った30秒ほどの超短編ホラー
・家の模型はblenderで作った3DCGモデル
・模型が置かれている場所は自室の実写映像

やる前に思ってたこと

1.ヘレディタリーのファーストショットのような模型の家にカメラが入っていくような表現をやってみたい

2.カメラワークがついた映像でいかにCG合成するかを技術検証したい

試行錯誤の過程

●まず、blenderのモーショントラックを使ってみた
最初はてきとうに撮った映像を使って、blenderのモーショントラック機能を試してみたが全くうまくいかなかった。
モーショントラック機能でカメラワーク割り出すには動画の最初から最後まで映る平面上のトラックポイントが必要なんだけど、この動画は奥方向に前進して平面がどんどん流れていくのでうまくトラックポイントがとれなかった。
blenderのモーショントラック使ってる人のチュートリアル動画色々見たけど、
・固定に近い手持ちの揺れ
・軽いパン
くらいでしか使ってるのが見つからなかったのでこの方法は一旦諦めた。
（もしかしたらもう少し細かい設定調べたら解決できる？）

●現実とCGで位置関係とサイズをきっちり合わせる作戦
モーショントラックがうまくいかずどうしようか悩んでいて、もうこれしかないと思った方法が現実の位置関係、サイズを測ってと3DCG内の座標やスケールを合わせるという超愚直なやり方。
「クレバーな方法を頭で考えながら愚直なやり方を身体で試せ」というセルフ格言に従い、めんどくせえなと思いながらも手を動かしてみた。

●実写撮影の工程
用意したものは、
・メジャー
・水平器
・方眼紙
・衝立
・カメラスライダー

スライダーだけ持ってるハードル高いけど元々持ってた。
他はホームセンターで安価に揃えた。

で、↓の感じにセッティング。

方眼紙を衝立に貼り付けてできるだけ地面と垂直になるようにセット
この方眼紙の範囲に最終的に上からCGで作った模型を合わせる。
スライダーとカメラの向きは水平器を使って地面ときっちり水平になるように調整しておく。

長さを測るのは、とりあえず赤矢印を引いたレンズと方眼紙の距離だけでOK
（83ｃｍだった）

でスライダーを目いっぱい移動させたときのレンズと方眼紙の距離とカメラの移動距離も測っておく。
（それぞれ16ｃｍ、67ｃｍだった）

で、位置関係を測れたら次は向きを合わせる。
長さと向きが決まれば空間上のベクトルが取れる的な話？高校数学をさっぱり忘れてしまったのを深く後悔

↓これが初期状態（レンズと方眼紙の距離が83ｃｍ離れていて、焦点距離は50mmで撮った画像）

3Dモデルを合成するときに左上のような座標系（仮に緑がX軸、赤がY軸、青がZ軸）で方眼紙の位置に模型を置きたいわけです。

カメラの移動する方向性はスライダーで1つの方向に限定されている。
なので、＜スライダーの向き＞と＜レンズと方眼紙の距離を測った向き＞をぴったり合わせることができれば、CGツール上でカメラワークをY軸方向に67ｃｍ移動とシンプルに表現できるはず…！！

では、その向きをどう合わせるか…
これがまた愚直なやり方ですが…

方眼紙の縦線、横線がデジカメのモニター上に表示できる補助線の中心線とぴったり重なる位置関係を維持するという作戦。
カメラワークの始点から終点までレンズの中心線が↑画像のように方眼紙が重なる向きになるようにスライダーの配置を調整する。

これはちょっと大変かつ完璧にはいかなかったけど、1ｃｍ方眼の枠内に収まる程度のズレなら合成過程で何とか誤魔化せる感じではあった。

これでカメラと方眼紙の位置関係＆スライダーの向きが決められたのでそれに従ってできるだけ、丁寧に撮影して実写撮影の工程はおしまい。

●編集＆合成の工程
撮った動画を確認したところ手ブレしまくっていたのでとりあえずAfterEffectsのワープスタビライザーというエフェクトを適用して映像を滑らかにする。（スライダー移動時のブレを補正してくれる機能です）

ここからいよいよblenderへの作業へ移行。

まず、模型のＣＧモデルのサイズ感を現実で配置していた方眼紙のサイズ感に合わせて（だいたい横幅が20ｃｍ）、原点あたりに置く。

次に、カメラをＹ方向に83ｃｍ離したところに配置。
要は現実の配置と全く同じ状況を作る。
これをカメラからの始点で下絵に合成させる動画を合わせて確認すると…

おお、いい感じだなあ
ただほんとにぴったりとはいかなかったのでカメラの方のＺ位置やＸ回転を調整した。
そして、

実写映像のカメラワークに合わせて、キーフレームを撃ちながらカメラのY軸だけ動かしていく（これまた愚直…）
このとき模型が方眼紙から不自然にズレたらカメラ位置や向きを微調整。

その調整を繰り返して完成！やったぜ！
（レンダリングは36時間かかりました…笑）

今後の課題

愚直にやればできることは分かったけど、もう少し楽をしたい…
カメラの移動のラインが直線、焦点距離は一定と分かっているなら、方眼紙のサイズと形の変化で自動的にカメラワークを算出するようなことってできないんだろうか…
本気で実写合成やるなら数学や光学を勉強しなければいけないなと思った。
また、やり方我流過ぎる気がするので、先人に賢いやり方学びたい。

あと、ヘレディタリーのファーストショットはどこまでCGなんだろう…
今回作ったのと違って、模型の家の中にカメラが入っていくのと合わせて模型の中で実際の人間が動く。
人は実写として、部屋はCG？？やってみて分かるプロの技術の分からなさであった…