実写映像にキャラクターを合成する

はじめに

【カぶ旅#21】プリン食べに大分へ！ part1：姫島＆EVカー編 より、バスの前座席から顔を出すゆかりさんのシーンの作成方法を解説します。

After Effectsの機能であるロトブラシとトラッキングを使うことで手軽に実現できます。

素材

• 立ち絵

• 主観視点の動画

【素材】結月ゆかりさん立ち絵 by からいさん

環境

• Adobe After Effects

手順1：レイヤー分け(ロトブラシ)

最終的に手前の座席、人物、奥の景色の3つのレイヤーを使用します。
そのために映像から手前の座席のみのレイヤーを作り出します。

静止画ならPhotoshopで切り抜けばよいのですが、動画の全フレームを手動で切り抜くのは現実的ではありません。そこで先頭フレームのみ手動、残りは自動で切り抜きをしてくれるロトブラシという機能を使います。

After Effectsで新規コンポジションを作成、動画を配置します。
動画レイヤーを複製後、複製した動画レイヤーをダブルクリックして開き、ツールバーからロトブラシを選びます。

コンポジションではなくレイヤーそのものを開いていることに注意

残したい部分の輪郭をなぞります。
自動でオブジェクトを選択してくれますが、はみ出し・塗り残しがある場合は修正します。そのままドラッグで領域拡大、altを押しながらで消去ができます。

選択範囲を修正した状態

再生を行うと前後のフレームを自動解析し、映像にあわせて選択範囲が追従します。途中で外れてしまう場合は各フレームを手作業で修正するか、輪郭がくっきりするようにLumetriカラーで調整するなどしてください。

確認OKならフリーズを押して編集を確定します。

フリーズ完了

コンポジションに戻ると切り抜きが確認できる

tips
輪郭があやふやなもの(ピンボケ、被写体ブレ)や、途中で他の何かと重なる・隠れるような映像は苦手です。撮影時に注意しましょう。

手順2：タイムラインに配置

手順1で切り出した映像、キャラクター、オリジナル映像の順にレイヤーを重ねます。これにより座席の向こうにキャラクターがいるように見えます。

...どう見ても不自然ですね、車内の動きと立ち絵が連動して動くようにしましょう。

手順3：トラッキング

映像に同期してレイヤーを動かすにはトラッカーを使います。

背景映像を選択してトラッカーからトラックをクリック。レイヤーが開き「トラックポイント1」が出現します。

トラックポイント

トラックポイントを追従したい位置に移動します。キャラクターがいる場所に近いポイントとして、座席奥のシールをトラックすることにします。

トラッカーのメニューから▶(再生方向に分析)をクリックすると自動解析が始まります。ロトブラシと同じですね。

この状態では動きの解析をしただけなので、この動きを他のレイヤーの位置に適用します。
トラッカーの動きを適用するためのヌルを作成します。そのヌルにキャラクターのレイヤーをリンクします。直接キャラクターのレイヤーに適用してもよいのですが、途中で画像を差し替えたり(表情違いなど)、別の位置アニメーションをつける場合はヌルに分けておいたほうが便利です。

トラッカーメニューの「ターゲットを設定」から動かしたいレイヤー、先ほど作成したヌルを選択します。続いて「適用」でトラッカーの動きを位置に反映します。

ターゲットを設定

適用

ヌルのトランスフォーム-位置にトラッカーと同じ動きをするキーフレームがつきます。

これで映像の微細な振動とキャラクターの位置が一致した自然な映像になりました。

手順4：色補正

仕上げにイラストがより映像になじむように色補正をします。

エフェクトのLumetriカラーを適用します。今回はトーンカーブでハイライト側を下にシフトし全体的に暗く、また色被りを若干グリーンにシフトしました。

tips
よく弄るパラメータは「トーンカーブ」「色温度」「色かぶり」「コントラスト」です。
イラストは映像に比べると明るい&くっきりであることが多いです。それをトーンカーブで暗く、ややくすんだくらいにします。その状態からコントラストでメリハリを調整します(直射日光が当たるシーンならくっきりさせるなど)。
最後に色温度と色かぶりで色味を映像に合わせることで自然な印象になります。

以上で完成です。

参考

この記事の元動画です。

こちらでも同様の手法を使っています。