夏色パイセンを現実世界に召喚する方法論Ⅰ（静止画編）

Watashi

2022年12月1日 00:08

前書き

本NoteはSynthVとかTOKYO6とかAdvent Calender2022にあたって書いた記事です！！！！！！

①本記事のねらい及び達成目標

・MMDモデルを実写映像や静止画と合成すること(以降写実合成と呼称する)であたかも現実世界にキャラクターが居るように錯覚する映像を作る事ができる。
・現時点で私の持つ知見を共有しさらなる技術発展につなげる。

事前に私が以前制作した動画を一度視聴していただければありがたい。

やっていこう。

②必要なもの

・MikuMikuDance(最重要ツール)
・Adobe Photoshop(最重要ツール)
・Adobe AfterEffects(代用可能)

以上

③実際の流れ

まず完成品を静止画にしたいか動画にしたいかを決める。
前者であれば慣れれば5分ほどでできる。後者に関してはカメラに動きがついているかで難易度が変わる。ちなみに動画に対して合成することをマッチムーブという。今回は前者について簡単に説明していく。

静止画写実合成の作り方

まずは全体のレイヤー構成をお見せする。

流れとしては

モデルを違和感の無いように写真に配置
接地面(影)の処理(最も大事)
色トレス
全体のカラコレ
ゴリゴリに加工する

といった感じだ。やっていこう。

今回の完成品。P.A.WORKS.のような絵創りを目指す。
具体的には「色づく世界の明日から」や「凪のあすから」のようにしていきたい。
ストーリーもさることながら、光の表現が得に素晴らしいのでぜひ一度視聴していただきたい。

1.モデルを違和感の無いように写真に配置

風景写真を用意する。実際に現地に赴いて夏色パイセンの幻影が視えた場所を撮影する。

この写真に加工を施していきます。イメージとしてはこの街を離れるために電車を待つパイセンだ。打ち上げ花火上から見るか下から見るか的な。

MMDでモデルを出力する。静止画をFullHDの動画素材として使用することを想定するとサイズは大きければ大きい方がよいだろう。私はいつも4Kで出力しる。

2.接地面(影)の処理

ここが写実合成の肝となる。

この処理をしないと地面と接地している感が十分に得られない。
ものすごく浮遊している感、雑コラになってしまう。

雰囲気でペンツールを用いて影を描いていく。
反転+黒化したMMD画像を置くのも方法も試しましたが書いた方が手早いく自然な感じになる。他にいい方法あったら教えて欲しい。
太陽が南中高度にある事を想定するならば足元影だけで済むので楽だ。
撮影した写真に映り込んでいるオブジェクトから、太陽の位置を想像して角度や濃度を調整していく。

体の凹凸に合わせて影を描きこんでいく。手前のミラーの支柱の角度や撮影した時の時間からパイセンの正面から光が当たっていると考えられる。なのでパイセンの背側や下乳に影ができるはずだ。
MMD側で光源の位置を弄ってから出力する方法もあるが面倒なので基本セルフシャドウを切ってから出力している。面倒なので。

3.色トレス

この工程の必要性は自分が作りたい画像の方向性にもよる。
色トレスについては各自調べていただきたい。
ざっくり説明すると風景と輪郭線の色合いを合わせてあげる作業だ。
MMDのデフォルトの輪郭線は黒っぽく、そのまま写真に配置してしまうと色が馴染まず違和感を生み出してしまう。
また、写真をよく観察すると分かるが、現実世界には輪郭線はほとんどみえない。光が当たる事による陰影でオブジェクトの輪郭があたかもあるように見えている(とおもわれる。知らんけど)。
そこにくっきりとした輪郭線を持つ2Dのイラストを配置すると違和感が生まれてしまうので、色トレスを施すことによってその境界線を曖昧にすることができる(と思っている)はず。

Psファイル間違えてレイヤー結合していたので別写真を載せてます↓