ドット絵のアニメーション×実写映像の試験的作品のメイキング
この記事は、ドット絵に関する記事をみんなで書いて、12月1日からクリスマスの25日まで毎日公開する、ドット絵Advent Calendar 2022 最終日の記事になります。
昨年に引き続き、今年もたくさんのご参加ありがとうございました！！全部読んでます！！
面白い記事たくさんあるので、気になったものは是非読んでみてください。
はじめに
みなさんこんにちは！初めましての方は初めまして。Muscatです🍇。
本記事はスマホで撮影した実写映像に、ドット絵のアニメーションを合成した作品のメイキングとなっております。
紅葉
— Muscat (@muscat_dot) December 12, 2022
実写×ドット絵アニメーション#pixelart #ドット絵 pic.twitter.com/IY7StojREw
こんな感じの作品を、この記事を読めば作れるようになります。
私自身、実写映像にアニメーションを合成するのは今回が初めての試みで、3DCGなどの知識は必要ない簡単な方法で作りました！なので初心者の方でも真似しやすい方法だと思います。是非試してみてください。
少し長い記事ですが、流し読みでもいいので読んでもらえると嬉しいです！クリスマスに予定ない君たちにはちょうどいい暇つぶしでしょ？？😃
使用機材とソフト
・iPhone
合成元となる実写動画の撮影はiPhone13標準カメラで1080p/30fpsの設定で撮影しました。
・Adobe Photoshop
ドット絵の制作とその準備にはPhotoshopを使用しました。Photoshopでドット絵を描く際は色の管理が大変ですが、できることが多いのでおすすめ。
・Aseprite
Photoshopはアニメーションの制作にはあまり向いていないので、アニメーション作業にはAsepriteを使います。
・Adobe AfterEffects
制作した素材を合成して、特殊効果を追加、全体の色味や明るさを整える作業をAfterEffectsで行いました。
以上のツールで制作しました。最後の工程はしっかり映像編集ですので、そこそこのPCの性能が要求されます。4Kや8K動画を使用するのであれば尚更。その点に関してここで詳しくは書きませんが、私の環境だとかなりギリギリでした。ギリギリアウトぐらい。参考に私の作業環境を書いておきますので、私と同じような環境で挑戦する方は、処理速度と戦う覚悟を持って挑んでください。
CPU Intel(R) Core(TM) i5-10400 CPU 6コア 2.90 GHz
メモリ 16.0 GB
グラフィックボード GeForce GTX 1660 SUPER 6GB
ストレージ 512GB SSD
背景動画の撮影
まずはじめに、合成元となる背景の動画を撮影します。ドット絵のキャラを合成することを想定して、「ここに人がいたら映えるだろうな～」というような場所を選びました。
背景に動きが欲しかったので、40秒ほど撮影した動画内で、強く風が吹いた部分を10秒ほど切り出して使いました。
あとは、カメラワークに自然な目線のような感じを残したかったので、あえて手ブレは補正せずに残しました。
アニメーション素材制作
制作の下準備
撮影した映像をパソコンに取り込んだら、次は合成用の素材、つまりドット絵キャラクターの制作をするので、まずはそのための準備をします。
私が普段ドット絵を制作する際は下書きからいきなりドット絵で始めますが、今回は少し特殊なパターンなのでまずは背景に合わせたイメージを掴むために動画の1フレーム目を切り出して、そこにPhotoshopで下書きをしました。
ディティールはドット絵にする際に描き込むので、ここでは頭身やポーズや遠近感が把握できればOKです。動かした際に違和感が出ないように、アニメーション後のポーズもここで描いて確認しておきます。
背景とのバランスを考えて、キャラクターを描く際に使う色のイメージも、ここで決めてしまいました。細かい色味の調整は後で合成する際に行うので、なんとなく使いたい色をパーツごとに大雑把に決めておきます。
ドット絵制作
引き続きPhotoshopを使って、新規キャンバスを作成しドット絵を描いていきます。今回キャンバスサイズは100px ✕ 170pxで制作しました。
キャラクター絵の場合、キャンバスサイズはキャラクターの"目"を基準に決めることが多いです。
今回はキャラクターの全身を描くので、動かすコストも考えて、上の絵ぐらいのサイズ感にしようかな～と言った形で決定しました。キャンバスに先程の下書きを設置します。
配置した下書きに沿って描き進めていきます。自分のドット絵は主線がないドット絵なので、線画を描かずに決めた色でベタベタと形を取っていきます。
後のアニメーション作業を楽にするために、体の各パーツをレイヤー分けしておきます。
服装はWEARというアプリを見て、いいな～と思ったアイテムを組み合わせたり、コーデそのまま使ったりしています。今回はオーバーサイズのニットとロングブーツを組み合わせた服装にしました。
全体像が見えてきたので形を整えながら細部も少しずつ書いていきます。腕や裾や顔を整えました。
顔を書いているときが一番楽しいので顔だけは先にめちゃくちゃ書き込んでいます。「いきなり細かな部分から書き始めるとダメ」とさいとうなおき先生が言っていたので真似しないほうがいいかもしれません。でもキャンバスに可愛い顔があるとテンション上がるから…
それと髪の毛を描くのが苦手なのであとに回していますが、普通に先に描いたほうがいいと思います。
髪の毛とブーツを描いて、ポーズ1が完成しました。
続いてもう一つのポーズに移ります。動きの少ない脚などはほぼコピペでいいので、顔と上半身を描いていきます。
体と頭は先程のようにベタベタと形を描いていきます。腕の部分はパペットワープを使ったりしています。ポーズ的に変形後も大きく修正する必要がありますが、こういう事ができるのはPhotoshopのいいところ。
（こういう機能を使う場合は環境設定で画像補間方式を「ニアレストネイバー」にするのをお忘れなく）
こうしてベースとなる2つのポーズが完成しました。
画面上部のメニューバーから、[ファイル]→[書き出し]→[レイヤーからファイルを書き出し]を選べばレイヤーごとに分かれた透過素材を出力できます。レイヤーごとにトリミングする設定を切っておくと統合しやすいです。
アニメーション付け
書き出した素材をAsepriteに持っていき、ひとつの作業ファイルに統合します。
まずは、動きの目安の大ラフを描いていきます。あくまで目安なので、単純な図形や線を用いて描きます。パーツごとにレイヤーを分けているので、分けたそれぞれのパーツがどのように動くかわかるようにしておきます。
描いたラフに沿ってパーツごとにアニメーションさせていきます。主線がないドット絵ならではの工程として、先にも述べたパペットワープのように選択範囲の変形をよく使います。
アニメーションの作業は単純作業が多くあまり話せることがないのですが、自分は緩急をつけすぎるぐらいが好みなので、かなり意識して緩急をつけています。逆に安っぽく見えることもあるので、そこが現状の課題です。コマ数が少なくてもきれいに見えるアニメーションが描きたい…
という感じで、非常に地味で単純な作業が続きますが、自分の書いた絵が動くのはとっても楽しいです。
完成したアニメは透過GIFとして書き出します。サイズは大きめにしておくと調整が楽です。今回は600%で書き出しました。
素材の合成と調整
基本設定
素材の準備ができたので、それらを合わせる工程に進みます。ここからはAfterEffectsを使用します。
新規コンポジションを作成して、幅1080px高さ1920px、フレームレートは29.97、デュレーションはドット絵のアニメ素材の尺に合わせて0;00;9;10にします。コンポジションを作成したら準備した素材をすべて読み込みます。
トラッキング
読み込んだ素材を配置してサイズを調整します。今回は90%ぐらいに縮小しました。（この時点でピクセルパーフェクトが崩れているので、ドット絵警察がいたら間違いなく逮捕されます🧑✈️）
ここで動画を再生してみるとこんな感じです。
このように、カメラワークに素材があっていないので浮いてしまっています。この問題を解決するために、トラッキングという処理を行います。
トラッキングとは、ある対象を追跡して、その動きを記録する処理のことです。イメージとしてはこんな感じ。
今回は画面内の止まっているものの動きを追跡することでカメラのブレを記録していきます。
画面上部[ウィンドウ]→[トラッカー]を選択してトラッカーパネルを表示させます。背景動画を選択して、トラッカーパネルの[トラック]をクリックします。
トラックポイントという2つの枠が出てくるのでその枠を追跡したい対象の位置に合わせます。中枠は追従する要素の領域、外枠は追従したい要素の移動を検索する領域です。
トラッキングは、明度情報を参照して追跡をするので、追跡対象は周辺と比べてコントラストが高いものが理想です。（モーショントラッキング用のマーカーは真っ黒だったり真っ白なことが多いです ）今回は柵の下に落ちていた白い小石が影とのコントラストが高かったのでこれらをトラッキングしました。
また、トラックポイントを2つ設定したのは、位置の移動だけでなくカメラの回転を計算するためです。トラックパネルの回転のチェックボックスを押すと自動的にトラックポイントが2つ出てきます。このような場合、追跡する2点は離れている方がうまくいきやすいです。
トラックポイントを指定したら、トラックパネルの▶を押してトラッキングを開始します。記録が終わったら、新規ヌルオブジェクトを作成して、トラックパネルの[ターゲットを指定]でヌルオブジェクトを選択して適用を押します。こうすることで記録して計算したデータがヌルオブジェクトに適用されました。
先程配置した素材の[親とリンク]の設定をヌルオブジェクトに変更すれば、素材がカメラに合わせて移動してくれます。
素材を背景になじませる
仕上げとして、素材の色味や明るさを調整したり、全体に効果をかけて色調を補正したりして、背景と素材を調和させていきます。
すでに記事が長くなってしまっているため、ここはある程度省略して書いていきます。
まずは素材に対して調整をします。
背景と素材をなじませる際に非常に有効な方法として、素材に対して「"背景全体の平均値"の色を乗せる」という方法があります。
Photoshopで背景動画の1コマを開き、[フィルタ]→[ぼかし]→[平均]を選ぶことで、"画像全体の平均値"の色を作れます。こうして作った色をソフトライトや乗算で素材に乗せると背景に馴染みます。
（AfterEffectsで素材だけに色を乗せたりする、クリッピングマスクのような設定は、素材を複製してトラックマットに設定することで可能になります。）
今回はその他に、[トーンカーブ]や[グレイン(マッチ)]のエフェクトを足したり、光の向きを意識して左からぼんやりと色を乗せたりしました。
素材に対しての調整が終わったら、新規調整レイヤーを一番上に作成して、エフェクトを適用して全体的な調整をします。
今回は[CC Vignette]、[カラーバランス]、[トーンカーブ]などのエフェクトを追加しました。カラーバランスでは少し非現実的な空気の色を意識して調整しました。
さらに素材のリアリティを上げるために、影を追加します。
このように柵と地面に落ちる影の形に合わせたパスを作成して、エフェクト[高速ボックスブラー]でぼかして、素材の後ろに乗算で配置します。
その他特殊効果等を追加する
最後に、特殊効果を追加します。
新規コンポジションを作成し、フレームレート・デュレーションは同じで幅180×高さ320に設定します。
新規平面を作成したら、エフェクト[CC Particle World]を使って光の粒を散らします。いい感じになるまで数値を色々いじります。正直このエフェクト使いにくいので、パーティクル系の有料プラグインを買おうか検討中。
上向きに重力がかかったものと下向きにかかったもの2つを合わせて重ねています。できたものをエフェクト[コロラマ]で減色してドット絵感を出しています。
完成したパーティクルのコンポジションのスケールを6倍して元のコンポジションにオーバーレイで配置します。遠近感を出すためにエフェクト[コーナーピン]で画面右側が大きくなるように変形します。
最後の最後！動画の冒頭だけピンボケ感を出すために、一番上に調整レイヤーを作成し、全体にカメラレンズブラーをかけて完成です！改めてご覧ください…
紅葉
— Muscat (@muscat_dot) December 12, 2022
実写×ドット絵アニメーション#pixelart #ドット絵 pic.twitter.com/IY7StojREw
↑高画質版Youtube
おわりに
非常に長くなりましたが最後まで読んでいただきありがとうございました！
ドット絵を実写映像に合成するという、奇天烈で需要のなさそうなメイキングですが、こういう記事は誰か一人だけでも読んでくれれば嬉しいものです。あなたのことですよ。ﾁｭ😘
当時はアニメも映像編集もなんもわからん！でしたが、改めて表現したいことを昔より高い精度で表現できているというのは成長を感じて嬉しかったです。まだまだですけどね。ほんとに。
昨今話題のAIがどれだけ絵を上手くかけるようになっても、この喜びと楽しさが代替されることはなさそうだなと思いました。やりたいことはまだたくさんあります。これからも成長しつづけたいな。
おしまい。
この記事が気に入ったらサポートをしてみませんか？