AIと3Dを利用したアニメ制作 統一性のある背景を様々なアングルから生成
こんにちは。一般クリエイターです。前回からlineart(AI着色)を利用したイラスト製作を色々と試していましたが、lineartを使用することでかなり細部に渡って生成物の形状を制御できることが分かってきました。3D背景と併用することで、統一性のある背景を様々なアングルから描写することができます。これによって「AIが生成する背景は描写毎に形が変わってしまうので、同一室内の複数カットを作成できない」という問題がある程度解決されてしまいました。されてしまいましたよ！ある程度！
なので今回は3D背景モデルを使用して３カットほどシーンを生成させて何かアニメっぽいやつ作りたいと思います。作業手順はだいぶ複雑になりますので、「AIを活かしてなんか作品作りてえな～」と思ってる人向けの内容となっております。AI着色を使用したイラスト作成に関しては前回記事を参照してください。
まずは今回のアニメの舞台となるコインランドリーを用意します。
背景用素材にする為に、blenderで画像とfreestyle線をレンダリングしておきます。
背景を作り込んでいくのはまだ後なので、一旦キャラクターの生成をします。とりあえず椅子に誰か座らせたいですね。AIに人物生成させるためのアプローチはいくつかありますが、今回は３次元的に正しく座らせたいので、3D内に人物モデルを配置して、そこからopneposeを取得します。
img2imgとopenposeを使用してキャラクターのイラストを生成させます。img2imgには3Dレンダリング画像を使用。
キャラが生成されました。背景用の線画は利用していないので、背景の洗濯機はグッチャグチャになっていますね。このキャラ生成の工程もMMDか何か使えば一貫性のあるキャラを描写できそうですが、面倒なので今回はやめときます。
次に生成画像からlineart線を取得します。
なかなか良い線が描かれています。しかし細部がグネグネしたAI画像からの取得なので修正の必要はあります。背景線は全部消しゴムかけて、キャラ線を良い感じに修正していきましょう。
これまでの「AI画像の修正」は色調のムラが出ないように細部をチマチマ上塗りしていくものでしたが、lineart線を弄って再生成させる方がムラなく高速で細部修正作業を行えます。モノクロの線を描き直すだけですからね。
上塗り修正をやった過去の記事ではAI画像修正に５時間３０分かかりましたが、lineart線を直して再生成する方法なら恐らく小１時間でいけると思います。進歩したもんじゃ…。
はい、キャラ線画修正できました。今度はこれを、先ほどblenderでレンダリングしておいた3Dモデルのfreestyle線に合成します。カラーのAI絵の女の子も切り取ってレンダリング画像に貼り付けます。
img2img用の色調ベース画像とlineart用の線画です。これでAI着色させる為に必要なものは揃いました。
lineart線を使用する際の注意ですが、「黒地に白線」のものをAIに読ませ、Preprocessorはnoneにして下さい。Preprocessorを設定していると「AIが線画から線画を取得」してしまい、手描き線よりも輪郭がボケてしまいます。（※「白線に黒地」の場合はPreprocessorは「invert（from white bg & black line）」）
AI着色しました。着色時のDenoise Strengthは0.6くらい。lineartのAI着色ではDS値が高くても線画に従って着色されるので細部形状の変化はありませんが、あまりDS値が高いと色調が変わり過ぎてしまうので、今回はこのくらいにしておきます。
後は仕上げに色調弄ったり全体にグラデーションかけたりキャラに線画を薄く載せて輪郭をハッキリさせたり、ポスターは形状変化しちゃってるんで3Dレンダリング内容そのまま張り付けたりして調整！
カット１完了。全体所要時間はなんだかんだで２時間。良い感じなのだ。キャラクターが１人で立ってる感じのは１時間半くらいで作れますが、人数が多かったり今回みたいにやたら横長だったりすると生成や調整に手間がかかって２～４時間かかってしまいますね。
ではカット２も作っていきましょう。
背景用素材の用意。先ほどはblenderにレンダリングさせたfreestyle線をそのまま使いましたが、今度は3Dレンダリング画像をAIに読ませて、lineart線を取得させてみました。このように洗濯機やポスターの文字の輪郭なども取得されますので、freestyle線と合成して使えばAI着色の際により詳細な形状が再現できる訳です。
続いてキャラ生成。１カット目はキャラ生成にopenposeを使いましたが、今度はscribbleを使ってみます。
img2img+scribbleで生成できました。scribbleは適当なシルエットから画像を生成してくれるので、立体的整合性なしでざっくり描きたい時に向いています。この際に肌や衣服などの「境界」となる線を描いておくと、生成内容に反映されます。ちなみにscribble時のPreprocessorは、lineartを使っている時と同じくnoneに設定します。
キャラ生成できたら１カット目の工程と同じく、lineart線を取得し、手作業で細部修正して３Dでレンダリングしておいた線に重ねます。img2img用の色調ベース画像も作成します。
AI自動着色物に調整やら何やらして２カット目完成。所要時間１時間３０分。この通り「１カット目と同じ部屋の別アングル」を背景としたAI画像が作成できた訳です。
次！３カット目！
レンダリングしてopenposeでキャラ生成してlineart線取得して手作業で修正して3Dのfreestyle線に合成して色調ベース画像作ってimg2img+lineartでAI着色で生成！！
背景の統一性をもった３枚のイラストが作成できました。では今回はこれにLive2DとAfterEffetctsを使用して簡単にアニメっぽくしたいと思います。そうなんじゃ。アニメ作成の部分はAIじゃないんじゃ。要するに「統一性のあるイラストを爆速で作成できるようになった→浮いた時間を他の作業当てられるようになった→じゃあアニメ化すっぺ」という話なんじゃ。動いてるアニメなら多少細部がグニャグニャしてても気にならないですからね。
ちなみにアニメーション制作の素材として利用する為に、背景のみを個別に生成し直したりMultiDiffusionで2Kサイズに高画質化したりしてますが解説は省略。
まばたきとか髪揺れとかの動きを持ったLiv2Dモデルを作成。Live2DはFree版でもアニメ向けの用途でならそこそこ良い感じの作れるのでFree版触ってみるのオススメです。Free版で作るのが難しいのは、全体として多彩な動きを組まないといけないVtuberモデルとかですね。
最後にAfterEffectsでアニメ編集。Live2DモデルはAfterEffectsと連携できるので作品作りに助かる。折角なんで良い感じのフリーBGMもつけておこう。
２７秒アニメ完成！
AIを使用したアニメーション制作の作例で見かけるのは実写映像とかMMD動画をベースにAI変換してフレーム毎に細部がチラチラし続ける例の奴だけど、実際にテレビで見る『アニメ』ってこういうのだよね感。
という訳でAIを利用した統一性のある背景とアニメ制作でした。lineartが細部形状の維持に向いていることに気付きましたし、こういうタイプのアニメ制作にも手応えを感じています。生成毎に色調が安定し辛い問題はありますが、背景の統一性がある程度保てるようになったことで、私の中ではAI利用の実用度がかなり高くなってきていますね。色々用途思いつくのだ。
原稿作業が終わったら１分くらいの短いアニメ作品を何本か作ってみたいです。あと他にも作ったやつが筆者のpixivに載せてありますので検索してみて下さい。
では今回は以上となります。
この記事が気に入ったらサポートをしてみませんか？