え？なんか全然違うんですけどAnimateDiffさん…
Adetailerを途中に挟むと相当キレイになるんじゃないか説の検証しようと思ってたんですよ。最初は…
このAdetailer、私の理解ではStableDiffusionWebUIのプラグインとしてしか存在しない？のでなんか普通にPrompt-Travel作ってる人からすると「いや、たしかに欲しいけど、ソースがSD向けしかないからできなくね？（やるのめんどくね？）」みたいな感じになる気がして、一生追加されない気がします。
しかーし、私の実践したやり方を見る限り、ADetailerを入れないと、ほぼすべての引きの絵は顔が微妙に適当で使い物にならないです。
本家はupscaleしたらいいよ！と言ってるのですが、正直1分の動画を512*904から1024*1808にTileでupscalseするだけでA100で６時間くらいかかります…
A cute rat girl dancing on the beach
— Stable Diffusion 🎨 AI Art (@DiffusionPics) November 12, 2023
animatediff-cli-travel-prompt with multiple controlnets (lineart_anime, ip2p, openpose, ref) then a tile upscale#AnimateDiff #AIgirl pic.twitter.com/8TI2dHCSgy
この動画はTileのUp Scaleでやってるのですがたぶんすごい現実的じゃない時間かかってると思います。
今回の検証はこんな感じ
①まず普通に動画を作成する
②その素材をつかってSDで同じ絵を出す
③次にその絵にADetailerをぶっかけて顔をキレイにする
④それを利用して動画を作成する
これができるようになると、世界最先端のCNとADetailerを合わせた動画作成が可能になるという事。
世界最先端なのに、なんでこんなに日の目を見ていないのか、ちょっと悲しいです。
皆さん応援のコメントとか、待ってます！
①をざっくり作って②に取り掛かってみました
あれ？
あれれ？
前々から「なんか変だなー」とは思ってたんですが、そもそもAnimateDiff、StableDiffusionとできる絵が微妙に違う？！
以下、同じプロンプト、ステップ数、シード、ＣＮ、揃えられそうなものほとんどそろえてみたけどこんなに違う…
画面をめんどくさいからSSして出力してるので解像度とかは厳密には違うのですが、そういう話じゃなくて、絵柄すら違ってね？
一応言うと、これ、エヴァのマリなんだけど、右、もはやのび太じゃね？…
のび太ロラ入れたっけか…
なんというか、そもそもADetailerうんぬんの前に、そもそも出したい絵が変わっちゃうじゃん… という驚愕の事実。
いや、私のパラメタ設定がおかしいのかもしれないんですが、たしかに昔からSDで出してその後おなじプロンプトをAnimateDiffでやろうとしても、たしかにそんな感じで少し違う…
ロラの使い方が違うからそんなもんかな？とか思ってた。
（実際ロラは使う前にモデルにマージして使ってる）
モーションモジュールのせいなのかな？とも思うけど、そもそも絵心も変わるのこれ？
とりあえず、それ以外にも、よーーーーく見ると
・SDの方がポーズもしっかりとらえてる
・SDでやればADetailer使えるしいろいろ調整可能
・AnimateDiffの方が絵はなんかキレイ（これはAnimateDiff用に調整したからかも？
ffmpegつかって静止画から動画作ってもいいんだけど、各画像の整合性を考えて、SD側で作った絵をAnimateDiff側でrefineかけて強引に動画作ってみた
そんな動画がこちら↓
ほら！
ほら！！
地味かもしれないのですが、大分ちがう！！
でもなんか顔はのび太に寄ってる！
今回わかった事は２つ
①SDの結果とAnimateDiffの結果って結構違うみたい
②途中の画像生成はＳＤに任せて最後にAnimateDiffすると結果なんかまとまる
注）Automatic1111ではなく、ComfyUI使えばいいんじゃね？という声が聞こえてきます。私の環境、まだそれセットアップしてないんです。ごめんなさい。
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？