Deforumで作成した動画をTiled Diffusionでアップスケールしてみた＠ComfyUI
前回の記事で使用したTiled diffusionのフローをDeforumで作成したアニメーションに適用させてみたという話です。
前回記事を見ていただければ分かりますが、リアル系の方が効果がある印象がありますが、なんとなくアニメ系で記事を作成してみたりしています。
さて、今回は動画の解像度を上げるという内容です。Tiled diffusionだと若干良い感じに修正も加わるので、うまく適用出来ればいいなという目的になります。
以下の画像をtxt2imgで生成して、Deforumでアニメーションを作成しました。
Pony系などのSDXLでParaseqを使用して動きを付ける場合は、ForgeよりはreForgeが良いのではと思います(A1111は試していない)。
＜生成されたアニメーション＞
Deforumだと画面からはみ出ると厳しいですね。
txt2imgで、プロンプトで口は動きました。目は反応なし。。
動きを付けると、手が細くなっていたりします。。。。。
ちなみにこのアニメーションを作成するのに、PaperspaceのFree A4000だと、reForgeのfp8モードでぎりぎりVRAMが足りる感じでした。
Deforumは3DモードのdepthzoeにするといきなりVRAM消費が増えるのが難点ですね。
＜アップスケール後のアニメーション＞
ということで、フレーム補間を追加すればある程度落ち着いたアニメーションになりそうな結果でした。
以下が生成した動画をTiled diffusionの2回目の部分に入れ込んでみた図です。
ただ、この方法だと1枚あたり1分以上かかるため、60フレームだと1時間以上かかる計算になります。