Deforumで作成した動画をTiled Diffusionでアップスケールしてみた＠ComfyUI

前回の記事で使用したTiled diffusionのフローをDeforumで作成したアニメーションに適用させてみたという話です。
前回記事を見ていただければ分かりますが、リアル系の方が効果がある印象がありますが、なんとなくアニメ系で記事を作成してみたりしています。

さて、今回は動画の解像度を上げるという内容です。Tiled diffusionだと若干良い感じに修正も加わるので、うまく適用出来ればいいなという目的になります。

以下の画像をtxt2imgで生成して、Deforumでアニメーションを作成しました。
Pony系などのSDXLでParaseqを使用して動きを付ける場合は、ForgeよりはreForgeが良いのではと思います(A1111は試していない)。

＜生成されたアニメーション＞

Deforumだと画面からはみ出ると厳しいですね。
txt2imgで、プロンプトで口は動きました。目は反応なし。。
動きを付けると、手が細くなっていたりします。。。。。

ちなみにこのアニメーションを作成するのに、PaperspaceのFree A4000だと、reForgeのfp8モードでぎりぎりVRAMが足りる感じでした。
Deforumは3DモードのdepthzoeにするといきなりVRAM消費が増えるのが難点ですね。

＜アップスケール後のアニメーション＞

デフォルトの設定だとフリックが強い

パラメーター調整後はそこまで違和感が無くなる

ということで、フレーム補間を追加すればある程度落ち着いたアニメーションになりそうな結果でした。

以下が生成した動画をTiled diffusionの2回目の部分に入れ込んでみた図です。

ただ、この方法だと1枚あたり1分以上かかるため、60フレームだと1時間以上かかる計算になります。