Deforumのvideo2videoについて、SDXL版

以前の記事でSD1.5版については記載したのですが、SDXLについてはコントロールネットの効果がSD1.5と異なる点、temporalnetなどと同じようなコントロールネットがない点などから検討していませんでした。

今回、SDXLでやってみたvideo2videoについての記事です。
個人的な印象としては、SD1.5の方が一貫性は高いと思われますが、SDXLで表現できるものはありそうかなと思いました。
今回は紹介しませんが、叡智系はSDXLの方が良いものが出来ると思います。
また、SDXLの場合は背景固定は難しいので、simple backgroundなど単純なものを指定すると良い気がします。

さて、今回は動きを忠実にさせる点を重視したものをトライしてみました。
Youtubeにあったスローモーション画像を切り取り、大きさを修正してみました。10fpsで、110フレームにしています。
著作権などの問題もある可能性があるため、元画像は提示しません。
プロンプトで、性別と体形、服装を変えて見る感じです。

プロンプト
1girl, solo, black hair, long hair, young girl, smile, kawaii, big breast, thin waist, white school uniform, clevage, mini skirt, thigh hight, looking at sideward, simple background, grips baseball bat with both hands, 1bat, wooden bat, plays baseball, batting pose, front view, zPDXL

Deforumの設定など：参考
2Dモード
hybrid video使用　Beforemotion・Generate inputframeのみ
                               Opticalflow・DIS medium
image init使用　
video init使用

使用するコントロールネットについて
①Depth anything　< 　Depth fm
　Depth fmの方がVRAM消費が大きい印象があるため調整必要かも
　
②Openpose dw かdensepose
　Depth fmの場合は必要ないかも

③IP-adapter
　
＜所感＞
プロンプトや最初の画像、コントロールネットのウェイトなどで効果がかなり変わる印象です。

①Depth anything+openpose+IP-adapter

②Depth fm+IP-adapter

女の子の可愛さは後者で、動きは前者になりました。
個人的には後者ですね。
コントロールネットが一つ少ないので生成時間もその分早いです。