AnimateDiffでディープファェイクのダンス動画を作る方法

Stable DiffusionとIPadaoer

https://youtube.com/shorts/5BM53ogvQi8

Stable Diffusion AnimateDiff

2024年４月の時点でStable diffusionのimg2imgでAnimatediffとreactorを使うのが最もいい方法だと思う。本日paperspacrのMov2Movの環境は削除して。

• PC環境：webui  v1.7.0

• GoogleColab環境：webui  v1.7.0　と　最新版

• Paperspace環境：最新版

の４つしました。

以前使っていたmov2movでは滑らかな動画が作れないのでもう今後アップデートもないのかなと諦めています。mov2movではip adapterが使えたので使いやすかったと思いますが、img2imgでAnimateDiffと一緒には使えないようです。

ここではAnimatediff, reacterを使う方法を紹介します。
どうしても、似ている顔にならない場合があります。だいだい半分がそうです。多分使っているmodelと写真の相性かなと思います。
そのときは、最初に一度img2imgで画像をつくるのがいいようです。

例えば

この写真から

この画像を作成

その後にAnimatediffとreactorで動画を作ります。動画が短いと動いてくれないので、最初にAnimatediffを使わないでイメージを確認してから作成します。GoogleColaboもPaperspaceも８秒ぐらいの動画に２０分ぐらいかかると思います。
GoogleColaboの方が少し早い感じがします。

最後にWindows版のCapCutで４つの動画をつないで音楽を付けました

これを

こんな感じ