【ComfyUI + AnimateDiff】SparseCtrlで一貫性のあるAIアニメーション作れるんじゃね？

ComfyUI + AnimateDiffで、AIイラストを
4秒ぐらい一貫性を保ちながら、
ある程度意図通りに動かしたいですよね！

でも参照用動画用意してpose推定はめんどくさい！
そんな私だけのニーズを答えるワークフローを考え中です。

まだワークフローが完成したわけでもなく、
日々「こうしたほうが良くなるな」の繰り返しなのですが、
備忘録として現状のワークフローを紹介したいと思います。

【無料】画像をAIでアニメーション化する方法（実写）

画像の表情をAIでアニメーション化する方法についてです。

StablediffusionでAnimateDiffを使用したアニメーション、
Runway Gen-2、Pika1.0等、画像を動画化する方法いくつか出てきていますが、表情のAIアニメーション化に特化したAIツールが無料で配布されていたので検証してみました

元画像

表情の参照動画

出力動画

参照動画は自分で撮った動画を使用する

🎦【ComfyUI-Manager】初心者でも簡単！カスタムノード導入を自動化して、AI画像生成をもっと自由に楽しもう！

ComfyUIの「animate diff」でアニメーション制作をしたあれこれ

ComfyUIを使い始めてから、animate diffで思い通りに動くアニメーションを作ろうとあれこれ試した記録です。

今回は「SDXL」モデルを利用してanimate diffでアニメーション制作を行いたいと思います。

「Comify UI」とは何ぞやという方は下記の記事をご参照ください。

簡単に導入したい方は「Stability Matrix」の方が良いです。

アニメーション生成まず

画像生成の「ComfyUI」でイラストの顔を修正する

LINEスタンプの第二弾を何にしようか模索しているときに、生成したイラストの顔を自動で修正する方法が、ComfyUIにもあるとのことで、早速試してみました。

ComfyUIをまだお持ちでない方は以下の記事を参考に導入してみてください。

顔画像の修正をするための準備①拡張機能「Impact Pack」を入れる

顔の画像を修正するには拡張機能の「Impact Pack」を導入する必要があります。