#AnimateDiff
【ComfyUI + AnimateDiff】SparseCtrlで一貫性のあるAIアニメーション作れるんじゃね？
ComfyUI + AnimateDiffで、AIイラストを
4秒ぐらい一貫性を保ちながら、
ある程度意図通りに動かしたいですよね！
でも参照用動画用意してpose推定はめんどくさい！
そんな私だけのニーズを答えるワークフローを考え中です。
まだワークフローが完成したわけでもなく、
日々「こうしたほうが良くなるな」の繰り返しなのですが、
備忘録として現状のワークフローを紹介したいと思います。
【AIアニメ】ComfyUIとSunoでシンプルなアニメMVをつくる
最近、音楽生成AIサービスのレベルが大きく上がっているようです。半年ほど前に話題になった「Suno」と後発の「Udio」が機能を競い合っていて、生成の質も使い勝手も大幅に改善しています。
今回Sunoのv3.5で遊んだので、例によってComfyUIで生成した動画素材と楽曲を合わせてMV風のシンプルなアニメにしてみました。
この記事はその作業メモです。
Suno(v3.5)で楽曲を生成する
ComfyUIの「animate diff」でアニメーション制作をしたあれこれ
ComfyUIを使い始めてから、animate diffで思い通りに動くアニメーションを作ろうとあれこれ試した記録です。
今回は「SDXL」モデルを利用してanimate diffでアニメーション制作を行いたいと思います。
「Comify UI」とは何ぞやという方は下記の記事をご参照ください。
簡単に導入したい方は「Stability Matrix」の方が良いです。
アニメーション生成まず
2024年のComfyUI、完全入門
目次
2024年こそComfyUIに入門したい！2024年も画像生成界隈は盛り上がっていきそうな予感がします。
日々新しい技術が生まれてきています。
最近では動画生成AI技術を用いたサービスもたくさん生まれてきており、引き続きこの盛り上がりがとどまる気配はありません。
画像生成を行うためのソフトウェアもStable Diffusion web UIやFooocusなどたくさん出てきていますね。