たまには真面目に生成AI(ComfyUI系)の記事
こんにちは、榊正宗です。反AIの反論記事ばかり書いてますが、実は毎日大量に絵を生成していますよ(笑)AIアニメーションも作ってます!
さて、たまには真面目に生成AIの記事をかいてみたいと思います。
ComfyUIで使えるあたらしいモデルがいくつか出てきましたが、いま一番使えるモデルはどれかランキングしてみました!とくに安定してアニメーションの連番をだせるかでランキングしました。
1. Animagine XL 3.1
強み: Animagine XL 3.1はStable Diffusion XLを基盤とし、精緻なアニメスタイルの画像生成に優れたモデルです。このバージョンでは、データセットの多様性を広げ、タグ付けシステムを強化することで、各フレームでキャラクターや背景の一貫性を保持しやすくしています。また、特定のアニメ風タグを使用することで、アニメーション用途においてもスタイルを統一しやすく、連続的な描画に適しています
2. Flux
強み: Fluxモデルは、Black Forest Labsが開発した独自のアーキテクチャ「Rectified Flow」を使用しており、Stable Diffusion 3ベースではありません。このモデルは、特に複雑なシーンの生成や人体の描写に強みがあり、顔や手の表現力が向上しているため、アニメーション制作でのフレーム間の安定性と一貫性が求められる場面に適しています。生成速度も比較的速いため、プロジェクトの初期段階でのプロトタイピングやクイックな反復にも向いています
3. SD3.5
強み: Stable Diffusion 3.5は、特に色彩の保持とキャラクターの特徴を忠実に再現する点で評価が高いです。特定のタグを用いて調整を行うことで、キャラクターデザインやシーンの統一感を保ちながら、アニメーション用途でも一定の安定性を発揮します。ただし、細かいニュアンスの再現には一部不安定さがあり、用途に応じて追加の調整が必要な場合があります
4. Illustrious
強み: Illustriousは、単体のシーン描写やデザインの一貫性を重視したモデルで、特に静止画や複雑なシーンに強みがあります。ただし、フレーム間の微調整には課題があり、連続フレームの一貫性が重要視されるアニメーション用途ではやや不向きです。Stable Diffusionベースのモデルと組み合わせることで効果が発揮されやすく、静止画が主な用途として推奨されます
5. Pony
強み: Ponyは、単体の画像生成では独自のスタイルを持つクリエイティブな表現が可能ですが、シーンやキャラクターの一貫性を維持するのが難しいため、アニメーションフレームの用途には適していません。独特なデザインやユニークなスタイルが要求される単一フレームの画像生成に向いています
総合評価
フレームアニメーションの一貫性と安定性に基づくランキングは次の通りです。Animagine XL 3.1がタグシステムとデータセットの豊富さからアニメーション用途に最適と評価され、次いでFluxが独自のアーキテクチャによる安定性で高評価です。SD3.5は期待のモデルですが、まだチューニングモデルが出ないと安定したアニメーションには使いにくいかもです。
おすすめのフレームアニメーションのワークフロー、なんかイイ感じに安定する方法が見えてきたところです。まだテスト段階なんだけど、基本の考え方としては、IPadaptor使うときにまず複数の連番フレームのうち1枚だけ先にレンダリングして、それを参考にして残りのフレームを作る方法です。ちょっとした技だけど、これで結構絵が安定するんですよね。もうちょい体力があれば、1枚前のフレームを差し込むとさらに良いかも。そういうの自動化してくれるノード、誰か作ってくれないかな?いや、もうあるなら教えてほしい!w
ちなみに、最近ComfyUIのアップデートで「Load image batch」が動かなくなっててビビりました。使ってたノードが知らぬ間に消えたりするんで、ドキッとしますよね。代用はできたんだけど、慣れてきた頃にこういうのが来ると焦ります。