![見出し画像](https://assets.st-note.com/production/uploads/images/118834677/rectangle_large_type_2_144522b51a86dc310920d93c5c34a60d.png?width=800)
【AIアニメ】ComfyUI AnimateDiffでSDXLモデルを試す(HotshotXL)
【2023/11/10追記】AnimateDiff公式がSDXLに対応しました(ベータ版)。ただし現時点ではHotshot-XLを利用したほうが動画の質が良いようです。
「Hotshot-XL」は、Stable Diffusion XL(SDXL)モデルを使ってGIF動画を生成するためのツールです。
「ComfyUI-AnimateDiff」が、最近この「HotshotXL」に対応したようなので試してみました。
![](https://assets.st-note.com/production/uploads/images/118832076/picture_pc_4ed67c86ea6a74311824fa1bbf2e9d43.gif?width=800)
留意点
ちょっとややこしいですが「AnimateDiff」と「HotshotXL」は別物です。「ComfyUI版のAnimateDiff」が独自に機能拡張し、HotshotXLを使えるようになったものです。
HotshotXLは推奨される動画の長さがフレームと短く動きも不自然になりやすいため、性能面では通常のAnimateDiffに及びません。
必要な準備
ComfyUI本体の導入方法については、こちらをご参照ください。
今回の作業でComfyUIに追加しておく必要があるものは以下の通りです。
1. カスタムノード
次の2つを使います。最新版をご利用ください。
ComfyUI-AnimateDiff-Evolved(AnimateDiff拡張機能)
ComfyUI-VideoHelperSuite(動画関連の補助ツール)
ComfyUI Managerを使っている場合は、いずれもManager経由で検索しインストールできます(参考:カスタムノードの追加)。
2. モーションモジュール
HotshotXL用の「hsxl_temporal_layers.safetensors」を使います(Kosinkadink氏の公開している「hotshotxl_mm_v1.pth」でもOKです)。
保存先は"/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/"です。
3. 画像生成モデル
HotshotXLでは512x512サイズに適応させたSDXLモデルがHotshot開発者からリリースされていて、こちらのモデルの使用が推奨されています。
ただ個人的にはアニメ系SDXLモデルを試したかったので、以下のワークフローでは「Animagine XL」を使っています。
保存先はいつも通り"/ComfyUI/models/checkpoints/"です。
ワークフロー
![](https://assets.st-note.com/img/1697237424716-R3prPdXb4D.png?width=800)
今回使用したワークフローはこちらです。ComfyUI-AnimateDiffの公式サンプルではHotshot-XLのワークフローは未掲載なので、試作的なものです。
デスクトップにこのJSONファイルを保存し、ComfyUI画面にドラッグ&ドロップするとワークフローを読み込めます。
なおプロンプトは「Animagine XL」の作者サンプルからそのまま借用しました。
![](https://assets.st-note.com/img/1697236828586-eh4tSsiktC.png?width=800)
"AnimateDiff Loader"の「beta_schedule」は「linear」にします。通常のAnimateDiffとは違うので気を付けます。
Hotshot-XLは8フレーム/秒の動画で学習されているので、バッチサイズ(=フレーム数)8に設定します。
アスペクト比については以下のサイズが推奨されています。
![](https://assets.st-note.com/img/1697244400681-1BwHB5UTTm.png?width=800)
アウトプット
「Queue Prompt」で実行すると、サイズ512x512の1秒間(8フレーム)の動画が生成し、さらに1.5倍にアップスケールします。倍率はGPU環境に合わせて調整してください。
![](https://assets.st-note.com/production/uploads/images/118834234/picture_pc_9e3d9e45a83ac0ae81618f09979e2dab.gif?width=800)
Hotshot-XL公式の「SDXL-512」モデルでも出力してみました。
![](https://assets.st-note.com/production/uploads/images/118834215/picture_pc_bb8dd4f6da6ff162a95a510cea940e30.gif?width=800)
関連記事
ComfyUI AnimateDiffについての記事は、以下のnoteにまとめています。