![見出し画像](https://assets.st-note.com/production/uploads/images/121884782/rectangle_large_type_2_2b1c878e351b1f137f268826bcfd5c63.png?width=800)
AnimateDiffでドット絵アニメをつくる / Pixel Art with AnimateDiff
English summary of this article is at the end.
AnimateDiffでドット絵アニメを作ってみたらハマったので、ワークフローをまとめてみました。
ComfyUI AnimateDiffの基本的な使い方から知りたい方は、こちらをご参照ください。
![](https://assets.st-note.com/production/uploads/images/121881604/picture_pc_93defa78c48e5009676f2f8d4eaa750d.gif?width=800)
1. カスタムノード
特別なカスタムノードはありません。以下の2つだけ使います。
https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved
https://github.com/Kosinkadink/ComfyUI-VideoHelperSuiteGoogleColab Proで試す場合は、末尾のColabをお使いください。
2. SD1.5モデルの場合
通常のワークフローにピクセルアートLoRAを組み合わせることでドット絵GIFを生成します。SD1.5用LoRAから2種類を試しました。
1つ目の「8bitdiffuser-64x」はキャラ絵向けのLoRAです。画像生成モデルは公式にならって「AnimeKawa_v1.0」を使います。
ワークフロー例はこちら。jsonファイルをComfyUI上にドロップして読み込んでください。モーションモジュールは「mm-Stabilized_mid」を使用しています。
![](https://assets.st-note.com/production/uploads/images/121866010/picture_pc_177cc1129603117ddc80107d43e96107.gif)
このLoRAでは出力後ダウンスケールしてピクセルを粗くするよう推奨されています。
以下は人間以外のキャラクターの例です(モデルは同じ)。
![](https://assets.st-note.com/production/uploads/images/121869715/picture_pc_163047f26da6ca8fdd0817a662097d89.gif)
画像生成モデルを変えれば、アニメ絵以外もいけそうです。以下の例では「DreamShaper_v8」を使用。
![](https://assets.st-note.com/production/uploads/images/121870915/picture_pc_592483390f195de7027059e2a41da619.gif)
2つ目の「Damage-Pixel-Art」は目の細かいドット絵LoRAです。一応アニメ系。画像生成モデルは公式にならって「T-anime-v3」を使います。
ワークフロー例はこちら。
![](https://assets.st-note.com/production/uploads/images/121870618/picture_pc_685865a28f616613ed34a50e9ff3cd1d.gif)
キャラクターは苦手っぽいですが、雰囲気は最高です。以下はモデルを「Counterfeit v3」に代えて試しました。
![](https://assets.st-note.com/production/uploads/images/121871794/picture_pc_5dcca8d4ad14ad9e8987fbdd899cab67.gif)
![](https://assets.st-note.com/production/uploads/images/121871463/picture_pc_5c7f9c6f81a69cca490cceeeaf071dca.gif)
3. SDXLモデルの場合
SD1.5のワークフローの方が扱いやすいですが、SDXLモデルでもやってみました。
SDXL用のドット絵LoRA「Pixel Art XL」を使います。
モーションモジュール: https://huggingface.co/hotshotco/Hotshot-XL/blob/main/hsxl_temporal_layers.f16.safetensors
LCM-LoRA: https://huggingface.co/latent-consistency/lcm-lora-sdxl/resolve/main/pytorch_lora_weights.safetensors
画像生成モデル・VAEはHotshot用の「SDXL-512」にしてみました。ワークフロー例はこちら。
![](https://assets.st-note.com/production/uploads/images/121864169/picture_pc_2c3db3b2feda7a30a6d737a59aadfda2.gif)
動物は得意みたいです。キャラ絵は微妙ですが味があります。
![](https://assets.st-note.com/production/uploads/images/121873773/picture_pc_94a8c40127e01cd3d62001ffabb02725.gif)
![](https://assets.st-note.com/production/uploads/images/121873782/picture_pc_a65340923280c221168d87d847a38f65.gif)
Summary
Custom Nodes Used:
ComfyUI-AnimateDiff-Evolved
ComfyUI-VideoHelperSuitePixel Art LoRA:
For SD1.5(anime): 8bitdiffuser-64x
For SD1.5(moody): damage-pixel-art
For SDXL: pixel-art-xlModels Used:
For 8bitdiffuser-64x: AnimeKawa
For damage-pixel: t-anime-v3-pruned
For SDXL: SDXL-512Add for SDXL:
HotshotXL(motionmodule): hsxl_temporal_layers.f16.safetensors
LCM-LoRA(optional): pytorch_lora_weights.safetensorsWorkflow for SD1.5 Models
![](https://assets.st-note.com/production/uploads/images/121866010/picture_pc_177cc1129603117ddc80107d43e96107.gif)
![](https://assets.st-note.com/production/uploads/images/121868017/picture_pc_73bd731d739bd72a69319c1cf52c28c2.gif)
Workflow for SDXL Models
![](https://assets.st-note.com/production/uploads/images/121864169/picture_pc_2c3db3b2feda7a30a6d737a59aadfda2.gif)
Google Colab