見出し画像

ComfyUIで モーフィングアニメーション(ipiv's Morph)

sho

複数のリファレンス画像を連結した高品質なモーフィングアニメーションが作れます。

以下のcivitaiのページにワークフローがあります。

この記事では、RTX4070ti 16GBで生成しています。
最終的に4倍アップスケールされたHD動画が生成されますが、おそらくVRAM16GBモデルじゃないと、アップスケーリングは重いだろうと思います。VRAMが少ない場合はアップスケールノードをミュートしてください。
RTX4070ti 16GBだと1920*1920の動画も作れました。

モデルダウンロード

Animate Diffはv3です。
ComfyUI Managerからモデルとアダプターを入れてください。

Hyper-SD

これはloraです。models/loras/SD1.5へ入れるhttps://huggingface.co/ByteDance/Hyper-SD/blob/main/Hyper-SD15-8steps-lora.safetensors

control_v1p_sd15_qrcode_monster

コントロールネットモデルです。models/controlnet へ入れるhttps://huggingface.co/monster-labs/control_v1p_sd15_qrcode_monster/blob/main/control_v1p_sd15_qrcode_monster.safetensors

ip-adapter_sd15_vit-G.safetensors

ipadaterのモデルです。models/ipadapter へ入れるhttps://huggingface.co/h94/IP-Adapter/blob/main/models/ip-adapter_sd15_vit-G.safetensors


CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors
clip visionのモデルです。二つ目はSDXLです。
ダウンロード後は、models.safetensorsという名前なので、上述の名前に変えてからmodels/clip_visionへ入れてください。
https://huggingface.co/h94/IP-Adapter/blob/main/models/image_encoder/model.safetensors

https://huggingface.co/h94/IP-Adapter/blob/main/sdxl_models/image_encoder/model.safetensors


4x_NMKD-Siax_200k.pth

アップスケーラーです。ComfyUI Managerから入れられます。


Juggernaut

ワークフローで使っているSDチェックポイントです。https://civitai.com/models/46422/juggernaut


QR コードモーションアニメ

以下のサイトに、QRコードアニメがあるので
動画の上で右クリック→"名前を付けて動画を保存"
でダウンロードしてください。
https://civitai.com/posts/2011230


動画生成

loraにHyperSD、チェックポイントはjuggernautになっていますが色々試してみると面白いです。
出力サイズが288*512ですが、これで最終的にアップスケールされて1080*1920になるように計算されています。
512*512など正方形でもかまいません。
batch_sizeは、長い動画がいるなら必要に応じて長くしてください。
プロンプトは必要ありません。
ただし、プロンプト自体は効いているようで通常のanimatediffみたいにglowingなどのワードを入れるとキラキラ感が強くなります。


以下のようにリファレンス画像を入力します。
サイズなどは特に気にしなくても良いです。

コントロールネットモデルにqrcode monsterを忘れずに。
QRコードモーションアニメを入れます。
画像ではLoad Video(Path)が面倒なので、Load Video(Upload)を使っています。

これで実行すると動画が生成されます。
288*512なんて経験的に歪んだ変な画像が出る印象がありましたが、かなり綺麗に出ます。

こちらは512*512です。


適当に画像を入れて面白いものが出てきます。
以下のものはビジュアルエフェクトっぽい画像を入れて生成しました。


この記事が気に入ったらサポートをしてみませんか？