ComfyUIのToonCrafterを使ってみたのでメモ

タイトル通り、参考程度に

環境　4060ti16GB

GitHubにあるワークフローを使っただけです
デモにある映像から構築しようとすると最新とノードが違う部分があるためダウンロードした方が早いです

画像を繋ぎ合わせる場合

割り当てのエラーが出る場合があります
いわゆるGPU(と共有)のメモリ不足で良いはず
2枚を繋ぎ合わせる場合だと通る時と通らない時がある
ノードを参考に3枚にセットして繋ぎ合わせは私の環境ですと確実にエラーが出ます、デフォルト設定ではね

で、メモリ不足への対処法なんですが
解像度を下げることです
デフォルト512×512ですがこれを全て256×256に下げると3枚でも余裕で行けました
画質は残念なことになるのでまあそこは仕方ないと思います、アップスケールで何とかしよう

I2VはGitHubにあるモデル(公式モデル？10GBのやつ)ですが、上から2番目がよく動く印象です
インストールしてワークフローから引っ張ってーでは使えない？みたいな感じなのでそれを選択できるノードを繋げればOK(DynamiCrafterModelLoader)
ちなみに最大フレームは100(8秒？)です

共通の点として
・通常のメモリもモデルデータを引っ張り出す際に使われるため32GBはないと厳しく見えた
・イラスト系画像だとモデルデータから引っ張り出されたリアル系に変換される時があるのでネガティブプロンプトに
3Dなどを入れておくのをオススメします、強調するかはお好みで
・etaは低いと元画像に縛られて動きが固く、高いとよく動くみたいな感覚でいいです(多分

追記
I2Vの使用感(イラスト系のみ)
画質の安定性
Luma>AnimateDiff>ToonCrafter
元絵からの絵柄安定性
Luma>ToonCrafter>AnimateDiff
動作中の安定性
Luma(プロンプト強化なし)>>>AnimateDiff>Luma(プロンプト強化)>ToonCrafter

こんな感じに思えました(個人差あり)
動作中安定性はぐちゃぐちゃになるかどうかの判断です
Lumaは大胆に動くようなプロンプトだとかなり動きますが同時にグニャります