ComfyUI / AnimateDiffの導入方法と使い方

AIのアニメーション生成ができる、ComfyUI / AnimateDiffの導入方法と基礎的な使い方のメモ。

"ComfyUI"と"AnimateDiff"とは

▼ ComfyUIとは

ノード/グラフ/フローチャートのインターフェースで、web上でStable Diffusionの画像生成が行えるUIのこと。

下記画像のようにノードを繋げて行くことで、アニメーション生成のより詳細的な調整が可能になる。

処理の流れを可視化できて、自分で自由にカスタマイズしやすいのが特徴。

▼ AnimateDiffとは

１枚の画像から一貫性のあるアニメーションを生成できる技術のこと。
実際に下記のアニメーションは、1枚の画像からAnimateDiffの技術のみで生成している。

animateDiffのみでアニメーションを生成する方法は以下のメモで紹介しています。

ComfyUI➕nimateDiffを組み合わせることで、ノードを利用することができ、より自分の思い通りのアニメーション生成が可能となる。

ComfyUIのインストール方法

今回はGoogle Colabを利用してComfyUIを起動します。

ローカル環境で構築するのは、知識が必要な上にエラーが多くかなり苦戦したので、Google Colab Proを利用することをオススメしています。
月額1,179円かかりますが、導入が格段に楽です。

まずは下記のページにアクセスする。

Google Colaboratory

ツールバーメニューの「ファイル」 → 「ドライブにコピーを保存」をクリック

すると別窓でコピーしたページが表示される。ファイル名にも「コピー」が追加される。

ツールバメニューの「ランタイム」 → 「ランタイムのタイプを変更」をクリック

「V100GPU」を選択して保存をクリック。

次に、上から順番に３つの実行ボタン(矢印アイコン)をクリックしていく。

まず最初に、「Git clone the repo and install the requirements. (ignore the pip errors about protobuf)」と記載してある項目の実行ボタンをクリックする。

「環境設定」を実行してくれる。

この時、「Googleドライブに接続するか？」といったポップアップが表示される場合があるので、「接続する」をクリック。
実行が完了すると緑色のチェックマークが付く。

実行が完了したら、スクロールをして「Download some models/checkpoints/vae or custom comfyui nodes (uncomment the commands for the ones you want)」の項目の実行ボタンをクリックする。

モデルやVAEなどのダウンロードを行ってくれる。

実行が完了したら、次に「Run ComfyUI with cloudflared (Recommended Way)」の項目の実行ボタンをクリックする。

この項目では、緑色のチェックマークは出てこないで、くるくると実行ボタンが回ったままになる。

ComfyUIの起動を実行してくれる。

スクロールして以下のURLが表示されたらクリック。

web上でComfyUIを起動できたら導入完了。

動作の確認

右側メニューの「Queue Prompt」をクリックすると画像の生成ができる。
試しにQueue Promptをクリックして、画像が生成できるか試してみる。

生成した画像はファイル「output」内に保存される。
Colabページに戻って、ファイルのアイコンをクリック → MyDrive → ComfyUI→ output→ 生成した画像データに辿り着く。

画像データを右クリック → 「ダウンロード」をクリックすると保存ができる。

生成した画像 ↓

アニメーション生成のやり方

自分でノードを繋げて調整するのは複雑で難しいので、
AnimateDiff for ComfyUIの公式サイトで配布されているワークフローを利用する。

画像をドラッグ＆ドロップするだけで簡単にノードの設定を読み込むことができる。

まずは下記の公式サイトにアクセスする。

ページをスクロールして下記のノードの画像(PNG)にたどり着いたらダウンロードする。

ダウンロードした画像を画面上にドラッグ＆ドロップする。

すると画像と同じノードに自動的に変換される。

右側メニュー上部の「Queue Prompt」をクリックすると生成が始まる。

右側メニュー1番上部の「Queue size」が１から０になったら生成が完了した合図。

Colabのページに移って、ファイルのリフレッシュボタンをクリックする。
ComfyUI/outputのファイル内にgifとPNGが保存される。

ファイル名を右クリックしてダウンロードができる。

生成できたgif ↓

以上、基本的な導入と使い方でした。

応用編のメモはこちら☺️✨⬇︎

X(twitter)ではリアルタイムでAIに関する情報を発信しています📝
良かったらフォローしていただけると嬉しいです！
https://twitter.com/kurayu_yuki