ComfyUI / AnimateDiffの導入方法と使い方
AIのアニメーション生成ができる、ComfyUI / AnimateDiffの導入方法と基礎的な使い方のメモ。
"ComfyUI"と"AnimateDiff"とは
▼ ComfyUIとは
ノード/グラフ/フローチャートのインターフェースで、web上でStable Diffusionの画像生成が行えるUIのこと。
下記画像のようにノードを繋げて行くことで、アニメーション生成のより詳細的な調整が可能になる。
処理の流れを可視化できて、自分で自由にカスタマイズしやすいのが特徴。
▼ AnimateDiffとは
1枚の画像から一貫性のあるアニメーションを生成できる技術のこと。
実際に下記のアニメーションは、1枚の画像からAnimateDiffの技術のみで生成している。
animateDiffのみでアニメーションを生成する方法は以下のメモで紹介しています。
ComfyUI➕nimateDiffを組み合わせることで、ノードを利用することができ、より自分の思い通りのアニメーション生成が可能となる。
ComfyUIのインストール方法
今回はGoogle Colabを利用してComfyUIを起動します。
ローカル環境で構築するのは、知識が必要な上にエラーが多くかなり苦戦したので、Google Colab Proを利用することをオススメしています。
月額1,179円かかりますが、導入が格段に楽です。
まずは下記のページにアクセスする。
ツールバーメニューの「ファイル」 → 「ドライブにコピーを保存」をクリック
すると別窓でコピーしたページが表示される。ファイル名にも「コピー」が追加される。
ツールバメニューの「ランタイム」 → 「ランタイムのタイプを変更」をクリック
「V100GPU」を選択して保存をクリック。
次に、上から順番に3つの実行ボタン(矢印アイコン)をクリックしていく。
まず最初に、「Git clone the repo and install the requirements. (ignore the pip errors about protobuf)」と記載してある項目の実行ボタンをクリックする。
この時、「Googleドライブに接続するか?」といったポップアップが表示される場合があるので、「接続する」をクリック。
実行が完了すると緑色のチェックマークが付く。
実行が完了したら、スクロールをして「Download some models/checkpoints/vae or custom comfyui nodes (uncomment the commands for the ones you want)」の項目の実行ボタンをクリックする。
実行が完了したら、次に「Run ComfyUI with cloudflared (Recommended Way)」の項目の実行ボタンをクリックする。
この項目では、緑色のチェックマークは出てこないで、くるくると実行ボタンが回ったままになる。
スクロールして以下のURLが表示されたらクリック。
web上でComfyUIを起動できたら導入完了。
動作の確認
右側メニューの「Queue Prompt」をクリックすると画像の生成ができる。
試しにQueue Promptをクリックして、画像が生成できるか試してみる。
生成した画像はファイル「output」内に保存される。
Colabページに戻って、ファイルのアイコンをクリック → MyDrive → ComfyUI→ output→ 生成した画像データに辿り着く。
画像データを右クリック → 「ダウンロード」をクリックすると保存ができる。
生成した画像 ↓
アニメーション生成のやり方
自分でノードを繋げて調整するのは複雑で難しいので、
AnimateDiff for ComfyUIの公式サイトで配布されているワークフローを利用する。
画像をドラッグ&ドロップするだけで簡単にノードの設定を読み込むことができる。
まずは下記の公式サイトにアクセスする。
ページをスクロールして下記のノードの画像(PNG)にたどり着いたらダウンロードする。
ダウンロードした画像を画面上にドラッグ&ドロップする。
すると画像と同じノードに自動的に変換される。
右側メニュー上部の「Queue Prompt」をクリックすると生成が始まる。
右側メニュー1番上部の「Queue size」が1から0になったら生成が完了した合図。
Colabのページに移って、ファイルのリフレッシュボタンをクリックする。
ComfyUI/outputのファイル内にgifとPNGが保存される。
ファイル名を右クリックしてダウンロードができる。
生成できたgif ↓
以上、基本的な導入と使い方でした。
応用編のメモはこちら☺️✨⬇︎
X(twitter)ではリアルタイムでAIに関する情報を発信しています📝
良かったらフォローしていただけると嬉しいです!
https://twitter.com/kurayu_yuki
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか?