PaperspaceでComfyUIとDeforumを動かす：ComfyUIのインストールコマンドとDeforum base jsonの動作解説
Paperspaceで ComfyUIを動かす方法については、リンクのサイトに説明があります。
基本的に同じなのですが、備忘録と、Deforumのノードの作業内容についての解説を合わせて記事にしました。Deforumのノードについての記事は日本語ではほぼないので珍しいかと思います。あくまで個人的な経験を記載していますので、参考までにとどめてください。
※一時ディレクトリ版にしたいところですが、まだそこまで検討が進んでいません。
PaperspaceでのComfyUIのインストールの手順
リンクのサイトにあるように、公式が出している方法でインストールするのが良さそうです。
Notebookを立ち上げます。
①jupyternotebookの画面で、terminalを選択して以下のコマンドを実行
git clone https://github.com/TheLastBen/PPS.git※pythonのセルコマンドでも良いですが、このコマンドは1回しか使用しないので、後に残らないterminalでという感じです。
②作成されたフォルダ内のPPS-ComfyUIを選択する
③Dependenciesをクリックする
処理が進んで、セルの下に完了すると緑のボタンが表示されます。これで依存環境がインストールされるようです。
④Install/Update ComfyUIをクリックする
これで、ComfyUIがインストールされるようです。
２項目のインストールが終了した時点のNotebookの状態
色々とファイルが増えていることが分かります。
この段階だとストレージはとても少ないです
ComfyUIのフォルダですが、これは通常のComfyUIをインストールした際に生成されるものと同じもののようです。
そのため、追加でセルコマンドを作成してインストールが可能です。
※これは他記事で作成したコマンドを流用したいがために行っているものです。
セルコマンドの追加は、セルの上の帯の右端にカーソルを合わせると出てくる「・・・」を左クリックすると出てくるリストから「Insert code above」「Insert code below」のどちらかを押すと出てきます。
⑤モデル・VAEのダウンロードのコマンドの実行
# ChromaXL
!cd /notebooks/ComfyUI/models/checkpoints && \
wget -nc https://huggingface.co/zzzAI19/ChromaXL/resolve/main/ChromaXL_v1b.safetensors?download=true -O ChromaXL_v1b.safetensors
# VAE
!cd /notebooks/ComfyUI/models/vae && \
wget -nc https://huggingface.co/stabilityai/sdxl-vae/resolve/main/sdxl_vae.safetensors?download=true -O sdxl_vae.safetensors
ここまでで、7.28GB
⑥カスタムノードのインストールコマンド(取捨選択してください)
これはDeforumのノードで推奨されているカスタムノードをだいたい記載したものです。
!pip install pickleshare
# ComfyUI-Managerのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/ltdrdata/ComfyUI-Manager
# rgthree-comfyのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/rgthree/rgthree-comfy
# ComfyUI-AudioSchedulerのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/a1lazydog/ComfyUI-AudioScheduler
# ComfyUI_IPAdapter_plusのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus
# ComfyUI-VideoHelperSuiteのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
# ComfyUI-Advanced-ControlNetのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet
# comfyui-workspace-managerのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/11cafe/comfyui-workspace-manager
# ComfyUI_essentialsのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/cubiq/ComfyUI_essentials
# ComfyUI-Impact-Packのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/ltdrdata/ComfyUI-Impact-Pack
# ComfyUI-Frame-Interpolationのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/Fannovel16/ComfyUI-Frame-Interpolation
# ComfyUI-Video-Mattingのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/Fannovel16/ComfyUI-Video-Matting
# deforum-comfy-nodesのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/XmYx/deforum-comfy-nodes
# ComfyUI_FizzNodesのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/FizzleDorf/ComfyUI_FizzNodes
# ComfyUI-Crystoolsのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/crystian/ComfyUI-Crystools
# was-node-suite-comfyuiのインストール
%cd /notebooks/ComfyUI/custom_nodes
!git clone https://github.com/WASasquatch/was-node-suite-comfyui上の方法でうまくインストール出来なかったのは以下です。
これはComfyUIを立ち上げた後に、別途ComfyUI ManagerでFixなどで修正する必要があります。これは毎回必要そう。。。
① deforum-comfy-nodes
②ComfyUI_FizzNodes
③ComfyUI-Crystools
④was-node-suite-comfyui
※②③④に関しては以下のコマンドを追加で行うことでインストールされます。Deforumだけは今の所難しいです。
!pip install deepdiff
!pip install librosa
!pip install numexpr
!pip install pynvml
もろもろ入れた場合のストレージは以下
※Deforumのノードについて、gitcloneの方法でインストールした場合にうまくインストールされず、ワークフローを読み込ませるとエラーになります。それらについては、ComfyUIを立ち上げた後、Managerで、Fixとかを押してから、再度立ち上げ直すと修正はされます(後述)。普通にインストールすると回避される現象のようです。
⑦起動コマンドを実行
下のやつを実行すると起動します。一番下の方に出てくるリンクをクリックするとComfyUIの画面が立ち上がります。
※一度、ComfyUIを落として、セルコマンドから再起動する際にエラーが出ました。sdの前にシャープを付けると起動しました。初回は#外したのが必要な模様。
※マシンを落として再度立ち上げた際は最初の二つを行った後、起動コマンドを行います。
Deforum base jsonの中身の簡単な考察と生成までの流れ
以下は、githubサイトのexampleにあるものです。上の作業が終わってから、画面をclearにして、これをドラッグアンドドロップすると以下のようになるはず(赤のエラーがない状態)。jsonファイルは、他にいくつかパターンがあります。
①プロンプト部分
これはwebuiのDeforumのものと同じ感じで記載するプロンプトのようです。Paraseqに慣れた人間としては使いにくい。。。。
プロンプトの形式が合わないと、ここでエラーになります。
②Depth Parameters
これは３Dモードの設定の様です。depth algorithmでは、zoeも使用出来るようです。下の方の設定は不明。
③Translate Parameters
これは、webuiにあったmotionタブの項目のようです。
④ColorMatch Parameters
これもwebuiにあった、coherenceのタブの項目です。
LABがデフォですが、好きなものを選ぶと良いです。
⑤Cadence Parameters
一番上のは、最初の方に合ったcadenceと思われます。1以上にすると良さそう。後のはもともとNoneの設定でした。
⑥Base Parameters
これは画像のサイズやサンプラーを指定するものの様です。
⑦Diffusion Parameters
これは良く分からないものもありますが、CFGとステップ数はここで設定するようです。ノイズとストレングスもここっぽいですね。ストレングスは0.48です。これはDeforumの表記とは異なるもののようです。通常のデノイジングストレス的な理解の方が良さそう。
⑧Hybrid Schedule
これはHybrid videoを使用する際のパラメーターだったかと思います。
⑨Noise Parameters
これも、webuiのNoiseのところにあるものです。webuiと若干違います。理由は不明。noise multiplierが1.05でした。
amount schedule以下の4つはantiblurタブの数値の様です。
⑩Iterator Node
シード値はここで調整
下の二つの項目はしばしば変更したりする。
⑪Load Cached latent
謎
⑫Load Checkpoint
使用するモデルを選択
⑬Frame warpなど
このあたりが仲間っぽい。falseを押すとTrueになり、3Dモードが発動する感じ？
⑭Load Video
Uploadのところをクリックするとハイブリット用のファイルをアップロード出来る模様
⑮Hybrid motion
ハイブリットビデオを使用するときの設定。webuiと同じものが選べる
⑯Blend conditionningsなど
変えなくても良さそう？
⑰Save video
FPSはここで記載
ということでした。
上記で、実行したところ、よくわからないエラーがでました。
refreshとかを押してもうまくいかなかったのですが、再起動をしてみると上手く動きました。
生成したファイルは、「output」にあります。
エラーが出ても、慌ててpipinstallとかで対応せず、refreshと再起動をするというのがComfyUIでは良さそうな気がしました。
ストレージは9GBぐらいになりました。
エラー的なものに対する対処について
個人的に遭遇したエラーと対処方法について記載しておきます。エラー多すぎ。。。。。
①Machineを立ち上げた後、JSONを入れるとこのようなエラーが出る。
これはgitcloneを使用した際にうまくインストールされなかったもので起きるようです。ComfyUI ManagerでFixを押して修正して立ち上げ直します。
Managerでfixを押して、RESTARTして、ページを閉じて、コマンドからUIを立ち上げる
するとエラーがなくなった状態で立ち上がります。理由は不明。
②なんだかずっと画像生成するんだけど。。。。
Animation parameterというのを入れる
上のJSONファイルだと、フレーム数の指定する場所がないため、これを入れてフレーム数を指定するとやりやすい。
③画像のサイズはデフォルトだと以下のようなエラーが出る。
RuntimeError: The size of tensor a (960) must match the size of tensor b (896) at non-singleton dimension 1
画像のサイズを以下に修正したらエラーが解消しました。より大きいサイズの場合は1280x1280も可能でした。
④Iterator Nodeの所で止まる気がする
⇒reset_latentをクリックしてTrueにすると改善することがある
⑤なんだか連続で再生してくれない
⇒上のNodeで一番下のをTrueにして、Auto queueにチェックしてから開始する
⑥よく分からないエラーが出た
⇒数値・記号を入力したのが全角だったのを修正したら改善した
生成された画像
とりあえず、生成が成功するとなんとも言えない達成感が味わえます。
この記事が気に入ったらサポートをしてみませんか？