超初心者向けcomfyUI備忘録
はじめに
この記事は筆者がcomfyUIを初めてから4日後に書いている。
つまり4日でもある程度のやりたいことは出来るようになるってことだ。
とっつきにくさしかないcomfyUIだが、落ち着いてやればどうにかなるっぽい。
多分。
筆者がcomfyUIを始めることになったきっかけ
852話さんの作ったゲーム「曖昧夢 - AImAIm-」が好きすぎる。
このゲームはにじジャーニーで作った画像を様々な方法でアニメーションして動画にしているとのこと。
その様々な方法のひとつにcomfyUIが含まれている。
じゃあやるしかなくない? comfyUI。
以前から興味があったので思い切ってやることに。
目標
・最終的には曖昧夢みたいなゲームを作る
そのために
・1枚の絵をアニメーションさせる
・2枚の絵を中割アニメーションさせる
おまけとして
・いつもautomatic1111でやってることをcomfyUIで再現する
・なんかAIで動いたり変化する可愛いコル音イムが見たい。
環境構築
とにかくスペックの低いパソコンを使用しているため、ローカル環境はどうしても諦めざるを得ない。
Google ColabでcomfyUIを始めることに。
ってことでこちらの記事のURLからcolabノートブックを使うことに。
後述するけどComfyUI Managerがないとマジで話にならないんですよね。
あとGoogleドライブとは連携します。毎回色々ダウンロードするのは面倒なので。
んでまぁGoogleドライブにも容量課金しちゃったよね……。仕方ないよね……。
今回主に使用するモデルは「LittleStepMix_A」
1.5系モデルで、NAIリークを使用していない商業利用も可な安全なモデル。
塗りも綺麗だし元の絵の個性を潰さない、無難に良いモデルである。
好きなLoRA(flat2、hyper detailer、他好きな絵柄Lora、自作Loraなど)を/content/drive/MyDrive/ComfyUI/models/lorasに入れておく。
やはり1.5系からは離れられない……。
/content/drive/MyDrive/ComfyUI/models/vaeに「vae-ft-mse-840000-ema-pruned.safetensors」を入れておく。
大体これ入れておけばどうにかなる。
controlnetも一通りなんとかして入れよう。
場所は /content/drive/MyDrive/ComfyUI/models/controlnet
4日前の私に言いたいこと
comfyUIを無事起動して、とにかくやりたいと思ったことに近いものの人様のワークフローを片っ端から探してダウンロードして放り込んで、ERRORを出して、ComfyUI Managerで色々インストールする作業から始まる。
「install Missing Customu Nodes」を押して出てきたもの片っ端からinstallする。
それが終わればだいぶ楽だから。頑張れ。
あとは何もない画面でダブルクリックすると検索機能が出てくる。
あとは線引っ張ると候補とか出てくる。
そういうのでなんとかする。なんとかして。
1枚の絵をアニメーションする
いくつか方法がある。
なお必要な動画モデルはanimatediff以外は「models/checkpoints」に放り込んでおけばどうにかなる説ある。
Stable Video
初歩的な方法。簡単。こちらはプロンプトを入れることが出来ない。完全にAIのお任せ。
DynamiCrafter
プロンプトを入れることで動きをコントロールできる。
ワークフローはこちら↓
animatediff
automatic1111でやる分には絵を載せるだけで良さそうなのだが、comfyUIでやる時はcontrolnetを通す必要があるようだ。
↑1枚の絵をアニメするやつ、ざっくり自作したもの載せとくね
controlnetのどれが良いかは自分で色々試してほしい。
とりあえずtileが安定だろか。もちろんcontrolnetの重ね掛けもできる。
2枚の絵を中割アニメーションさせる
animatediff
これに関してはこの方のnote見ればOK。ワークフローも載ってる。感謝。
↓こっちの記事でもいけると言えばいける。
DynamiCrafter
ワークフロー見よう見まねで作ったけどコレ中割じゃなかったね。
↑見よう見まねで作ったワークフロー。
書き込み量増加i2i
見よう見まねで自作。automatic1111でいつもやってること。
このワークフローを改造して
ラフから線画仕上げi2i、ラフからカラー着色i2iも作れる。作れた。
入れるLoRAとcontrolnet変えるだけの簡単なお仕事。
そんなわけで
comfyUI初めて4日目の私、m2mに挑戦するも、気になる配布ワークフローを読み込んでもComfyUI Managerからinstallに悉く失敗して原因を突き止められずにいる。わからん。なんでインストール失敗するの。原因不明すぎる。
んでm2mワークフロー自作するとして、とりあえずそれっぽい形になったけど、設定のミスですぐERRORを吐き、成功率は低い。
controlnetがうまくいく時といかない時がある。もうわからん。
おわりに
comfyUIなんもわからん。
かわいいコル音イムがたくさん見れたから満足です。
いや技術的にやりたいことがやれることがわかったならゲーム作れよ。
おわり。
この記事が気に入ったらサポートをしてみませんか?