![見出し画像](https://assets.st-note.com/production/uploads/images/123507884/rectangle_large_type_2_76e46fdbbd0a2b4d31763f27132f6542.png?width=1200)
ComfyUI使ってみた話
画像生成系のUIはいくつか種類があるようで、
有名なのはStable Diffusion WebUI(AUTOMATIC1111)と、
今回触ってみたComfyUIではないかと思う
どんな感じ?と聞かれたら↓こんな感じというほか無い。
![](https://assets.st-note.com/img/1701619020812-1R6Tu2V6Dl.png?width=1200)
画像は、StableVideoDiffusionを動かしてみている例になる。
各種パラメータや依存関係がぱっと見でわかって非常に明瞭。
ノードベースのUIということで、ある程度処理フローを組めるのが最大の特徴ではないかと思う。
例えば、SDXLと組み合わせて吐き出した画像をそのままSVDで動かしたり、
ContorollNetを繋げて、複数画像を結合させたりできるらしい。
Unityと格闘していてあまりちゃんと触れてないので、
せめてインストール方法だけでも紹介しておく…
インストール方法
とはいえ、今回はラッキーなことに公式のReadmeに従えばちゃんと動いた。昨今なかなかそうも行かない事が多い中ありがたい…
Windows由来の仮想環境を切るところが多少苦戦したのと、
GPUとPytorchがうまく繋がってなかったので再度入れ直したぐらいで動いてくれた。
SVD導入
ついでなのでSVDの導入も少しだけ…
SVDのmodels を ComfyUI/models/svd/にダウンロード
svd.safetensors - Download
svd_image_decoder.safetensors - Download
svd_xt.safetensors - Download
svd_xt_image_decoder.safetensors - Download
SVDの生成グラフをコピー
ComfyUIのグラフを「Clear」でクリアしてから、以下のページにあるwebpファイル(image_to_video.webpとか)を画面にドラッグ&ドロップすると、冒頭に貼ったグラフが出てくるので、あとはお好みで動画生成を楽しめる。
保存がwebp形式だったので、MP4とかに出来ると嬉しいけどよくわからず…諦めて手元で変換してるけど、いい方法があったら差し替えたい。
SVDで60フレーム作らせてみたらめちゃめちゃダイナミックに動き始めた
— ⚁マクダラ (@makudara) December 3, 2023
PV向き。多分。 pic.twitter.com/wpF0SeSgKg
パラメータいじって遊んでたらなかなかダイナミックがなのが出来て満足
この記事が気に入ったらサポートをしてみませんか?