AI日和-#10 話題のFLUX.1をComfyUIを使ってMacで立ち上げる
最近、画像生成の分野でFLUX.1という元Stable Diffusionの開発者だった人達が立ち上げたBlack Forest Labs (BFL)から発表されたので、ハカセアイさんのnote記事を参考に立ち上げて触ってみました。（有料会員向けですが、とっても詳しい内容でいつも勉強になりますし、サポートもバッチリです。）
今回はComfyUIを使って立ち上げます。元々Stable Diffusionを触り始めたときからStability Matrixを使ってComfyUIを立ち上げてあったので、そこのところは今回省略します。性能もMidjourney v6、DALLE3、Stable Diffusion3を上回るといわれています。
バージョンは【Pro】【dev】【schnell】と3バージョンありますが、一番使いやすく、Hugging faceでいろいろ公開されているので、これで立ち上げる事にしました。
まずはWeightのダウンロード
Hugging FaceからWeightをダウンロードしてComfyUI/models/unetフォルダーに格納します。下記からflux1_dev.safetensorsをダウンロードします。いろんな方の解説では拡張子が.sftになっていますが、数日前に変わりました。
次はVAEをダウンロード
同じくHugging Faceからae.safetensorsをダウンロードしてComfyUI/models/vaeに格納します。（これも拡張子が.sftから.safetensorsに変わっています。）この辺の拡張子の違いがあとでWork FLowの設定で変更が必要です。
CLIPモデルのダウンロード
今度は下記のHugging Faceページから
clip_l.safetensors、
t5xxl_fp16.safetensors または t5xxl_fp8_e4m3fn.safetensors）をダウンロードして、ComfyUI/models/clipに格納します。
t5xxl_fp16.safetensorsはメモリが少なくても使えるバージョンのようなので、Macの僕はこちらを選びました。
（追記：t5xxl_fp8_e4m3fn.safetensorsも試しましたが、特に問題なく動作しました。もしかすると生成時間も早い気がします。）
Work Flowをダウンロード
ComfyUIのWork Flowも準備されているので、まずは動かすのが目的なので下記を使ってみます。
ご存知のように、ここに出てくる猫耳娘のイラストをComfyUIのワークスペースにDrag & DropするとWork Flowが立ち上がります。こんな感じ。
これで導入は完了です。
生成のためのセットアップ
InputのDualCLIPLoaderのところのclip_name1、name2をそれぞれ、さっきダウンロードしたものに変更します。
出したい画像のPromptをここに入れます。
最後に注意はデフォルトのWork Flowはそれぞれ.sftの拡張子で書いてありますので.safetensorsに変更してセット完了です。ここを変えないとこんなエラーメッセージが出て焦ります。
最後はQueue Promptをクリックすれば、あとは生成されるのを待つだけです。
お試し生成結果
今回はMIdjourney v6.1で生成したこの画像のPromptをそのまま使って生成しました。
FLUX.1の生成結果はこんな感じ。
ただのカエルになっちゃいました。💦
生成時間は早いと書いてありましたが、10分くらいかかってしまいました。僕のMacはM2でVRAMが24GBですが、やっぱり早いグラボの搭載されているWinマシンがSD用に欲しくなっちゃいます。
まだまだ調整は必要ですね。来週は夏休みなんで、色々と試してみる事にします。
追加でclipをt5xxl_fp8_e4m3fn.safetensorsでも試しました。
やっぱり普通のカエルになった。何でだろう？でも画質はこっちの方が良さそうです。
最後まで読んでくれてありがとうございます。高評価やスキをして貰えるととっても嬉しいです。更にコーヒーなんてご馳走して貰えると更に嬉しくなっちゃいます。皆さんのご参考になってもらえれば嬉しいです。
2024/8/7
この記事が気に入ったらサポートをしてみませんか？