ComfyUIでFLUX.1モデルを動かす。

FLUX.1モデルの導入時に躓いたのでメモしておきます。(2024/8/2)

筆者環境：
Windows11
RAM 80GB
i7-12700F
RTX4070ti 16GB

後述しますが、RAMを激しく食います。

(注意！)ComfyUIのダウンロード

筆者が普段使っているバージョンのComfyUIで試そうとしたら、
SamplerCustomAdvancedとBasicGuiderとRandomNoiseというノードが足りないという表示が出ました。
カスタムノードかと思っていたらビルトインノードが不足しているためだったようで最新のものを使いました。

今回は以下の
"ComfyUI_windows_portable_nvidia_or_cpu_nightly_pytorch.7z"をダウンロードしました。

CLIPモデルのダウンロード

comfyanonymous/flux_text_encoders at main

上記の赤で囲ったファイルをダウンロードします。
fp16とfp8のどちらかをダウンロードします。
公式にはRAMが32GB以上あるならfp16の"t5xxl_fp16.safetensors"をすすめていますが、実際にブラウザなど他のアプリも開いているので40GB以上は必要になると思います。
fp8の"t5xxl_fp8_e4m3fn.safetensors"なら以下の通り25GBほどでおさまっています。
生成時のモデルの読み込み時に最大65GBほど読み込んでいて驚きました。

fp16の場合

fp8の場合

ダウンロードしたものはmodelsのclipにいれます。

VAEのダウンロード

ae.sft · black-forest-labs/FLUX.1-schnell at main

ダウンロードしたものはmodelsのvaeにいれます。

FLUX.1モデルのダウンロード

2つあるようでどちらも20GB越えで激重です。
どちらかをダウンロードしてください。
Schnell は蒸留された 4 ステップ モデルのようです。

black-forest-labs/FLUX.1-dev at main

flux1-schnell.sft · black-forest-labs/FLUX.1-schnell at main

ダウンロードしたものはmodelsのunetにいれます。

モデル生成

以下がワークフローの画像です。
Flux Dev
https://github.com/comfyanonymous/ComfyUI_examples/raw/master/flux/flux_dev_example.png

Flux Schnell
https://github.com/comfyanonymous/ComfyUI_examples/raw/master/flux/flux_schnell_example.png

1枚生成するのに45秒ほどかかってます。かなり重いですね。
VRAMが常に張り付いているので、4090とか24GB以上あるGPUならもっと早く生成できるんだろう。

上2つがFlux Devで、下2つがFlux Schnell。
Devのほうが明らかにいい感じにできるが、まだ研究していないのでよく分からない。