FLUX.1で遊ぶメモ

このメモを読むと

・FLUX.1での画像生成を試せる

検証環境

・OS : Windows11
・Mem : 64GB
・GPU : GeForce RTX™ 4090
・ローカル（pyenv+venv）
・python 3.10.12
・2024/8/B時点

FLUX.1

画像生成AIの火付け役 StableDiffusion開発陣が新たにチームを立ち上げ作成した、
様々な性能が向上している最新モデル。

試してみましょう！

Black Forest Labs - Frontier AI Lab

事前準備

ComfyUIを使って作業を行うため、まずはこちらを導入します。

環境構築

とても簡単です！

1. 追加ファイルのダウンロード
　こちら(Hugging Face) から下記をダウンロードします。
　・flux1-dev.safetensors (23.8GB)
　・ae.safetensors (335MB)
　こちら(Hugging Face)　から下記をダウンロードします
　・clip_l.safetensors (246MB)
　・t5xxl_fp16.safetensors (9.79 GB)
　・t5xxl_fp8_e4m3fn.safetensors (4.89GB)
　　　※t5xxl_fp8 はメモリを節約したい場合に使用します。

ダウンロード一覧

2. 追加ファイルの格納
　ダウンロードしたファイルを下記の構成で格納します。

ComfyUI
 └─ models
         ├── unet
         │        └── flux1-dev.safetensors
         ├── clip
         │        ├── clip_l.safetensors
         │        ├── t5xxl_fp16.safetensors
         │        └── t5xxl_fp8_e4m3fn.sft
         └── vae
                   └── ae.safetensors

3. 画像のダウンロード
　こちら から画像をダウンロードします。

完了です！

FLUX.1を動かしてみる

画像を生成してみましょう。

1. 下記コマンドにて、ComfyUIを起動

cd ComfyUI
.venv\scripts\activate
python main.py

こちらから起動

2. 先ほど保存した画像をUI画面へdrag＆dropし、ワークフロー呼び出し

drag＆drop

FLUX.1用のワークフローが自動構築されます

3. モデルを選択し、好きな生成文(prompt)を記述

　モデル　デフォルトの場合

VRAM使用量23GBくらい

　モデル　VRAMを節約したい場合

VRAM使用量16GBくらい

　プロンプト

A photorealistic portrait of a fit elderly man working out on a beach. The man has a lean and muscular physique, showcasing a slim but toned build. In the background, there's a sign with the word 'No Smoking' written on it.
ビーチで運動する健康な年配の男性の写実的なポートレート。この男性は引き締まった筋肉質の体格で、スリムでありながら引き締まった体格を誇っています。背景には「禁煙」と書かれた看板があります。

prompt

4. 生成開始

5. できた

　./output へ成果物が格納されます。

おわり

FLUX.1で画像生成できた。
ネガティブプロンプト無しでもある程度のクオリティが保てるようです。
単語の羅列ではなく文章での指示ができるのも魅力的ですね。
文字などの細かい描写への従順性も向上しているとのことでした。

おしょうしな

参考にさせていただきました。ありがとうございました。