Stable Diffusion Web UI Forge で FLUX.1 を。【GPU VRAM 8GB で何故動けたのかという検証も。】
FLUX.1 という「Stable Diffusion」共同開発者たちがスピンアウトして
作った会社の描画プラットフォームが最近話題です。
本家の SD3 が期待外れだったという話と対照的に扱われる話題でした。
ただ私はもう次々と出て来る描画環境に関しては追い求めるより、
現環境をとことん使いこなして表現を蓄積して順次公開するほうが
創作者としては大事ではないかと、距離を置くところがありました。
メイン描画PC である、GeForce RTX4060（GPU VRAM 8 GB）の
ノートPC のハードウエア環境は閉じたもので拡張は出来ませんし、
紹介記事での作例の女性像に「ぜひ自身でも描いてみたい」と
いう魅力も皆無でした。西洋人が上から見下ろす「薄汚い東洋人
女性」という印象を正直否めませんでした。Disney 全般の中でも
特に「ポカホンタス」キャラなど強烈に忌み嫌う当方ですので。
同種族維持本能なのかも知れません（それはそれでAI 描画の論議を
離れて旧帝大卒理学士として実に興味深い）が、当方がSD 1.5 描画
の世界で追求する「東洋人が美しいと憧れる、西洋人には到底理解不能
である東洋人の美の極致」とはあまりに乖離が大きいのでした。
まあそんな諦観とは別に Stable Diffusion Web UI Forge に対して
久々に update.bat を実行しました。
Stable Diffusion Web UI（AUTOMATIC 1111 版）は現状の描画ニュアンス
を壊したくなく、これからもリビジョンアップするつもりは全く無い
ですが、逆の割り切り（AUTOMATIC 1111 版とは既に描画ニュアンスが
異なるなら、ということです）で Stable Diffusion Web UI Forge は
どんどん最新状態にして行けば良いと考えていましたので。
update.bat 実行後、Stable Diffusion Web UI Forge を起動しましたら
随分長い時間、何かをインストールしてなかなか立ち上がりません。
「またアーカイブファイルから環境を作り直さないといけない事態か？」
と様子を見ていましたら….。
えっ？これは最近の記事で見たことのある FLUX.1 対応の UI では？
UI 画面の左上端に従来の「sd」以外に「flux」の選択肢が
ありました。（「xl」は SDXL を使う時に指定するのか….？）
手のひらクルーン状態で、慌てて最近拝見した記事を拝読しました。
（有益な情報公開をありがとうございます。）
….とのこと。記事の筆者の動作環境で実行可能でも、GeForce RTX4060
（GPU VRAM 8 GB）のノートPC で動作可能かは分かりません。
しかし「RTX3070 TI （8GB VRAM）でも生成可能」という文言に
希望をつなぎました。
しかし….。
どれを選択しても、これらの大きなファイルが GPU VRAM 8GB に収まる
筈もありません。
「ちっ。なんだよぉー….。」と落胆しながらも、一旦は記事に従って
「迷った場合はlllyasviel氏イチオシの「Dev（NF4）」にしておこう。」
で作業を進めました。
設定も記事にある推奨値をそのまま使い、プロンプトにただ「dog」
と入力して「Generate」ボタンを押しました。
背後のバッチ（処理実体）ではロードエラーも出ず、何か走り始め
ました….。
おっ。おっ。描画も進みだし、背後に「dog」が見えます。
しかし描画が 100 % になる直前にPC 画面が一旦真っ暗になって、その後、
画面が戻った時にはバッチが異常終了してました。
Fooocus が登場する以前の Stable Diffusion Web UI（AUTOMATIC 1111 版）
で事情知らずのまま、SDXL 系の CheckPoint ファイルで描画させた時の
「ほぼ描き切れてるのに何故最後で真っ暗？」を思い出します。
（当時は生成画が真っ黒になったのでした。）
記事にするために進行を画面キャプチャしてペイントに貼り付けなどを
繰り返していたのが、ギリギリのメモリ都合上で良くなかったかと、
再度 Stable Diffusion Web UI Forge を起動して再実行し、今度は静観
していましたら、今度は Chrome 全体が落ちてしまいました。
明らかにメモリ不足の状態です。
やはり現環境では最も小さいモデルを選んで、それが実行可能でないと
もう諦めるしかないのだ、やはり新しいプラットフォームより現環境
での表現追求だ、と再び手のひら逆クルーン状態で、
CheckPoint ファイルに最小サイズ（それでも 11.5 GBがどうVRAM 8 GB
に乗るというのか）の flux1-schnell-bnb-nf4.safetensors を使い、
VAE/Text Encorder に t5xxl_fp8_e4m3fn.safetensors を指定して再実行
しました。（一旦消してよい Chrome のタブウインドウも全部閉じ
ました。）
おっ。おっ。今度は最後まで走りそうです。背後に何かの画も
見えます。
何故異常終了しないのか？処理実体のバッチに、
[Memory Management] Required Inference Memory: 1024.00 MB
[Memory Management] Estimated Remaining GPU Memory: -1028.35 MB
[Memory Management] Loaded to CPU Swap: 2239.35 MB (blocked method)
[Memory Management] Loaded to GPU: 4002.05 MB
とあり、GPU の VRAM で収まらないところを CPU の VRAM にスワップ
して続行した、というのでしょうか….。
これが上掲記事にあった「以前では考えられないような少ない VRAM 環境
でも FLUX.1 による生成は可能」のキモというかカラクリなのでしょうか。
（追記：同日）
この動きは FLUX.1 側の動作ではなく、update 後の
Stable Diffusion Web UI Forge の仕様のようでした。SDXL 描画でも
同様の動きを確認しましたので。元来不足の筈の VRAM 環境でも
FLUX.1 を動かせるように改変された仕様なのかもしれませんが。
その結果、出ました。FLUX.1 の「dog」。
きっと最底グレードの画質と表現なのでしょうが、自身のローカルPC
においてStable Diffusion Web UI Forge で、Stable Diffusion 以外の
描画技術が可能となった瞬間です。
胸毛がクリーミーで、SDXL 画みたいな印象もある「dog」です。
SDXL 系と同様に描画の選択肢が増えたと考えて、以降扱って行こうと
思います。（再び手のひらクルーン。手首ちぎれそう….。）
冒頭の記述の通り、あくまで私の表現の主戦場は SD1.5 ですので。
ご覧いただきありがとうございます。