Stable Diffusion Web UI Forge への完全移行。高速化・低メモリ消費に加えて動画の質は劇的改善。【重要追記あり】
この記事で、Fooocus を使えばローカルPC でもSDXL 描画が出来る
ようになった、というnote 記事を公開しましたら、先人様から
Stable Diffusion Web UI Forge をコメントでご紹介いただきました。
（かいりん様、心より感謝いたします。）
（参考）かいりん様のnote サイト：
その日の時点で公開待ちのnote 記事が4 件蓄積していた（ブログ
で公開告知がてらのダイジェスト版を公開するのに2 日置きの
間隔をとっているため）ので、それらを先に公開しましたが、
作業ベースとしては早速その当日中に環境を作成して、 いくつかの
CheckPoint ファイルでテスト描画をした後、Stable Diffusion Web UI
（AUTOMATIC1111 版）のmodel（CheckPoint、LoRA、VAEなど）
と、Fooocus の同じくそれらをStable Diffusion Web UI Forge に
集めて1 つの環境での描画に移行しました。
Stable Diffusion Web UI（AUTOMATIC1111 版）と CheckPoint ファイルが
GeForce RTX4060 搭載ノートPC のC ドライブをかなり圧迫していたので、
Forge 環境はFooocus やNMKD Stable Diffusion GUI と同じく外付け SSD 上で
解凍・展開しましたら、うまく環境作成出来ました。
AUTOMATIC1111 版と CheckPoint ファイルなどの環境を共有するジョブが
ネット上で公開されていましたが、ドライブをまたがったためか、
うまく実行できず、全部コピー＆ペーストでForge 環境に持って来ました。
却ってForge への完全移行後は、AUTOMATIC1111 版の CheckPoint ファイル
は最小限にまで整理することが出来そうです。
Stable Diffusion Web UI（AUTOMATIC1111 版）での使い慣れたCheckPoint
ファイルでの描画の味わいが新環境でも変わらず、Fooocus に関しても
同様でした。
以下の描画に用いたプロンプト（全画共通）：
((portrait))+++, 1girl, ((solo)), (short cut hair), ((( wearing gray and black nano-suits)))+++, best quality, 8K, cinematic lighting, ultra HD, masterpiece, ultra high res, (photorealistic:1.2), extremely high quality RAW photograph, (complex, Machine background, spaceship outdoors background, Mecha Transport parts:0.5), (dark and foggy environment:0.5), ((heavy fog environment0.5)), (battlefield behind:0.5), photorealistic,
<lora:JapaneseDollLikeness_v15:0.3>
以下の描画に用いたネガティブ・プロンプト（全画共通）：
((mask))++, ((facemask))++, ((nipples))++, easynegative, ng_deepnegative_v1_75t, (worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, bad hands, normal quality, ((monochrome)), ((grayscale)), ((watermark)), (badhandv4), (bad fingers), (bad arms), (bad hands), (thin), sagging breast, huge breast, bad legs, ((deformed hand)), ((abnormal hand)), (long face:1), (less than five fingers:1), (more than five fingers:1, many fingers, six figners, seven fingers), (high forehead:1), ((slanted eyes)), sagging breast, badhandv4, Bad-Hands-5, fat, sagging breast, badhandv4, bad-hand-v5, big hand, three arms, ((long fingers)), tall body, long body, long legs, fat, thin, bad-hands-5, negative_hand-neg, six fingers, thress arms, three hands, fat legs, fat ass, thin body, (hand deformity, hand disability), (((small eyes, small squinting))), (((nsfw:1.5))), (((black line:1.5))), real face, small legs, thin body, ((HDA_BadHands_neg-neg))
使い慣れた meichidarkMix_meichidarkV45.safetensors での味わいは
変わらずでした。
先日ようやくFooocus で使えるようになったxxmix9realisticsdxl_v10.safetensors の柔らかい描画の味わいも同様でした。
の柔らかい描画の味わいも同様 (01)
の柔らかい描画の味わいも同様 (02)
使い慣れた mengxMixReal_v2.safetensors での味わいも変わらずでした。
高速化・低メモリ消費化の改善に加えて、新機能の1 つであるStable Video
Diffusion （SVD）機能を使って、Leonardo.Ai のように静止画1 画からの
動画生成も可能となり、AUTOMATIC1111 版の動画と比較して、劇的な
画質改善と不気味なガタつきの解消、 Tensol.Art 動画でも同様に見られた
1 動画が２シーンに強制分割される困った現象も解消しているという
画期的な改善が見られました。
非SDXL 系のCheckPoint ファイルによる静止画描画は、
Stable Diffusion Web UI（AUTOMATIC1111 版）で、SDXL 系の静止画
描画はFooocus でそれぞれ仕上げたものや mage.Space などでの静止画を、Leonardo.Ai やRunway で簡易動画化する、Tensol.Art の動画は独特の
味わいがあるので、併用してそれぞれ活用する….そんなバランスが
うまくそれぞれが嚙み合って良い感じだ、と思った矢先のことでした。
Leonardo.Ai の簡易動画ほどは滑らかではないものの、大幅に画質改善
されたStable Diffusion Web UI Forge を動画のメインに使うのも
良さそうです。ストーリー動画の素材として扱うのに、画質は充分
実用域に入ったと思えます。
何せ1 日の実行数上限が全く無いのが、大きな強みと言えます。
比較：同一プロンプトでの Stable Diffusion Web UI（AUTOMATIC1111 版）
での動画（ほぼベストの作例：mengxMixReal_v2.safetensors によるもの）
なんだかワクワクが止まりません(^^)。
ご覧いただきありがとうございます。
（重要追記：2024/08/19）
本記事は 5 か月後、上述の趣旨に重要な追加考察が必要な事態に
至りました。
Stable Diffusion Web UI Forge は、厳密には Stable Diffusion Web UI
（AUTOMATIC 1111 版）の完全上位互換ではなく、同一プロンプト、
seed 番号などの条件を統一して描画させても、異なる結果しか
得られないことが分かりました。
それを承知して両方を使うのか、納得の上、あえて片側を使うのかを
意識しなければならないという事実に至りました。
その発覚経緯と、私自身の今後の運用については、以下の記事に纏め
ましたので、ご参考に為さってください。
重ねてご覧いただきありがとうございます。
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？