DMD2の4step Loraで好きなモデルを高速化する

以前の記事でDMD2について紹介しました。
SDXLについては4step版のLoraが公開されていましたので、それを使用してみたという記事です。

dmd2_sdxl_4step_lora.safetensors · tianweiy/DMD2 at main

使用方法は非常に簡単です
①SDXLにLoraを付ける
②マージして使用する

ここの議論の後半にLoraのウェイトは0.5だとうまくいったとの記載もありましたので、モデルによってウェイトの調節が必要なようです。

＜注意点＞

サンプラーの設定が通常と異なるので注意です。
以下に設定を直す必要があります。
①ステップ数　４
②CFG　１
③サンプラー　LCM
④スケジューラー　Simple

DMD2-Loraワークフロー例.json

7.2 KB

ファイルダウンロードについて

ダウンロード

ここで使用したebara ponyの結果です。

1girl, young child, kawaii, long hair, happily picking flowers in a colorful flower field under a bright blue sky. She is smiling brightly, surrounded by blooming flowers of various colors.masterpiece, 4k, uncensored, prefect lighting, very aesthetic, anime

モデルによって相性などがあると思われますので参考まで。

ウェイト：1.2

ウェイト：1

ウェイト：0.8

ウェイト：0.6

ウェイト：0.5

ということで、ウェイトが高いと色が濃くなり、ウェイトが低いとぼやけてきます。
このあたりはLCMと同じですが、色合いはこちらの方が自然な感じで良いと思われます。
4stepなので生成は速いです。

PaperspaceのFree A4000だと、1024x1024を1枚生成するのに1.3s程度。

4stepなので、tiled diffusionも早いです。
1.5倍のupscaleだと10秒程度でした。

ただ、ステップ数が少ないこともあり、設定を調整する必要がありそうです。

この方法に関しては、非常に早く画像生成が出来ますが、ステップ数に関連した機能については使用できなくなるデメリットもあります。
①AYSスケジューラー：10ステップ以上必要
②Omost：部位指定の反映はステップ数が多い方が良い
③ノイズ法XL：追加したノイズが収束しなくなる

ここまで読まれた方は、想定されると思いますが、A1111やforgeでも同様に使えます。参考まで。