Align Your Steps(AYS)とは？sd-webui-forgeのdev2に追加された機能(2024/5)
この機能は、forgeのdev2に最近追加されました。
論文がありましたので、記事にしました。
論文の題名と著者名、発行年
題名: Align Your Steps: Optimizing Sampling Schedules in Diffusion Models
発行年: 2024
どんなもの？
この論文は、ディフュージョンモデル（DM）におけるサンプリングスケジュールを最適化するための新しいフレームワーク「Align Your Steps（AYS）」を提案しています。ディフュージョンモデルは、画像や動画の生成において高品質な出力を提供しますが、サンプリング速度が遅いという問題があります。本研究では、確率過程から最適なスケジュールを見つけ出し、これまで手作業で設定されていたスケジュールに比べて出力の品質を向上させる方法を示しています。
先行研究と比べてどこがすごい？
従来の研究は主に効率的なソルバーの開発に焦点を当てていましたが、本研究は初めてサンプリングスケジュールの最適化に焦点を当てています。過去の手作業で設定されたスケジュールに依存することなく、確率過程とデータセットに応じた最適なスケジュールを見つけることができ、ほぼすべての実験で従来のスケジュールを上回る成果を上げています。
技術や手法のキモはどこ？
本研究の核心は、確率計算の手法を用いて、異なるソルバーやトレーニングされたDM、データセットに特化した最適なスケジュールを見つけ出すことです。具体的には、生成確率微分方程式（SDE）とその近似線形SDEとの間のKL発散の上限を最小化することで、最適なスケジュールを決定します。
どうやって有効だと検証した？
本手法は、画像、動画、および2Dトイデータの生成ベンチマークを使用して評価されました。様々な異なるサンプラーを用いて評価した結果、最適化されたスケジュールが従来の手作業で設定されたスケジュールをほぼすべての実験で上回りました。
議論はある？
本研究は、最適化の手法が他の生成モデルや高次のODEソルバーにも適用可能であることを示唆しています。また、ラベルやテキスト条件付きのスケジュール最適化への拡張も将来的な研究課題として議論されています。
ということの様です。
SD-webui-forgeのDev2版を立ち上げて見ます(最新版に更新必要)。
サンプラー選択画面の下の方を見てみると、AYSというのが追加されていました。
今の所確認できるものでは、上記の４つ
①Euler AYS
②Euler A AYS
③DPM＋＋２M AYS
④DPM＋＋２M SDE AYS
使用しているモデルなどの影響もありますが、③は個人的に結構良さそうな印象(※少ないステップ数で良い感じの画像が得られるという観点のみの評価)
プロンプト
A girl is floating underwater in a clear ocean. BREAK, Light pierces through the water, creating a fantastical atmosphere. BREAK, She drifts quietly with a calm expression, her hair spreading out in the water. BREAK, Colorful fish swim around, and corals shimmer beautifully. BREAK, The tranquility and beauty of the blue water mesmerize the viewer. uncensored, prefect lighting, very aesthetic, best quality, masterpiece
こんな意味らしい
透き通った海の中に少女が浮かんでいる。海の中には光が差し込み、幻想的な雰囲気が広がっている。少女はゆったりとした姿勢で、水の中で静かに漂っている。周囲にはカラフルな魚たちが泳ぎ、珊瑚が美しく輝いている。少女の髪が水の中でふわりと広がり、彼女の目には穏やかな表情が浮かんでいる。青い水の中に広がる静寂と美しさが、見る者を魅了する。
③-1：DPM++2M Karras step12
③-2:DPM++2M AYS step12
ステップ12ですが、良い感じの画像が生成出来ました。
DPM++2M SDE AYSは、DPM++2M AYSよりも、生成時間がかかりました。
このあたりは、個人の好みかと思います。
また、Deforumタブから選択できるサンプラーにはこのAYSは対応していないようです。。。
※知らないうちに、コントロールネットの方も使えるようになっていました。
この記事が気に入ったらサポートをしてみませんか？