sd-webui-forgeでの「tiled diffusion」もどきのアップスケール方法について試してみた

tiled diffusionは、sd webuiにある拡張機能で、アップスケール機能をよく使用していました。
この機能は、元々の画像を綺麗にブラッシュアップが出来たのが良いところです。特に動画だと、例えばanimatediffなどでは512x512ともともと解像度が低いこともあり、アップスケールが必須でした。
DeforumでSDXLを使用し始めてから、使用しなくなったのですが、それはSDXLを使用したtiled diffusionのようなアップスケールが使えないことも一因にありました。

Tiled diffusionの問題点として、vramをそこそこ使用するため、調整は必要な点がありました。そのため、SDXLでの運用は既存のsd-webuiでは難しいところでした(試してはいませんが。。)

今回の記事はSDXLで、tiled diffusion的なことが出来ないかということで試してみた記事になります。

基本的なtiled diffusionの流れを提示します。
①拡張機能をオンにする。
②アップスケーラーと、倍率を選ぶ
③コントロールネットのtileを使用する

上記の手順に合わせてsd-webui-forgeで同じように出来ないかやってみました。
①については、デフォルトに「multi diffusion integrated」というのがあるのですが、アップスケールの項目が削除されています。

②のアップスケーラーについては、拡張機能の「Ultimate SD upscale」というのが、「available」のところから探すと見つかります。

これをインストールして、Scriptsの所から選びます。もともとある「SD upscale」だとエラーが出たりしました。

③コントロールネットについては、最近出たTileモデルを使用します。

TTPLanet_SDXL_Controlnet_Tile_Realistic - v2.0_fp16 | Stable Diffusion Controlnet | Civitai

プリプロセッサーを「tile colorfix + sharp」にします。ウェイトは好みです。

④倍率とデノイジングストレスを設定します。
数値を入れるのが面倒なので、「resize by」のタグで倍率指定すると楽だと思います。デノイジングストレスが0.49なのは、入力ミス的なところがありますが、これぐらいが良さそうな印象です。

civitaiにあったプロンプトを一部修正したものでサムネを作成してることにしました。
score_9, score_8_up, score_7_up, rating_explicit, uncensored, masterpiece, (gigantic breasts), oversized breasts, microwaist, tiny waist, 1girl, japanese, cutesie,cutest girl in the world, adorable, sweet, charming, tight shirt, very short skirt, handbag over shoulder, in public, on busy street, turning to viewer

これをデノイジングストレス0.49で作成したもの

tileのウェイトとデノイジングストレスは、期待する内容に合わせて調整する必要がありそうです。
tileを上げると、元絵に近くはなりますが、それほどブラッシュアップされない形になります。

結論
SD-webui-forgeでも、tiled diffusionもどきのことが出来ました。
ただ、tileのコントロールネットモデルの影響なのか、SD1.5と少し効果が違う印象です。そのため、微調整が必要と感じました。
tileモデル自体は他にもありますので、そのあたりは未検討です。