Those finally come on there !! ControlNet tile for SDXL(＆others)

遂に、「これ」が登場しました !!

一年近く、「これ」を待っていた気もしますが…遂にSDXLで動作するControlNetモデルの「tile」が登場しました。

tile以外にも、cany、openpose、depth等基本的な機能に対してSDXL用モデルが公開されています。更に「union」という新機能もあるようです。

xinsir (qi)

早速、A1111のMultiDiffusion Upscalerと組み合わせて使いまくってます。

ControlNetがSDXLに対応した時に、CanyやOpenposeに関しては一応、SDXL用モデルが登場したものの、最も登場が望まれながら、ここまで遂に誰も開発してくれなかったのが「tile」でした。

※10.7 2024 追伸
とか言ってる傍から、3月時点で一つ開発されていたことを知りました。これもテストしていきたいと思います。

TTPLanet_SDXL_Controlnet_Tile_Realistic - v2.0_fp16 | Stable Diffusion Controlnet | Civitai

以前、以下の記事内で言及しましたが、似たモデルを日本人の方が開発してくださってはいましたが、完全に「SD15_tile」と同じものではないです。そもそも想定する用途が同じではないようですし。

A1111で、MultiDiffusionとSD15_tileを組み合わせてアップスケールする最大のメリットは「元絵は維持しつつ、書き込み密度を飛躍的に向上させる」点ですが、これまでSDXLで「それ」は基本的に不可能でした。

海外のフォーラムなどを見ても「なぜ、SDXL用のtileがないの ?」的なスレッドはよく見られたものです。

実際、私もずっとそう思っていました。

だからこそ、2024年5月に登場した↓は、画期的だったと思うのですが。

ControlNet 852_a_clone_xl https://t.co/UKOp0ZBDRl
SDXLのCN 「clone」を公開しました。挙動としてはtileみたいなCNです。白黒画像に対してはprompt 「monochrome」で対応できます。
形状を維持するので、小さな画像を大きくしたり、AnimateDiff使用時の入力動画を維持するのに利用できます。 pic.twitter.com/s76wvQJPpg

— 852話(hakoniwa) (@8co28) May 19, 2024

ただ、こちらのモデルではSD15_tileの特徴の一つだった「元絵の維持」という点で非常に優れていると思いますが、「書き込み密度の向上」という部分では、元々そういうコンセプトで作られたものではないと思われるので、その点ではSD15_tileと同じ…という訳ではありませんでした。

今回登場したSDXL用tileは何と単独で2.5GBもありますが、ここまでA1111でテストした限りではそれだけの性能は持っていそうです。

xinsir/controlnet-tile-sdxl-1.0 · Hugging Face

t2t 1024×1024

i2i x2 upscaled

今回、登場したSDXL用のtile、他cany、openpose、新機能と思われるunionなどは早速海外のクリエイターたちも注目しているようです。

また同時に、ありがたいことにA1111用のMultiDiffusion Upscalerが先日のアップデートで、SDXLでのTiled VAE機能が復活しています。

この部分は、この一年近く何やらいたちごっこの様で、SDXLでのTiled VAEは使えるようになったり、使えなくなったりの繰り返しでしたが、MultiDiffusion Upscaler開発者の方がエラーが起きる都度、プログラムの更新をしてくださっているのでありがたい事です。