見出し画像

新しいSDXL用のコントロールネットモデルを試してみた：MistoLine(2024/5)

shiba*2

Mistolineは、先日発表されたSDXL用のコントロールネットモデルになります。
ラインアート系のモデルになりますが、紹介ページの画像を見ると、これまでのSDXL用のコントロールネットモデルと比較してかなり良さげな印象です。

モデルは上のサイトからダウンロード出来ます。

※Forge depth fmブランチ用のコマンド：tmp用

# コントロールネットmistoline
!cd /tmp/stable-diffusion-webui/models/ControlNet && \
wget -nc https://huggingface.co/TheMistoAI/MistoLine/resolve/main/mistoLine_fp16.safetensors?download=true -O mistoLine_fp16.safetensors

サイトを確認してもらえれば分かりますが、このコントロールネットモデルは、PlaygroundV2.5, CosXL, and SDXL-Lightningのモデルには対応していないようですが、多くのSDXLモデルで使用出来るようです。ポニー系でも行ける。

プリプロセッサーは既存のcanny, lineartなどでも使用出来ますが、このモデルように「anyline」というものがあるようです。
現段階では、それは公開されていません。

他のコントロールネットモデルとの併用も可能とのことです。

ということで以下、試してみた実例紹介になります。
試してみたプリプロセッサー
canny
lineart realistic 
softedge teed

プロンプト：AIピクターズさんのものを一部拝借しました。
masterpiece, best quality, extremely detailed, 1girl, German, lolita fashion, little red riding hood, cape, wearing a red hood, white dirndl, brown corset, long skirt, light brown hair, braids, blue eyes, mouth opened, storefront, counter, (medieval crowd at storefront), (a lot of medieval customers), mud wall store, Taco shop, tropical, zPDXLrl

元画像

①Canny
デフォルトの設定だと以下の様な色味が変になります。
ウェイトを減らすなど調節をする必要があります。

※この画像の設定でも、一定頻度で変な画像が出ます。

※Cannyモデルを使用した場合(下の方と同じ設定)

②lineart realistic
デフォルトの状態

※この画像の設定でも、一定頻度で変な画像が出ます。

※Cannyモデルを使用した場合

③softedge teed

ウェイト１
ウェイトを調節したもの

ということで、上の中だとcannyとlineart realisticが良さげな印象でした。
これは、使用するモデルなどによっても変わってきそうな印象です。

また、参考までにdiffuser xl canny fullを使用したのも上げていますが、mistolineの方に軍配が上がりそうですね。
色んなプリプロセッサーに対応するというのも非常に使い勝手が良いと感じました。

この記事が気に入ったらサポートをしてみませんか？