見出し画像

Stable Diffusion（VAEとアップスケーリング）

ちゃそ（喫宴所）

試したいこと

  • VAEの有無などでどのように絵柄がかわるのか？

  • アップスケーリングの威力

VAE

比較

  • VAEなし

  • kl-f8-anime2.ckpt（アニメ絵に特化したVAEらしい）

  • vae-ft-mse-840000-ema-pruned（実写系、写真などのモデルに良いらしい）

その他の条件

  • Prompt

    • Positive: 1 girl, {twintails}, yellow eyes, aqua hair, white dress, seductive smile, outdoors, pov from above, lying on the bridge, (lake:1.2), pixiv, high resolution, 4k

    • Negative(Abyssそのまま): nsfw, (worst quality, low quality:1.4), (lip, nose, tooth, rouge, lipstick, eyeshadow:1.4), (blush:1.2), (jpeg artifacts:1.4), (depth of field, bokeh, blurry, film grain, chromatic aberration, lens flare:1.0), (1boy, abs, muscular, rib:1.0), greyscale, monochrome, dusty sunbeams, trembling, motion lines, motion blur, emphasis lines, text, title, logo, signature,

  • Model: AbyssOrangeMix2_sfw

  • Sampling Method: Euler a

  • Sampling Steps 80

  • CFG Scale: 7

結果

VAEなし

kl-f8-anime2.ckpt

vae-ft-mse-840000-ema-pruned

アップスケーリング

upscalerはLatent(nearest-exact)を使用した。小さいサイズ（今回は512x512）から解像度を上げてきれいな画像を作る。

いじっているパラメータは

  • Upscaler: アップスケーリングの計算方法。ノイズの有無や不自然な要素が追加されたりするので適切なのを選ぶ

  • Denoising  strength: 

今回は2倍に拡大(512 x 512 -> 1024 x 1024)

その他の条件

  • VAE: kl-f8-anime2.ckpt

結果

なし

あり

Latent(nearest-exact), Denoising strength: 0.7 右下湖面に人が浮かび始めて草

アップスケールを挟むことで高精細な画像ができていることが分かるが、SamplerやDenoising Strengthの大きさで元の画像と異なる要素が入ってきたりしている

結果（Denoising strengthの差異）

元画像

Strengthが低すぎると粗くなり、高すぎるとオリジナリティが増す感じ。

横に並べる機能はStable Diffusion Web UIのX/Y/Z Plotを使っている。楽。

低すぎるのは画像が粗くなってしまうのでちょっと使い道に乏しいが、高くなるとオリジナリティのガチャを楽しめそうな予感。

忠実に再現しつつ、解像度を上げるには

  • Samplerを決める（Samplerの差異は宿題にします。。。）

  • Denoising Strengthを0.4-0.7の間で変えながらいいのを探す

のが必要そう。

参考


この記事が気に入ったらサポートをしてみませんか？