Stable Diffusion(VAEとアップスケーリング)
試したいこと
VAEの有無などでどのように絵柄がかわるのか?
アップスケーリングの威力
VAE
比較
VAEなし
kl-f8-anime2.ckpt(アニメ絵に特化したVAEらしい)
vae-ft-mse-840000-ema-pruned(実写系、写真などのモデルに良いらしい)
その他の条件
Prompt
Positive: 1 girl, {twintails}, yellow eyes, aqua hair, white dress, seductive smile, outdoors, pov from above, lying on the bridge, (lake:1.2), pixiv, high resolution, 4k
Negative(Abyssそのまま): nsfw, (worst quality, low quality:1.4), (lip, nose, tooth, rouge, lipstick, eyeshadow:1.4), (blush:1.2), (jpeg artifacts:1.4), (depth of field, bokeh, blurry, film grain, chromatic aberration, lens flare:1.0), (1boy, abs, muscular, rib:1.0), greyscale, monochrome, dusty sunbeams, trembling, motion lines, motion blur, emphasis lines, text, title, logo, signature,
Model: AbyssOrangeMix2_sfw
Sampling Method: Euler a
Sampling Steps 80
CFG Scale: 7
結果
VAEなし
kl-f8-anime2.ckpt
vae-ft-mse-840000-ema-pruned
アップスケーリング
upscalerはLatent(nearest-exact)を使用した。小さいサイズ(今回は512x512)から解像度を上げてきれいな画像を作る。
いじっているパラメータは
Upscaler: アップスケーリングの計算方法。ノイズの有無や不自然な要素が追加されたりするので適切なのを選ぶ
Denoising strength:
今回は2倍に拡大(512 x 512 -> 1024 x 1024)
その他の条件
VAE: kl-f8-anime2.ckpt
結果
なし
あり
アップスケールを挟むことで高精細な画像ができていることが分かるが、SamplerやDenoising Strengthの大きさで元の画像と異なる要素が入ってきたりしている
結果(Denoising strengthの差異)
元画像
横に並べる機能はStable Diffusion Web UIのX/Y/Z Plotを使っている。楽。
低すぎるのは画像が粗くなってしまうのでちょっと使い道に乏しいが、高くなるとオリジナリティのガチャを楽しめそうな予感。
忠実に再現しつつ、解像度を上げるには
Samplerを決める(Samplerの差異は宿題にします。。。)
Denoising Strengthを0.4-0.7の間で変えながらいいのを探す
のが必要そう。
参考
VAE間の比較をしていました
https://economylife.net/hires-fix-upscaler-webui1111/
upscalerの比較
https://www.youtube.com/watch?v=NhPiYpCNBDY
Denoising Strengthの比較
https://kurokumasoft.com/2023/04/03/web-ui-xyz-plot/#toc1
X/Y/Z plotについての説明。
この記事が気に入ったらサポートをしてみませんか?