高解像度生成における形状崩壊[StableDiffusion]

こんにちは。昨日StableDiffusion2.0と1.5の比較記事を投稿しましたが、内容に大きな誤りがあると同時に、今の今まで知らなかった「高解像度生成時に形状が崩壊する現象」を知りましたので、今回は個人的なまとめとなります。

現在は非公開になっているクソ記事。

上記記事の投稿時は「はえ～、2.0すっごい…」と思ったのですが、よく考えたら流石になんかおかしいので再度検証してみましたが、そもそもStableDiffusion自体が過剰な高解像度生成を行う際に形状が崩壊するみたいですねこれ。生成はSD1.5です。

解像度704*488。Inside an old Magical Shop, Magic Items on shelves, books, beautiful labels, fantasy vendor interior, wide angle, highly detailed, rich bright colors, trending on artstation

768*512

832*576

896*640

960*704

1024*768

1216*896

ホラーか～？？GPUはVRAM8GBの2060S、使用モデルはv1,5-pruned-emaonly、サンプラーはDPM2a、ステップ数は50で生成しています。ステップ数を150にしても崩壊具合に変化はありませんでした。普段AI弄る際は488*704辺りで生成してからアップスケーラーを使っていたのでこの現象に気付きませんでしたね。ちなみに私の環境がマズいのかとも思い本家のDreamStudioの方でも試してみました。

DreamStudioでのテスト。

高解像度生成で形状崩壊してますねぇ。どうもSD自体がマズいみたいです。ていうかDreamStudioは高解像度生成は消費コストも跳ねあがるけど、形状崩壊してるもんで金とっちゃ駄目じゃないの…。

SD派生モデルでも発生するのかと思いNovelAIでも試しましたが、こちらでは崩壊は起こっていないように見えます。

NovelAI。モデルはNAIDiffusionAnime(FULL)

もうちょっと大きい解像度でも試したいところですが、NAIのサービスでは生成できる最大解像度は1024*1024なのだ。

ツイッターで見かける「AIが描いた超綺麗イラスト！」でたまになんか細部がグチャついてるヤツを見かけたのは、この高解像度生成における形状崩壊が発生していたのではないでしょうか。あと先日公開されたStableDiffusion2.0は基本解像度が512*512から768*768に増加しているので、この形状崩壊が起こるまでの猶予も長くなっているようです。私が先日の記事で「2.0凄い！1.5は細部が変！」と誤解したのはこの為です。

StableDiffusion2.0での生成。1024*1024

1216*1216

1344*1344

という訳で高解像度生成時の形状崩壊のまとめでした。全然知らなかったゾ…。今後のAI創作に役立てよう。ていうか結局SD2.0が1.5より細部精度上がってるのか再度検証したいんじゃ。