DiffusersベースのStable Diffusion自作GUIをGitHubに置きました

依然として休養中ですが、生活に変化がありました。メインPCが戻ってきました。メインとは言え事務用PCの性能ですが、キーボードが打ちやすい…！

自作GUIをGitHubに置きました

さてタイトルの通り、上の記事にもある自作GUIをGitHubに置きました。記事の後も修正を続けたり、Readmeという名の説明書を作ったりしました。GitHubを使うのも初めてなので、うまく出来ているかどうか。
格好つけて完成した段階でまとめてrebase & pushしたものの、ちょこちょこミスが見つかって早速修正しました。これがわがクオリティ。

Diffusersのライブラリに合わせて、ライセンスは一応Apache License 2.0にしています。Long Prompt Weighting の部分も、Diffusers公式のcommunity pipelineを呼び出すことにしました。
現状、モデル学習含めいろいろと未対応ですが、特にSD2.1など768x768サイズのモデルで画像生成がうまく出来ないという本来の目的が果たせていない状況なので、時間を見つけて対処したいです。unstable diffusionの呼び出しでミスっている？

最後に、タイトルの絵の左二人はReadme作成中に偶然できたもので、Readme本文にはありません。ある意味Note限定コンテンツ。

inpaintの作例のシード探索中に見つけた。マスクに阻まれている。
耳のように見えるのは遠景の屋根
aesthetic official photogenic detailed pastel CG anime illustration of one full-body girl portrait, (smiling:1.1) young lady, blue eyes, silver short hair, fair skin, light novel, manga, delicate fine Negative prompt: inaccurate or extra limb, (bad:1.2), (ugly:1.2), cropped head, out of frame, watermark, signature, text, jpeg artifacts, blurry, monochrome, nude
Steps: 20, Sampler: DPM++ 2M, CFG scale: 7.0, Seed: 639988019, Size: 512x512
追記：モデルはTrinArt v2, Denoising strengthは1.0, Masked contentはlatent noise

inpaintの作例のパラメータ調整に難儀していた時に発見。かわいい
(aesthetic:1.2) official photogenic detailed pastel CG anime illustration of one girl portrait, smiling young lady, blue eyes, silver short hair, fair skin, light novel, manga, delicate fine
Negative prompt: inaccurate or extra limb, (bad:1.2), (ugly:1.2), cropped head, out of frame, watermark, signature, text, jpeg artifacts, blurry, monochrome, nude, blue hair, red eyes
Steps: 20, Sampler: DPM++ 2M, CFG scale: 7.0, Seed: 2973002612, Size: 512x512
追記：モデルはTrinArt v2, Denoising strengthは1.0, Masked contentはlatent noise

1/27追記

768x768モデルを使った画像生成にも応急処置的に対応しました。
・モデルの寸法を見てpipelineを切り替えます。512x512モデルのときはunstable diffusionを使用し、768x768モデルのときはLPW pipelineを使用します
・768x768モデルのときは、inpaintのMasked contentの選択肢から latent noise, randomlyを除外します

下の作例は動作確認用にtxt2imgで作りました。ひとまず遊べそうです。

我らが stabilityai/stable-diffusion-2-1 モデル
(aesthetic:1.2) official photogenic detailed pastel CG anime illustration of one girl portrait, smiling young lady, blue eyes, silver short hair, fair skin, light novel, manga, delicate fine
Negative prompt: inaccurate or extra limb, (bad:1.2), (ugly:1.2), cropped head, out of frame, watermark, signature, text, jpeg artifacts, blurry, monochrome, nude, blue hair, red eyes
Steps: 20, Sampler: DPM++ 2M, CFG scale: 7.0, Seed: 3791605967, Size: 768x768