WaifuDiffusion×Colab×AUTOMATIC1111（WEB UI)を使ってる時用のメモ

こんにちは、三島です。
Waifu Diffusion×AUTOMATIC1111（WEB UI）を便利に使いはじめて、早一週間くらい経ちました。自分用のメモを残しておきます。

技術的に参考になるかは分かりません。ですが、自分が覚えるためにも放出しておきます。

注意！

当記事では、お絵かきAIWaifu Diffusionv1.3とAnythingv3.0の話が出てきます。ご注意ください。

また著者はおえかきAIを、自創作のインスピレーションのために利用しています。ですので、紹介するAI生成イラストの中には、明らかに破綻した絵も混じっています。

創作に活かした事例もnoteにまとめたいですね・・・！！！

AUTOMATIC1111とは

AUTOMATIC1111とは、Stable Diffusion WEB UIの一種で一番人気のものらしいです。高性能だし納得のひと言ｱﾙﾖ。

AUTOMATIC1111（WEB UI)をColabで動かす方法は、さまざまな記事にて紹介されています。
特にGIGAZINEの記事はひと通り読んでおくと捗ります。当方もめっちゃ参考にしてます。

画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK＆自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ

Waifu DiffusionをAUTOMATIC1111で動かす方法も紹介されています。

【高速化】Stable Diffusion web UI : AUTOMATIC1111をGoogle colabで便利に使う - MarkdownとBullet Journal

Colabの設定

でも自身は何やかんやあって、Anythingv3.0用に公開されているColab notebookをWD用に改変して使用しています。

anything v3.0をgoogle colabで使う (stable diffusion web ui版) - game snap

改変箇所のみ記述します。

WEB UIで生成したイラストをグーグルドライブに自動保存すると捗るので、ドライブをマウントしましょう。コマンドでも出来ますが、何故かコードを打ち込めとエラーが出るので・・・（手動でも楽なので放置ナゥ）

#ドライブのマウント
from google.colab import drive
drive.mount('/content/drive')

Waifu DiffusionはFULL版を利用するとGPUのキャパオーバーになるので、「float16」を指定しましょう（一敗）

#Waifu Diffusionをインストールする
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-3/resolve/main/wd-v1-3-float16.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-v1-3-float16.ckpt

AUTOMATIC1111の設定

いちばん重要なところ～！！！！
WEB UIが無事開けたら「settings」に飛びます。
本当は日本語ローカライズも出来るらしいですが、エラーが出て出来ていません。（二敗）

Saving images/grids（ファイル名の変更）

Images filename pattern（生成したイラストのファイル名の法則）を
「[seed]-[sampler]-[steps]-[cfg]」
（シード値・サンプラー名・ステップ数・CFGスケール）に変更します。
生成ガチャを回し直す時に捗ると思います。

Paths for saving（保存先の変更）

Output directory for txt2img images（生成したイラストの保存先）を
/content/drive/MyDrive/好きな保存先
にすると、いちいち保存しなくて良いので楽です。
他の項目の保存先もDriveの任意のフォルダにしとくと楽ですよ。

保存先をドライブに変更するときは、Colabのノートブック側でドライブのマウントを忘れずに行いましょう。

てか地味にコレを解説した記事が見つからなくて困りました・・・
みんなローカライズ出来てるﾉｶﾅ・・・

ここまで行ったら「Apply Settings」で設定を保存します。

WEB UI操作画面の自分用解説

操作画面の解説はGIGAZINEが参考になります。

画像生成AI「Stable Diffusion」で崩れがちな顔をきれいにできる「GFPGAN」を簡単に使える「Stable Diffusion web UI(AUTOMATIC1111版)」の基本的な使い方

自分用のメモなので、毎秒迷う部分だけ解説を残しておきます。

Sampling Steps（ステップ数）

ステップ数は、画像生成のフィードバックを何回行うか設定する項目です。
110くらいまでは増やしても大丈夫らしいです。
いつも60くらいに設定しています。

Width×Height（画像サイズ）

WDの場合512×512px（正方形）が一番打率が高い気がします。
学習元サイズがこのサイズに最適化されているらしいし・・・

・768×512px（NAIのLandscape）
・512×768px（NAIのPortrait）
はAI神絵を生成したい時に使えそうですね！

Batch count（生成する画像の枚数）

AUTOMATIC1111は複数枚生成が出来ます。過去の自分聞いてるか～？？？
複数枚生成には時間がかかるので、settingsから「Request browser notifications（ブラウザ通知）」をオンにしときましょう。

CFG Scale（AIにどれだけおまかせする？）

CFGスケールは、プロンプトにどれだけ沿うか指定する項目です。
小さくするとAI任せになり、大きくすると指示に沿った内容になります。
7~11辺りがデフォで、たまに5でも面白いかも。

NAIや縁みたいな画風ロック強めのモデルを使うときは、スケール低めの方がマスピ顔じゃない絵が出やすくなると思います。

InpaintのMasked content（マスクした部分の処理方法）

項目一覧のざっくりかいせつ
・fill（背景に合わせて単色塗りつぶし）
・original（元絵に合わせる）
・latent noise（ノイズで塗りつぶし）
・latent nothing（無に置き換える）

「latent noise」以外使ってるよ！

Sampling method全種類選んで出てきたイラスト

サンプラーの種類（17種類）

1. Euler a

2. Euler

3. LMS

4. Heun

5. DPM2

6. DPM2 a

7. DPM++ 2S a

8. DPM++ 2M

9. DPM fast

10. DPM adaptive

11. LMS Karras

12. DPM2 Karras

13. DPM2 a Karras

14. DPM++2S a Karras

15. DPM++2M Karras

16. DDIM

17. PLMS

サンプラーを変えると、生成時間や構図の安定度が変わるらしいです。
参照記事はこちら

Waifu Diffusion で効率的に画像を生成する

※検証用にAnythingv3.0（縁）の絵も上げます。

Waifu Diffusion（WD）のイラスト比較

WD…左上から上段１～５、下段６～１０

WD…左上から上段11～14、下段15～17

1枚目右下「10.DPM adaptive」が好きだったので、この後めちゃくちゃ量産しました。

Anythingv3.0（縁）のイラスト比較

左上から上段１～５、下段６～１０

左上から上段11～14、下段15～17

（ち、違いが分からねぇ・・・！！！）
この中だと「Euler」や「DPM2 Karras」辺りが好きでしたが、無難に？Eulerでしばらく生成していました。 

感想

次回WEB UIを開いたとき戸惑わない用のメモでしたが、想像以上に長くなりましたね。WEB UIを導入したことで、より深い沼に入った気がします。

Colab無料枠だといよいよ足りなくなってきましたね…
BANの恐れがあるので、NSFWも生成出来ませんし。
来月辺り別のGPUクラウドサービスを使うか、NovelAIに課金するか迷ってます。

とりあえず12月はじめのWaifu Diffusionv1.4を全力待機します！
WD勢が増えて情報量が増えますように。