様々な画像生成AIモデルをVladmandic版SD WebUIで使用する方法

先月、Google Colabが利用規約を改訂し、無料ColabでAUTOMATIC1111版Stable Diffusion WebUIが使用できなくなりました。
そこで、これに代わるWebUIとして注目されているVladmandic版SD WebUIの使い方について説明します。

(2023.07.29追記) SDXL 1.0を追加。

ChatGPTでサイバーパンク小説「Cyber Rebellion」: ChatGPTで本格的な小説を書く方法 + 自動小説生成プロンプトのおまけ付き

---

１．Vladmandic版SD WebUIの使い方

Google ColabでVladmandic版SD WebUIを使用する方法は、以下のとおりです。

(1) Vladmandic WebUI Colab

１．最初に、以下のサイトをクリックして、Colabノートを開いてください。

Google Colaboratory

すると、以下のようにLinaqrufさん作成のVladmandic版SD WebUIのColabノートが開きます。

Vladmandic版SD WebUIのColabノート

２．次に、ランタイムのタイプをGPUに変更して、最初のセル「Install Vladmandic Web UI」を実行します。設定はそのままで構いません。

３．その次に、2番目のセル「Download Model and VAE」の必要なモデルとVAEにチェックして、セルを実行します。複数のモデルを選択して、切り替えて使うこともできます。
デフォルトで選択できるモデルとVAEは以下のようになっています。
モデル：anything_v3_0, ghost_note, anylora, lunar_dream_v2, majic_mix_v4,replicant_v3, waifu_diffusion_v1_5_illusion, illuminati_diffusion_v1_1
VAE：anime, blessed, waifu_diffusion, stable_diffusion

４．ControlNetを利用する場合は、３番目のセル「ControlNet v1.1」の必要なモデルにチェックして、セルを実行します。利用しない場合は、このセルをスルーしてください。
SDv1.5用のControlNet v1.1以外に、SDv2.1用とWD1.5用のControlNet v1.0にも対応しています。

５．デフォルト設定の無いモデルやVAEを使用したい場合は、4番目のセル「Custom Download Corner」にモデル等のダウンロード先のURLを記入して、セルを実行します。デフォルトの設定でよい場合は、このセルをスルーしてください。

ダウンロード先のURLは、「２.モデルのダウンロード先一覧」を参照してください。
例えば、AbyssOrangeMix3を使いたい場合は、上記修正コードのURLを参考にして、
custom_model_url:に「https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3_orangemixs.safetensors」
custom_vae_url:に「https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/VAEs/orangemix.vae.pt」と記入します。

６．最後に、5番目のセル「Start Vladmandic Web UI」を実行します。設定はそのままで構いません。
そして、「Running on public URL:」の後のリンクをクリックすると、操作画面が立ち上がります。

Vladmandic版SD WebUIの操作画面

「masterpiece, best quality, 」と書かれた欄にプロンプト、「(worst quality, low quality:1.4)」と書かれた欄にネガティブ・プロンプトを入力して、Generateボタンをクリックすると、画面の右側に生成された画像が表示されます。

※WebUIの操作画面立上げ後にモデルを追加する方法

1. まず、5番目のセル「Start Vladmandic Web UI」の実行ボタンをクリックして、実行を止めてください。

2. 次に、4番目のセル「Custom Download Corner」に追加するモデルのURLを記入して、セルを実行します。

3. そして、また「Start Vladmandic Web UI」のセルの実行ボタンをクリックして再実行します。

4. 最後に、「Running on public URL:」の後のリンクをクリックして、新しい操作画面を立ち上げます。

5. モデルは、Settingsタブの「Stable Diffusion checkpoint」のドロップダウンリストで切り替えられます。

(2) Vladmandic WebUIのコード

上記のVladmandic Web UI Colabが不調の場合は、以下のコードをお使いください。
このコードをCtrl+VでColabノートにコピーして、GPUでセルを実行し、Running on public URL: の後のリンクをクリックすると操作画面が立ち上がります。

!git clone https://github.com/vladmandic/automatic
%cd /content/automatic/
!mkdir -p models/Stable-diffusion
!wget https://huggingface.co/BanKaiPls/AsianModel/resolve/main/BRAV5finalfp16.safetensors -O /content/automatic/models/Stable-diffusion/BRAV5finalfp16.safetensors
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O /content/automatic/models/Stable-diffusion/BRAV5finalfp16.vae.pt
!python launch.py --no-hashing --share --skip-extensions

デフォルトでBRAV5のモデルデータが入っていますので、他のモデルデータを利用したい場合には、「２．モデルのダウンロード先一覧」を参考に、コードの該当部分を書き換えて使用してください。

例えば、Openjourney v4を使用する場合の修正コードは以下のとおりです。

!wget https://huggingface.co/prompthero/openjourney/resolve/main/mdjrny-v4.safetensors -O /content/automatic/models/Stable-diffusion/mdjrny-v4.safetensors

Stable Diffusion AI画像生成ガイドブック

---

２．モデルのダウンロード先一覧

(1) デフォルト設定のあるモデル

デフォルト設定のある以下のモデルは、Colabノートの2番目のセル「Download Model and VAE」から必要なモデルとVAEにチェックして使用してください。

• anything_v3_0

• ghost_note

• anylora

• lunar_dream_v2

• majic_mix_v4

• replicant_v3

• waifu_diffusion_v1_5_illusion

• illuminati_diffusion_v1_1

(2) デフォルト設定の無いモデル

デフォルト設定の無いモデルを使用したい場合は、4番目のセル「Custom Download Corner」のcustom_model_url:にモデルのURL、custom_vae_url:にVAEのURLをコピーしてください。
なお、モデルデータの詳細は、それぞれのモデルデータの名前をクリックすると見ることができます。

◯ おすすめモデルの一括導入

おすすめモデル：
WD 1.5 Beta3 Radiance
Openjourney v4
Anything V4.5
Counterfeit-V2.5
AbyssOrangeMix3のAOM3A3とAOM3A1B
BRAV5

以下のURLを「Custom Download Corner」のcustom_model_url:にコピーすれば、これらのおすすめのモデルを一括で導入できます。

https://huggingface.co/waifu-diffusion/wd-1-5-beta3/resolve/main/wd-radiance-fp16.safetensors, https://huggingface.co/prompthero/openjourney-v4/resolve/main/openjourney-v4.ckpt, https://huggingface.co/ckpt/anything-v4.5-vae-swapped/resolve/main/anything-v4.5-vae-swapped.safetensors, https://huggingface.co/gsdf/Counterfeit-V2.5/resolve/main/Counterfeit-V2.5_pruned.safetensors, https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3A3_orangemixs.safetensors, https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3A1B_orangemixs.safetensors, https://huggingface.co/BanKaiPls/AsianModel/resolve/main/BRAV5finalfp16.safetensors

VAEはデフォルトのVAEをチェックして使用してください。

◯ モデル一覧

WD 1.5 Beta 3

〇 リリースノート
WD 1.5 Beta3には、Base, Radiance, Ink, Mofu, Illusionの5種類のモデルがあります。

https://huggingface.co/waifu-diffusion/wd-1-5-beta3/resolve/main/wd-beta3-base-fp16.safetensors, https://huggingface.co/waifu-diffusion/wd-1-5-beta3/resolve/main/wd-radiance-fp16.safetensors, https://huggingface.co/waifu-diffusion/wd-1-5-beta3/resolve/main/wd-ink-fp16.safetensors, https://huggingface.co/waifu-diffusion/wd-1-5-beta3/resolve/main/wd-mofu-fp16.safetensors, https://huggingface.co/waifu-diffusion/wd-1-5-beta3/resolve/main/wd-illusion-fp16.safetensors

※VAEはデフォルト設定のwaifu_diffusionを使用。

WD 1.5 Beta3 Radiance

Openjourney v4

https://huggingface.co/prompthero/openjourney-v4/resolve/main/openjourney-v4.ckpt

※VAEはデフォルト設定のstable_diffusionを使用。

Openjourney v4

Anything V3 & Anything V4.5

https://huggingface.co/ckpt/anything-v3-vae-swapped/resolve/main/anything-v3-vae-swapped.ckpt, https://huggingface.co/ckpt/anything-v4.5-vae-swapped/resolve/main/anything-v4.5-vae-swapped.safetensors

※VAEは不要。

Counterfeit-V2.0＆Counterfeit-V2.5

https://huggingface.co/gsdf/Counterfeit-V2.0/resolve/main/Counterfeit-V2.0fp16.safetensors, https://huggingface.co/gsdf/Counterfeit-V2.5/resolve/main/Counterfeit-V2.5_pruned.safetensors

〇 custom_vae_url:

https://huggingface.co/gsdf/Counterfeit-V2.5/resolve/main/Counterfeit-V2.5.vae.pt

Counterfeit-V2.5

AbyssOrangeMix3

AbyssOrangeMix3には、AOM3, AOM3A1, AOM3A2, AOM3A3, AOM3A1Bの５種類のモデルがあります。

https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3_orangemixs.safetensors, https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3A1_orangemixs.safetensors, https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3A2_orangemixs.safetensors, https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3A3_orangemixs.safetensors, https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3A1B_orangemixs.safetensors

〇 custom_vae_url:

https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/VAEs/orangemix.vae.pt

AbyssOrangeMix3 A1, A3, A2

BRA(Beautiful Realistic Asians)V5

https://huggingface.co/BanKaiPls/AsianModel/resolve/main/BRAV5finalfp16.safetensors

※VAEはデフォルト設定のstable_diffusionを使用。

BRAV5

SDHK v3.0

852話さんがNijijourney v5の出力した少数の画像でStable Diffusion 1.5をファインチューニングした実験モデル。

https://huggingface.co/luizC/sdhk/resolve/main/sdhk.safetensors

1girl close-up,kimonooutdoors,sitting

Unlimited Replicant

https://huggingface.co/alfredplpl/unlimited-replicant/resolve/main/unlimited_replicant.safetensors

masterpiece, anime, close up, white short hair, red eyes, 1girl, solo, red roses

〇 Hugging Face上のckptデータ集
様々なモデルのダウンロード先などのデータが掲載されています。

ckpt (ckpt)

先読み！IT×ビジネス講座　画像生成AI

---

３．無料で利用できるオンライン画像生成サービス

(1) Image Creator

日本語プロンプトでの画像生成が可能なMicrosoft Bingのオンラインサービス。文章読解力が高いので、あまりプロンプトを考えずに普通の言葉でnote記事のタイトル画像や挿絵画像を生成できるので便利です。
プロンプトの例：「〇〇というタイトルの記事の表紙に相応しいイラスト」

Bing Image CreatorBing

(2) Clipdrop

様々な画像生成・編集機能を提供するStability AIのオンラインサービス。
Stable Diffusion XLは、プロンプトを入力してスタイルを選択すると、一度に4枚の高精細画像を生成します。アカウント登録すると、画像にClipdropという文字が入りますが、1日400枚まで生成できます。
他にも、入力した画像から様々なバリエーションを生成するReimagine XL、入力した画像の外側をAIが想像して描くUNCROPなど様々な機能があります。

Create stunning visuals in seconds with AI.

(3) Memeplex.app

有名プログラマーの清水亮さんが立ち上げた日本語プロンプトでの画像生成が可能な無料オンラインサービス。
いくつかのプロンプトを試して、気に入った画像が生成できたら、ループバックボタンを押して、類似した画像を複数生成し、その中から最も気に入った画像を選ぶという使い方がお勧めです。

Memeplex AI Autonomous Atrier

OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門

---

４．SDXL 1.0

パイプラインの準備

!pip install diffusers
!pip install invisible_watermark transformers accelerate safetensors
from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", 
    torch_dtype=torch.float16, 
    use_safetensors=True, 
    variant="fp16"
)
pipe.to("cuda")

画像生成の実行

prompt = "cute cat ear maid"
image = pipe(prompt=prompt).images[0]
image.save("output.png")
image

SDXL 1.0