Stable Diffusion 2.1をAUTOMATIC1111版WebUIなどで使う方法

2022年12月8日 22:32

　2022年12月7日、画像生成AIのStable Diffusionの最新版であるStable Diffusion 2.1（SD2.1）がリリースされました。
【参考】Stability AIのプレスリリース
　これを多機能と使いやすさで定評のあるWebユーザーインターフェイスのAUTOMATIC1111版Stable Diffusion web UIで使用する方法について解説します。
　また、SD2.1を利用できる他のWebUIも紹介します。複雑な機能を求めないのなら、こちらの方が起動が早いので、おすすめかも知れません。
　なお、SD2.1でなくても、このweb UIを使ってみたい人は以下のデモサイトを試してみてください。

〇 AUTOMATIC1111版Stable Diffusion web UIのデモサイト

〇 SD2.1のデモサイト

1．SD2.1の概要

　SD2.1は、先月（2022年11月）24日にStability AIから発表されたSD2.0の改善バージョンです。
SD2.0は、新テキストエンコーダーのOpenCLIP-ViT/Hを採用し、以前のバージョンに比べて画像品質を大幅に向上させましたが、アダルトコンテンツなどを排除するNSFWフィルターの制限が厳しすぎたことなどもあり、これまで使用していたプロンプトの一部が使えない、有名画家の画風や有名人の画像を利用できないなどの不満や批判が上がっていました。
　今回のSD2.1では、ユーザーの要望を受けて、フィルターの制限を見直すなどの改善が行われています。今回の主な改善ポイントは以下の通りです。

NSFWフィルターの制限を緩和
AIの苦手な手足や指の表現を改善
SD2.0から導入したネガティブプロンプトを更に改善
横長画像などの非標準の縦横比に対応

　オンライン有料サービスのDream Studioでは既にSD2.1を導入済みです。
　また、プロンプトと出力画像の参考事例を集めたStable Diffusion Prompt Bookを同時に公表しています。

2．AUTOMATIC1111版WebUIにSD2.1を導入する方法

　今回は、AUTOMATIC1111版Stable Diffusion web UIにSD2.0を導入するために、camenduruさんのGoogle Colabノートを使用します。
　まず、以下のサイトにアクセスして、Colabノートを開きます。その際、Googleアカウントへのアクセスを求められたら、自分のアカウントにログインしてください。

　すると、セルが一つだけ現れ、そこにコードが記載されています。
　ここでメニューの「ランタイムのタイプの変更」で「GPU」を選択しておきます。あとは、セルの実行ボタンをクリックして、最後に表示されるRunning on public URL: の後のリンクをクリックすると、Stable Diffusion web UIの操作画面が開きます。セルの実行ボタンを押してから6分くらいで起動します。
　操作画面でプロンプトを入力し、Generateボタンをクリックすると、サイズ768×768でSampling steps=20の場合、１枚15秒程度で画像が表示されます（768より小さいサイズで生成すると画質が悪くなります。）。

　なお、このコードには、拡張機能として、アニメーションを自動生成できるDeforumの他、Civitai Browser、LoRAネットワークの追加、Double Exposure Embedding、AnimeScreencapなどのオプション機能が多数追加されています。
　また、Civitai Browserを導入すると、Civitai掲載モデルをWebUIから後でダウンロードすることが可能になります。
　これらの拡張機能が不要な人は、以下の修正版をご利用ください。高速読み込みができるsafetensorsも導入しています。

〇拡張機能削除の修正版

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
!wget https://huggingface.co/stabilityai/stable-diffusion-2-1/resolve/main/v2-1_768-ema-pruned.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/v2-1_768-ema-pruned.safetensors
!wget https://raw.githubusercontent.com/Stability-AI/stablediffusion/main/configs/stable-diffusion/v2-inference-v.yaml -O /content/stable-diffusion-webui/models/Stable-diffusion/v2-1_768-ema-pruned.yaml
!python launch.py --share --xformers --enable-insecure-extension-access

　Google Colabなどの使い方がよく分からない方は、以下の記事を参考にしてください。

　また、Diffusers版のSD2.1をGoogle Colabで試す方法をnpakaさんが解説されています。

３．他のWebUIを利用する方法

　AUTOMATIC1111版以外の使いやすいWebUIとしては、qunashさんの「Stable Diffusion v 2.1 web UI」があります。このWebUIは、text to image以外にimage to image、inpainting（部分修正）、upscaling（拡大）にも対応しています。
　このWebUIを利用するには、以下のサイトにアクセスしてColabノートを開いてください。

　次に、上部のランタイムのタブから「ランタイムのタイプの変更」をクリックして「GPU」を選択し、「すべてのセルを実行」をクリックします。そして、最後に表示されるRunning on public URL:の後のリンクをクリックすると、操作画面が開きます。セルの実行ボタンを押してから3分弱で起動します。
　操作画面でプロンプトを入力しGenerateボタンをクリックすると、サイズ768×768でSteps=20の場合、１枚20秒程度で画像が表示されます。