初心者向けの最も簡単なStable Diffusionの利用方法
Stable Diffusion（以下、SDと言います。）の簡単な利用方法について、色々と調べてきましたので、一旦、整理することにしました。ほとんど自分用の備忘録です。
※SDの派生モデルとして、Waifu-Diffusion、Japanese Stable Diffusion、Stable Diffusion web UI(AUTOMATIC1111版)も記載しています。
※どんどん新しいバージョンが発表されて、情報が古くなってきたので、改訂版を作成しました。こちらもご覧ください。
１．公式デモサイト（無料）
(1) Stable Diffusion Demo（文章から画像生成）
文章を入力してボタンを押すと、数分で一度に4枚の画像が生成されます。混んでいるときは時間がかかります。
(2) Diffuse The Rest（画像から新しい画像生成）
空白スペースにマウスで絵を描いたり、画像ファイルをアップロードしたりしてから、文章を入力してボタンを押すと、数分で数枚の異なる画風の画像が生成されます。混んでいるときは時間がかかります。
２．DreamStudio（公式オンラインサービス）
公式サイトにアカウント登録して、最初は無料で使用できます。￡2の無料枠があり、デフォルトの条件で約200枚の画像を無料で生成できます。無料枠を使い切ると、￡10（約1,600円）単位で有料枠を購入して使用を継続できます。支払いは、Visa、Masterなどのクレジットカード払いで、JCBには現在対応していません。
DreamStudioの利用手続きや使い方は、以下のサイトが詳しいです。
３．Memeplex（日本語対応無料オンラインサービス）
有名プログラマー兼実業家のshi3zさんがボランティアで提供する無料サービスです。日本語対応で、画風、スタイル、作家といった定番プロンプトをドロップダウンリストから選ぶことができ、数分で1枚の画像を生成して、ギャラリーにも公開されます。最初にGoogleアカウントでの登録が必要です。
SD以外にも、Waifu Diffusion、trinart、Japanese Stable Diffusion、ERNIE-ViLGなどの画像生成AIモデルを選択して画像を生成することができます。
４．Google Colab用公開ノートブックの利用
GitHubで公開されているGoogle Colab用ノートブックを利用することで、コードを入力しなくても簡単にSDをGoogle Colabにインストールできます。
なお、事前にSDのライセンス確認、Hugging Faceのアクセストークンの取得及びGoogle ColabのノートブックとGPUの設定が必要です。これらの事前作業の具体的な操作手順については、以下のサイトを参考にしてください。
(1) だだっこぱんださんのノートブック
だだっこぱんださんがコマンド入力不要で、GUIで操作できるSDのノートブックを以下のリンク先で公開しています。
上から順番にセルを実行していくだけで、SDをインストールすることができ、img2img（画像から新しい画像を生成する機能）も使用できます。
なお、途中で、事前作業で取得したアクセストークンの入力が必要です。
具体的な操作手順がよく分からない場合は、こちらの動画を参考にしてください。
(2) 深津CXOのノートブック
今月（2022年9月）5日、noteの深津CXOがSDのGoogle Colab用ノートブックを公開しました。下記５.の公式配布のものより軽くて、機能が追加されています。こちらもGUIで操作できます。
※現在、筆者の環境では、上手くインストールできません。何らかの不具合が起こっているのかもしれません。
具体的な操作方法は、以下の通りです。
1.GitHubページの「Open in Colab」ボタンを押してColabで開く
2.このページ上部のメニューで、「ランタイム > ランタイムのタイプを変更」からGPUを有効化を確認
3.HuggingFaceでアカウントを作成
4.SDのモデルページで、「利用規約」に合意
5.モデルファイル sd-v1-4.ckpt をダウンロード
6.モデルファイルを Google Drive等にアップロード
7.下のセル「1-1. Google Driveとの接続」を実行
8.下のセル「1-2. のフォーム」に、Google Driveにアップしたモデルのパスをセット（画面左のフォルダから、アップしたファイルを探して右クリックでパスを取得してコピペ）
9.このページ上部のメニューで、「ランタイム > 全てのセルを実行」を選択
10.一番下の方にGUIが出現（近くのURLで別窓でも開ける）
2回目以降は、9番から実行すればOK
追加機能は、以下の3点です。
タイルモード
同じデザインが繰り返すタイルのような画像が生成できます。プロンプトへの重みづけ
プロンプトのキーワードに数値で重みづけして、キーワードの優先度を指定することができます。2種類のプロンプトのブレンド生成
プロンプトAとプロンプトBをミックスした画像を生成できます。
実際に、インストールして使ってみましたが、画像生成が少し早くなったように感じます。追加機能は、まだあまり使っていないので、これから試してみます。
５．Google Colab用公式ノートブック
(1) Stable Diffusion with 🧨 diffusers（文章から画像生成）
「1. How to use StableDiffusionPipeline」以下のコードを順番に実行していくことにより、SDをインストールできます。
「prompt = "a photograph of an astronaut riding a horse"」の内容を書き換えることによって、好きな文章から画像を生成できます。
詳細な導入方法は、以下の記事をご覧ください。
(2) image-2-image using diffusers（画像から新しい画像生成）
こちらは、最初に用意された画像を自分が使いたい画像に変更するためにコードの修正が必要なので、少し大変です。修正方法などは、以下のサイトを参考にしてください。
なお、修正部分のコードは以下のようになります。
import requests
from io import BytesIO
from PIL import Image
init_img = Image.open("test.png").convert("RGB")
init_img = init_img.resize((512, 512))
init_img６．派生モデル
(1) Waifu Diffusion（二次元イラスト特化モデル）
Waifu Diffusionは、SDを490万枚以上の二次元イラストでチューニングした二次元イラスト特化型のモデルです。
この記事にも導入方法が記載されていますが、「AUTOMATIC1111版Stable Diffusion web UI」を利用してローカル環境に導入するため、少し高度な手順が必要となります。そこで、今回はGoogle Colabを利用した簡単な導入方法を説明します。
導入方法は、以下のサイトにアクセスして、上から順に2つのセルを実行するだけです。入力画面が表示されたら、英語で文章を入力してRunボタンをクリックすると、30秒ほどで画像が現れます。
（参考）Hugging FaceのWaifu Diffusion v1.3のサイト
(2) Japanese Stable Diffusion（日本語版モデル）
Japanese Stable Diffusionは、AI会話ボットの「りんな」の開発・運用で有名なrinna社がSDを日本語キャプション付きの約1億枚の画像で学習させた日本語版SDモデルです。日本語で入力して画像を生成することができます。
導入方法は、まず、Hugging FaceのJapanese Stable Diffusionのページにアクセスして、規約に同意し、このモデルのライセンスを確認します。
次に、以下のサイトにアクセスして、上から順にセルを実行していきます。途中でHugging Faceのアクセストークンの入力を求められますので、予め取得しておいてください。導入に成功すると、猫の画像が表示されます。
最後に、「5. Run with Gradio Demo!」の下のセルを実行すると、入力画面が表示され、日本語で文章を入力してRunボタンをクリックすると、1枚15秒ほどで画像が現れます。
残念ながら、本家のSDに比べて、あまり画像生成の精度は高くないようです。
(3) Stable Diffusion web UI(AUTOMATIC1111版)（多機能モデル）
Stable Diffusion web UI(AUTOMATIC1111版)は、背景拡張(Outpainting)、部分修正(Inpainting)、独自画像での絵柄学習(Textual Inversion)、顔画像の補正(GFPGAN)などの様々な機能が使える多機能モデルです。
導入方法については、だだっこぱんださんがGoogle Colab用のノートブックを公開してくださっていますので、今回はこれを利用します。
上記４.を参考にして、事前にSDのライセンス確認、Hugging Faceのアクセストークンの取得及びGoogle ColabのノートブックとGPUの設定を済ませておいてください。
以下のサイトにアクセスして、「1.2 Setup model」 を開き、download_if_missing にチェックして、tokenの欄にHugging Faceのアクセストークンを入力してください。また、mount_google_drive にチェックしておくと、Googleドライブにモデルデータと生成画像が保存されます。
次に、メニューから、「ランタイム ⇒ すべてのセルを実行」をクリックしてセルを実行します（最初のセルの実行完了にはかなり時間がかかります。）。mount_google_drive にチェックした場合は、途中でGoogleアカウントの認証が必要です。
最後にURLが2つ表示されますので、下側のpublic URLの方をクリックして、Web UIを起動してください。操作画面が表示されたら、Promptの欄に英語で文章を入力して、Generateボタンをクリックすると、20秒くらいで画像が現れます。
なお、頻繁に機能がアップデートされるため、本家のGoogle Colab用のノートブックからのインストール方法やローカル環境へのインストール方法も載せておきます。
以下のサイトからGoogle Colab用のノートブックにアクセスします。
import osのところでクラッシュの表示が出ますが、気にせず上から順に実行していけば大丈夫です。途中でHugging Faceのアクセストークンを入力するところがありますので、事前にトークンを入手しておいてください。
最後に表示されるRunning on publicの後のURLをクリックすると、AUTOMATIC1111版Stable Diffusion web UIが起動します。
この記事が気に入ったらサポートをしてみませんか？