Stable Diffusion Web UIをGoogle Colab上で動かし、Lora(学習データ)も使ってリアルな画像を生成するメモ
概略
Google Colabはwebで動くpython環境のことです。
そこにStable Diffusion Web UIをインストールしてパソコン(やスマホ)からアクセスする形になります。
Colabの利用にはGoogleアカウントが必要です。
今回はLoraという追加の学習データも利用してより自分好みの画像を生成できるようチャレンジします。
手順
1 Google Colabの設定
上記のリンクをからGoogle Colabにアクセスします。
事前にGoogleへのログインを済ませておいてください。
アクセスしたら「ノートブックを新規作成」を選択して新しいノートブックを作ります。
作成し終えたらタブの「編集」→「ノートブックの編集」から「ハードウェア アクセラレータ」を「GPU」に変更して保存します。これで処理速度が上がります。
2 Stable Diffusion Web UIのインストール
「+コード」をクリックして新しいコマンド入力ラインを出して、下記の二行を記述し、左の実行ボタンでコードを実行します。
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
!mkdir /content/stable-diffusion-webui/models/Lora3 モデルのダウンロード
モデルとは画像を生成するうえでベースとなるデータのことです。
今回は最近人気なChilloutMixを使います。
下記を実行してChilloutMixのダウンロードをします。
!wget https://civitai.com/api/download/models/11745 -O /content/stable-diffusion-webui/models/Stable-diffusion/chilloutmix_NiPrunedFp32Fix.safetensors
4 Loraのダウンロード
Loraが必要ないという人はこの手順をスキップしてください。
スキップしても問題はありません。
Loraは主に下記のサイトで配布されています。
自分が作りたい画像のキーワードで検索するといいでしょう。
今回はウマ娘のミホノブルボンというキャラクターのLoraを使います。
ダウンロードのコードは下記のようになります。
!wget https://civitai.com/api/download/models/10570 -O /content/stable-diffusion-webui/models/Lora/mihonoburubon.safetensors!wgetはダウンロードのコマンドです。続くURLはダウンロードするファイルのURLです。配布ページにある「Downlaod latest」を右クリックし「リンクのアドレスをコピー」でダウンロードURLをコピペできます。
-Oは名前を付けて保存のコマンドです。Loraファイルは/content/stable-diffusion-webui/models/Lora/に保存される必要があります。名前はわかりやすいものにしておくといいでしょう。拡張子は.safetensorsです。
5 Web UIの実行
下記のコードでWeb UIを起動します。
!python launch.py --share --xformers --enable-insecure-extension-access
しばらく時間がかかります。
下記のようにURLが２つ表示されたら成功です。
2つ目のURLから実行中のWeb UIにアクセスできます。
6 画像の生成とLoraの選択
今回使用するpromptです。
(raw photo:1.2),((photorealistic:1.4)),best quality ,masterpiece, illustration, an extremely delicate and beautiful, extremely detailed ,CG ,unity ,8k wallpaper, Amazing, finely detail, masterpiece,best quality,official art,extremely detailed CG unity 8k wallpaper,absurdres, incredibly absurdres, huge filesize, ultra-detailed, highres, extremely detailed,beautiful detailed girl, extremely detailed eyes and face, beautiful detailed eyes,light on face,cinematic lighting, 1girl, full body, standing, looking at viewer, ((bliss)), mihono bourbon(umamusume), umamusume, ((white leotard)), covered navel, lowleg skirt, detached sleeves, bare shoulders, white miniskirt, ((pink necktie)), (cosplay), (light-blue ring on right horse ear), (Silver diamond-shaped ornament), (Black sf shaped cyborg shoes), posing,, <lora:mihonoburubon:0.8>negative promptです。
lowres, bad anatomy, text, bad face, error, extra digit, fewer digits, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, {blurry}, missing arms, missing legs, more than two legs, Sampling MethodはDPM++ SDE Karrasがおすすめです。
顔が崩れてしまうという場合はRestore facesのチェックをオンにします。
Hires.Fixは高画質化するオプションですがメモリを多く使用しすぎてWeb UIの反応がなくなる時があります。その場合ページをリロードしてください。入力したpromptなどは消えるので注意して下さい。
Loraの選択方法ですが、下記のように「Generate」ボタンの真ん中のアイコンをクリックします。タブが出現するので右にある「Lora」を選択します。ダウンロードしたLoraが表示されるので、使用したいものをクリックすると自動的promptが追加されます。
(2023/11/21:追記)
アップデートによりUIが変わりました。Lora選択は下記のようにLoraタブに切り替えて行います。希望のLoraをクリックすると自動的にpromptが追加されます。
<lora:mihonoburubon:0.8>
こんな風になると思います。数字はLoraの強度で、0.8～0.6がオススメとされています。
画像が出来上がりました。
なかなか一発で思い通りのものが出来上がることは少ないです。
ぜひ何度も挑戦してみてください。
7 生成した画像の一括ダウンロード
下記のコードで出力フォルダをzipに圧縮してダウンロード可能です。
ダウンロードにはしばらく時間がかかります。
!zip -r /content/folders.zip !zip -r /content/stable-diffusion-webui/outputs/img2img-images/2023-02-25
from google.colab import files
files.download("/content/folders.zip")一行目の最後を自分のものに変えてください。
Colabの左側のファイルブラウザーから目的のフォルダを右クリック→パスをコピー。
8 おまけ
アニメ調のモデルのダウンロードコード
Counterfeit-V2.5
!wget https://civitai.com/api/download/models/7425 -O /content/stable-diffusion-webui/models/Stable-diffusion/CounterfeitV25_25.safetensors
OrangeMix2
!wget https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix2/Pruned/AbyssOrangeMix2_nsfw_pruned_fp16_with_VAE.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/AbyssOrangeMix2_nsfw_pruned_fp16_with_VAE.safetensors
人気のvaeのダウンロードコード
Web UI起動後、Settingsタブ→Stable Diffusion→SD VAEからvaeを選択してオレンジ色のApply settingsボタンで適用。
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O /content/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.ckpt9 お役に立つサイト様
clip skipの設定
clip skipとはざっくり言うと出力結果にランダム性を加えるものです。
ポーズ等のプロンプト一覧
簡単にモザイクをかける方法(用PC)
高画質化
この記事が気に入ったらサポートをしてみませんか？