初級者編：コラ生成にも元画像生成にも使えるControlNet（３）

ではControlNet実践編です。
まずは元画像を生成してみようと思います。

１．まずはおさらい

前回までの記事で作成したファイルを開き、WebUIを起動して下さい。
今回から見ている方は、GoogleColabで新規ファイルを作成していただき、以下のコードをコピペし、上から順番に再生ボタンを押していって下さい。
URLが２つ並んで表示されたら、下のURLをクリックしてください。

# 上段：AUTOMATIC1111のインストール　
# 中段：VAE&モデルのインストール

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

!wget https://huggingface.co/nuigurumi/basil_mix/resolve/main/Basil_mix_fixed.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/Basil_mix_fixed.safetensors
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -O /content/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.safetensors

# ControlNetのインストール

%cd /content/stable-diffusion-webui/extensions/
!git clone https://github.com/Mikubill/sd-webui-controlnet
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_canny-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_canny-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_depth-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_depth-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_hed-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_hed-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_mlsd-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_mlsd-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_normal-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_normal-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_openpose-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_openpose-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_scribble-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_scribble-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_seg-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_seg-fp16.safetensors

# 起動

%cd /content/stable-diffusion-webui
!python launch.py --share --xformers --enable-insecure-extension-access

以下のようになっていればOKです

再生ボタンを押していくとURLが上下に並んで２つ表示されるので、下のURLをクリックしてください。

（注：画像は別ファイルの起動時のものです）

２．ポーズを作るか、拾ってこよう

ControlNetはポーズ情報を直接与えてあげるのが早いので、ポーズ作成用のソフトを使って好みのポーズを作りましょう。

棒人間生成ソフト：https://thup.work/miniup/?mode=dl&id=14203
ポース人形生成ソフト：fu1959929.zip

ただし僕はめんどくさがりなので、ポーズ集から適当に使っていたりもします。

zPose Catwalk Styles 1 (pose helper) | Stable Diffusion Poses | Civitai

POSES - 30 Female Poses | Stable Diffusion Poses | Civitai

他にも同サイトにポーズ集はたくさんアップされてますので、そちらを利用するのが個人的にはオススメですね。

さて、ポーズ集の棒人間を使うことを前提にここから先の解説を行います。
WebUIの下の方に”ControlNetというタブがありますので、◁ボタンを押して展開して下さい。
そして以下の画像を参考に、以下の手順で作業を行って下さい。
①用意したポーズ画像をドロップしてください
②Enableのところにチェックマークを入れて下さい
③何も選択しないで下さい
④"openpose"となっているものを選択して下さい。

この作業が終わったら画面の上に戻り、呪文の入力を行って、画像の生成を開始して下さい。
①（プロンプト）の文章例
(RAW photo:1.2), (photorealistic:1.4),(masterpiece:1.4),(best quality:1.4),ultra high res,Kpop idol
②（ネガティブプロンプト）の文章例
(worst quality:2), (low quality:2), (normal quality:2), lowres,
③を押すと生成が開始される

そして僕はいくつかの不正行為を行って、以下のような画像の生成に成功しました。

ちなみにアジア人系の可愛い顔を生み出す方法は色々ありますが、chilloutmixというモデルと、Korean Doll LikenessというLoRAを使うのが手っ取り早いです。ここではURLの紹介に留めますが、興味がある方はご自身で導入してみていただけると幸いです。

ChilloutMix - Chilloutmix-Ni-pruned-fp32-fix | Stable Diffusion Checkpoint | Civitai

Korean Doll Likeness | Stable Diffusion LORA | Civitai

固めコラまで作る予定でしたが、長くなりましたので一旦区切ります。
次回は生成した画像を固めコラします。