unsplashとStable DIffusionのControlNetできれいな絵を描かせよう。　

ControlNetって知ってますか？

ControlNetは

https://github.com/Mikubill/sd-webui-controlnet.git

をURLからインストールの、拡張機能のリポジトリのURLにぶち込み、モデルをダウンロードすると使用することができます。

今回ダウンロードしたモデル

今回用意するのは
control_v11p_sd15_canny.pth
control_v11p_sd15_openpose.pth
control_v11f1p_sd15_depth.pthの三つです。
（同じ名前のyamlファイルもダウンロードしてください）
この三つがあれば大抵のことはできます。
lllyasviel/ControlNet-v1-1 at main (huggingface.co)からダウンロードすることができます。

ダウンロード後は
stable-diffusion-webui/extensions/sd-webui-controlnet/models/（ダウンロードしたやつ）
にコピペしてください。

これでControlNetの準備は整いました。

unsplashを使う

unsplashは下記のライセンスを守れば無料で写真が使用できます。

Unsplashの写真は自由に使えます。当社のライセンスはそれを反映しています。すべての写真は無料でダウンロードして使用できます
商業目的および非商業目的
許可は必要ありません（クレジット表示していただけると幸いです）


許可されていないこと👎写真は、大幅な変更することなく販売することはできません。
Unsplashの写真を編集して、類似するか競合するサービスを複製することはできません。

ライセンス | Unsplash

このライセンスを見たところ、ControlNetで使用するのは問題なさそうです。

写真を見つける

自分が好きな構図の写真を見つけましょう。
ここで重要なのが手。
指が絶妙にしか映っていない写真はやめましょう。AIが誤認してキモ手になる確率が高くなります。
がっつり写っているか、まったく写っていない写真を使うのがおすすめです。
私は下の写真を選びました。

https://unsplash.com/ja/%E5%86%99%E7%9C%9F/P_3tlKx-lHQ?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink

プロントに起こす

写真が決まった次にやることは、プロントに起こすことです。
自分で一から書いても構いません。
img2imgの解析を使っても構いません。
ちなみに
clipは

a woman sitting on the back of a truck with her dog in her lap and a sunset behind her, Elinor Proby Adams, cinematic photography, a character portrait, neoplasticism

clip

となり、deepbooruだと

1girl, clothes_writing, denim, jeans, long_hair, outdoors, pants, realistic, red_shirt, shirt, shoes, sitting, sky, sneakers, solo, sunset, t-shirt

deepbooru

となります。
ここから自分の使いたいプロントを抜き出してください。

実践

まずControlNetの欄を以下のようにしてください。（低VRAMは任意　8gb 3060tiは入れないとエラーがたまに起きました。）

そしたら、さっき保存した画像をドロップ。
これでControlNetは完了。
LoRAやプロントなどはお好みのものを使ってください。
あとはgpuわっちゃわっちゃタイムを待てば終わりです。

<lora:kitaIkuyo_Lycoris:1>, red hair, yellow eyes, 1girl, clothes_writing, denim, jeans, long_hair, outdoors, pants, red_shirt, shirt, shoes, sitting, sky, sneakers, solo, sunset, t-shirt
Negative prompt: EasyNegative
Steps: 20,
Sampler: DPM++ SDE Karras,
CFG scale: 7,
Seed: 3227660684,
Size: 512x512,
Model hash: f303d10812,
Model: AOM3A1_orangemixs,
Denoising strength: 0.7,
ENSD: 31337,
ControlNet Enabled: True,
ControlNet Module: openpose_full,
ControlNet Model: control_v11p_sd15_openpose [cab727d4],
ControlNet Weight: 1,
ControlNet Guidance Start: 0,
ControlNet Guidance End: 1,
Hires upscale: 2,
Hires upscaler: Latent (bicubic antialiased),
Eta: 0.2
（一発生成）

意外といい感じ

---

もとの画像の雰囲気を残したいならopenposeではなく
キャニー法を使いましょう。LoRAやLycorisなどの効きが少し弱くなるかも。

<lora:kitaIkuyo_Lycoris:1>, red hair, yellow eyes, 1girl, clothes_writing, denim, jeans, long_hair, outdoors, pants, red_shirt, shirt, shoes, sitting, sky, sneakers, solo, sunset, t-shirt
Negative prompt: EasyNegative
Steps: 20,
Sampler: DPM++ SDE Karras,
CFG scale: 7,
Seed: 495334949,
Size: 512x512,
Model hash: f303d10812,
Model: AOM3A1_orangemixs,
Denoising strength: 0.7,
ENSD: 31337,
ControlNet Enabled: True,
ControlNet Module: canny,
ControlNet Model: control_v11p_sd15_canny [d14c016b],
ControlNet Weight: 1,
ControlNet Guidance Start: 0,
ControlNet Guidance End: 1,
Hires upscale: 2,
Hires upscaler: Latent (bicubic antialiased),
Eta: 0.2
（一発生成）

---

最後にdepth
個人的にはこれが一番好き。
まあAIあるあるの背景問題はありますが、Rembgで背景透過させて自分で書いたりフリー画像をもってくれば解消できるんじゃないかなって思います。

<lora:kitaIkuyo_Lycoris:1>, red hair, yellow eyes, 1girl, clothes_writing, denim, jeans, long_hair, outdoors, pants, red_shirt, shirt, shoes, sitting, sky, sneakers, solo, sunset, t-shirt
Negative prompt: EasyNegative,(worst quality, low quality:1.4)
Steps: 20,
Sampler: DPM++ SDE Karras,
CFG scale: 7, Seed: 596506213,
Size: 512x512,
Model hash: f303d10812,
Model: AOM3A1_orangemixs,
Denoising strength: 0.7,
ENSD: 31337,
ControlNet Enabled: True,
ControlNet Module: canny,
ControlNet Model: control_v11p_sd15_canny [d14c016b],
ControlNet Weight: 1,
ControlNet Guidance Start: 0,
ControlNet Guidance End: 1,
Hires upscale: 2,
Hires upscaler: Latent (bicubic antialiased),
Eta: 0.2

いろんな画像でやってみると面白いかもしれません。
まだまだ改善できる点はいくつかあるような気がするので、思いついた方はコメントなどで報告よろしくお願いします。