ControlNet v1.1 各モデルの説明と出力結果を簡潔にまとめました

前置き

「Stable Diffusion web UI」というツールを使って、画像を作っています。

Stable Diffusion web UIでControlNetを使うためには、「sd-webui-controlnet」という拡張機能を追加する必要があります。

ControlNet-v1-1のプリプロセッサとモデル

設定の画像を入れる

Canny（輪郭）

画像の境界線を見つけて、画像を作ります。

---

Depth（深度）

画像の深度情報をもとに画像の生成

---

Normal（法線）

画像表面の微細なディテールや凹凸（法線）をもとに画像の生成

---

Openpose（人体姿勢推定）

人体姿勢推定（体、顔、手の推定）棒人間をもとに画像の生成

---

MLSD（直線検知）

直線検知をもとに画像の生成

---

Lineart（線画）

画像を線画にし、それをもとに画像の生成

---

Anime Lineart（アニメ線画）

画像をアニメ線画にし、それをもとに画像の生成

---

Soft Edge（やわらかい輪郭線）

やわらかい輪郭線をもとに画像の生成

---

Scribble（落書き）

落書きをもとに画像の生成

---

Segmentation

画像の物事に識別し、それをもとに画像の生成

---

Shuffle

画像をシャッフルして再構築した画像の生成

---

Tile

ディテールをうまく補完し、高解像度の画像の生成

---

Inpaint

画像の一部を塗りつぶし、その個所を修正し画像の生成

---

Instruct Pix2Pix

プロンプトを使用して画像の書き換える。

変更には命令文を使用します。
「make it a hair short」

sd-webui-controlnet

Reference

元画像を参考にし、類似した新たな画像を生成

---

T2I-Adapter

画像のスタイル変更