6/23 (全体公開)Reference only研究

2023年6月23日 17:53

ControlNetの新機能「Reference only」
1枚サンプル画像を元にその絵柄やキャラクターを簡単に再現できるというものです。
簡易的なLoraだと思っていただいて構いません。

このReference onlyを使って差分を作ることで、簡単にLoraを作ることができることが話題になりましたが、その使い方がよく分からないので研究しようという回です。

この記事は長いので結論を先に書きます。
・Control Weight　→　どれだけ元画像に寄せるかの値。1でいい。
・Starting Control Step　→　どこから元画像を参考にするかの値。0にすると構図が固定されてしまうが、大きすぎると元画像に寄らない。0.3くらいが無難。
・Ending Control Step　→　どこで元画像の参考を終わりにするかの値。元画像に寄せたいなら1だが、Starting Control Stepが0だと背景に悪影響が出る。
ということで、背景を壊さず絵柄を元画像に寄せたいなら
・Control Weight：1
・Starting Control Step：0.3
・Ending Control Step：1
くらいが良い気がする。

Style Fidelity (only for "Balanced" mode)は値が大きいほど絵柄が寄る。
ただし、1は絵が壊れやすい。0.6〜1の間で調整するのが良い。

Reference onlyの設定項目はこのようになってます。
↓

いじる項目は以下の７つです。

Control Weight　→　0.3, 0.6, 1
Starting Control Step　→　0, 0.3, 0.6
Ending Control Step　→　0.3, 0.6, 1
Style Fidelity (only for "Balanced" mode)　→　0, 0.3, 0.6, 1
Control Mode：Balanced
Control Mode：My prompt is more important
Control Mode：ControlNet is more important

多いなあ･･･とりあえず上４つからいじっていきます。
Style Fidelity (only for "Balanced" mode)は0.5、Control Mode：Balancedで固定します。

モデルはmzpikas_tmnd_enhancedです。設定は以下の通りです。

ポジティブ
(masterpiece), (best quality), (one little and cute solo), the background is (beach), the girl wearing (short sleeves ribbon beret gloves navy blue coat short laced capelet), the girl has (light blue hair long hair), smile, one eye closed, open mouth,

ネガティブ
(worst quality low quality low resolution, two people, bad anatomy:1.4), (poorly eyes, text:1.2), (long cape:1.4),

設定
Steps: 23, Sampler: DPM++ 2M SDE Karras, CFG scale: 7, Size: 768x768

使う画像