CN1.1 reference_シリーズに新たなプリプロセッサーが追加された。

"reference_adain" and "reference_adain+attn"の追加

具体的な詳細は以下ページを見てほしい。

やってみよう！

t2iでやっていきますが、とりあえず元絵を出します。

元絵

hiresなし
これをCNに突っ込みました。

hires
一応hires適用画像です。

absurdres, highres, 1girl, cute, kawaii, loli, pink hair, blue eyes, white dress, BREAK teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan,
Negative prompt: EasyNegative, [ :(negative_hand-neg:1.2):15 ], (worst quality, low quality:1.4), BREAK teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan,
Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 11, Seed: 1321344719, Size: 512x512, Model: EverlastingV2, Clip skip: 2

設定情報

シードは一旦固定で出すものとします。

"reference_adain" + hires

Control Wight : 1

Control Wight : 2

"reference_adain+attn"+ hires

Control Wight : 1

Control Wight : 2

ン？？？？？？？？🤔

Style Fidelity

ここで『Style Fidelity』という値が0.5なのに気づいたので、この数値変更して再度出してみました。
なお、この数値が影響あるのはControl ModeがBalancedの時のみです。
Style Fidelityってそもそも何？🤔って思うと思います。
翻訳した所スタイルの忠実度らしいので、おそらくプロンプトとCNに突っ込まれた画像をどこまで維持するの？って感じだと思いました。
なお、試すのにControl Wight : 1とします。

"reference_adain" + hires

Style Fidelity : 0

Style Fidelity : 1

"reference_adain+attn"+ hires

Style Fidelity : 0

Style Fidelity : 1

ちゃんと違いはあるけど分かりにくいな🤔

条件の変更

ってことで、シードを-1に変更、プロンプトをpink hairからblond hairに変えてやってみます。
CNにつっこんだ元絵はそのままです。

"reference_adain" + hires

Style Fidelity : 0

Style Fidelity : 1

"reference_adain+attn"+ hires

Style Fidelity : 0

Style Fidelity : 1

おっ！結構変化ありましたね🥰

結論

"reference_adain"

これはプロンプトを重視しつつCNに入力した画像の情報をある程度汲んでくれるモードじゃないかなと思いました。
Style Fidelityを変更することで、どこまで維持してくれるのかってことだと思います。
0だと座っているのは同じでも、手の場所や髪型の長さが変わっています。
1だとポーズはほぼ同じで髪の長さもロングを維持してくれているので、ある程度忠実かつ変化を加えているっていう感じですね。

"reference_adain+attn"

こっちは逆でCNに入力された画像を優先しています。
髪の色もblondにはなっておらず、プロンプトはわりと無視しているんじゃないかなと思っています。

cute, kawaii, loli, blond hair, blue eyes,
white dress,
を消して
absurdres, highres,
1girl, BREAK
teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan, teasan,

に変更して試しにやってみました。

Style Fidelity : 0

Style Fidelity : 1

予想通り、消したプロンプトである
cute, kawaii, loli, blond hair, blue eyes,
white dress,
もCNに入れた元画像通りかなり維持してくれてますね。

Control Weightを変えることで、またわりと変わるんじゃないかなと思いますが、ここは皆さんもお試ししてみてください🥰
それではーーー！