stability matrix forge のcontrolnetで元画像をベースに変化させてみる

前回の記事では元画像を変化させる方法として、超初級「コントロールネット」を触ってみようということで、輪郭を検出して変化させる「canny」を選択して、髪の色を変えるというのをしました。

前記事にも書きましたが、髪の色は変化しましたが他の部分も自動で変わるので、今回は元画像を固定して姿勢を変えたりする方法に適している「reference_only」を試してみます。

■reference_onlyとは

元画像の顔などを維持したままポーズを変えたり、服装を変えたりすることができます。

■ステップ1
まずは画像を作りましょう。
上記は「japanese girl,wearing white tunk top,best quality,masterpiece:1.5,1 girl,solo,looking at viewer,upper body,long hair,indoors」と入力しました。

■ステップ2
コントロールネットの「reference_only」を選択

1：enableにチェック
2：Referenceを選択
3：Control weightは1以下程度がいいらしい。
Control WeightとはControlNetの影響をどれくらい受けるか調整する数値。1が自然に仕上がるみたいですが、色々試してみてください。

■ステップ3
「手を挙げる」と指示してみる
プロンプトは、
「(8k,RAW photo,best quality, masterpiece:1.2),1 girl,solo,hand up,」
前半はクオリティに関するプロンプトですが、色んなサイトに書いてあるのをコピーしただけ。
後半の「hand up」が手を挙げるという部分ですね。

最初に出力されたのが上記ですが構図も変わってしまっています。
調べたところ、ネガティブプロンプトが大事なのではと予想しました（どこもこれを書いていないから難航しました）
そこで、ネガティブプロンプトに、
EasyNegative, ((long body)), ((bad anatomy)), [:(badhandv4:1.5):20] ,(worst quality:2),(low quality:2),(normal quality:2),((monochrome)),((grayscale)), nsfw,long body, missing fingers ,skin spots ,acnes,skin blemishes, [:(bad_prompt_version2:1.2):21]
丁寧な説明のあるサイトに書いてあった上記のネガティブプロンプトを追加して出力したのが下記。

画像を比較してみましょう。

初心者がたどり着くとしたら及第点ではないでしょうか。
元画像のモデルを可能な限り変更せず、ポーズを変える事に成功しました。
4：振り向くポーズ
同様に、プロンプトを「(8k,RAW photo,best quality, masterpiece:1.2),1 girl,solo,wearing white tunk top,looking back,looking at viewer,indoors,」と入力してみました。

こんな感じの振り向くポーズになりました。
ホワイトタンクトップのプロンプトがうまくいっていないですが、何度か試すのがポイントです。
5：帽子をかぶる
引き続き「(8k,RAW photo,best quality, masterpiece:1.2),1 girl,solo,indoor,sitting,wearing white tunk top,smile,enjoy,she wears a cap,」
とプロンプトを入力してみました。

6：ダンスをする
(8k,RAW photo,best quality, masterpiece:1.2),1 girl,solo,indoor,smile,enjoy,wearing white tunk top,she dances in a dance studio,

ダンスをしている感じの画像にはなりましたが、
「ん？？指の数が多くない？」
と、ここでまた壁に当たりました。
画像生成AIは指の表現が弱いというのは色んな記事に書いてあり、指をうまく修正したりするプロンプトは色んなサイトに書かれているので、それを参考にしてネガティブプロンプトに入れるのが対応策です。

mutated hands（手の変形）
missing arms（腕の欠損）
extra_arms（腕が多い）
extra_fingers/extra digit（指が多い）
missing fingers/fewer digits（指が少ない。欠損）
bad fingers（不自然な指）
poorly drawn fingers（下手な指）
など、ネガティブプロンプトをまとめてくれているサイトも多いので、お気に入りのサイトを保存しておくのがいいでしょう。

「missing fingers ,bad fingers, bad hands,extra hands/extra fingers,extra arms」
上記のネガティブプロンプトを入れて、試しに再度出力したのですが、どうもうまくいきません。

頑張っているのは分かるのですが、微妙に手がおかしいのが気になります。
色んなサイトをひたすら徘徊すること1時間・・・
ネガティブプロンプトを、
EasyNegative, ((long body)), ((bad anatomy)), [:(badhandv4:1.5):20] ,(worst quality:2),(low quality:2),(normal quality:2),((monochrome)),((grayscale)), nsfw,long body,skin spots ,acnes,skin blemishes, missing fingers ,bad fingers, bad hands,extra hands/extra fingers,extra arms[:(bad_prompt_version2:1.2):21]
これで試してみました。
細かい数字などは全く分かりませんので、時間があれば調べてみますが、これで再チャレンジ。

これで及第点じゃないですか!(^^)!
めっちゃ疲れた・・

指の修正チャレンジ比較

最初に出力した画像と顔はほぼ同じですし、指の細かいところはポーズが変わってますが、別に指を強調したいわけではなく、ダンスしているポーズを出したかったので、これで良しとします。

元画像からポーズを変えるのはネガティブプロンプトが大事
めちゃくちゃネットリサーチしまくりましたが、これを無料で書いているサイトはありませんでした。
画像生成のプロからしたら当たり前の事だから、書いていないのか、有料商材だけでしか教えていないのか分かりません、ネガティブプロンプトの試行錯誤が、元画像をベースに色々と変化させるキーになっていると思います。

また、私が使用しているのは低スペックPCでも動作が可能といわれている、stability matrix forgeです。
最も有名であろう「stability matrix automatic1111」は私の低スペックパソコンでは動作しませんでした。
有名なstability matrix automatic1111のコントロールネットの画面と微妙に違う箇所があったり、サイトで紹介されているのはstability matrix automatic1111のケースが多く、使い方はまだ初級者ですが、まあこれで良しとします。

7：元画像をベースに服装を変えてみる。
これは試しにやってみたのですが、うまくいったので掲載。
上記のダンスしている美少女画像をベースに、プロンプトに「white bikini」と入力したら、

このように、元画像をベースに服装を変えてくれました。