【自作LoRA】t2i→i2i生成でプロンプトの色の影響を抑える【Stable Diffusion】

zetaと申します。
内容少なめですが、前回の続きになります。

前回ある程度LoRAによる着せ替えには成功しましたが、プロンプトに色を指定すると、本来変えたくない部分までその色に引っ張られる問題が残っていました。
こちらt2i→i2iの順番で生成することで改善が見られましたが、今回ある程度コツをつかめたのでまとめていきたいと思います。

着せ替えLoRAで色プロンプトの影響を抑えて生成するコツ

1. 服装（LoRA）にキャラと同じ髪型をプロンプトを含めて生成

2. 上記にキャラLoRAは含めず服装（LoRA）のみでイラストを生成する

3. t2iで生成したイラストをベースにi2iでキャラLoRAを追加する

参考画像

生成したいイメージ（ドルフィンウェーブの住乃絵紫苑）

キャラLoRA＋服装LoRA併用でt2i生成
一気に生成したので胸のリボンと下着が瞳の紫色に引っ張られています

服装LoRAt2i→キャラLoRAi2iで生成
胸のリボンの色が、生成イメージに近い赤のまま残っています

実際の流れ

まずはt2iで服装LoRAのみを使用してベースとなる服装イラストを生成します。髪の色も髪型も違いますが、「short hair」でさえあればここではOKです。

今回はスカートの色は一旦諦めてリボンの色を意識しています

次はこの画像をベースにキャラLoRAを使ってi2iで生成します。
i2i生成のInpaint機能を使用して顔の部分のみキャラLoRAで再生成します。
（なのでなるべく髪が短いキャラが望ましいです）

webuiって便利です…

たまに生成結果が歪むことはありますが、キャラLoRA自体がしっかり作りこまれていればうまく差し替えることができます。

最後に

もっと良い方法はあるかもしれませんが、経験則的にはこのように生成すると元の衣装の色を守ったまま着せ替えができることがわかりました。
Civitalなどでダウンロードした衣装LoRAにも応用できると思います。

最後までお読みいただきありがとうございました。