【自作LoRA】ドルフィンウェーブのキャラで着せ替えのできるLoRAを作りたい【Stable Diffusion】

zetaと申します。
今回は着せ替え可能なLoRAを作っていきたいと思います。
キャラと衣装の２つを作るのですが、衣装側のLoRAを作る方が難しく、正直改善点も多いですが、ある程度のラインには達したので一旦記事にまとめていきたいと思います。

やること

• 着せ替えの元となるキャラのLoRAを作る

• 衣装のLoRAを作る

• 上記を併用して着せ替え可能なLoRAを作る

学習に利用したキャラ

今回はドルフィンウェーブの住乃絵紫苑を選びました。
理由としては、今回の学習には素材が多く必要なので、自由に着せ替えができて色々な角度からキャラの撮影ができるドルフィンウェーブがやりやすそうだったからです。※海の日イベントのログボ回収のついでなのは内緒です
ゲーム内の撮影機能で準備しているのでクリーンな教師画像で学習ができるのも良い点ですね。

ウィッグなしverです

キャラのLoRAを作成

詳細は省きますが、前回までの経験を活かしてなるべくノイズが入らないように以下のようにデータを準備しました。

• キャラの顔アップ画像をメイン（顔のみLoRAの学習対象とする）

• 背景は白抜きに加工

• 異なる衣装・ポーズの画像にする

• 合計150枚ほど準備

合計で6000step程学習させて元となるLoRAは完成です。
※step数は多すぎると過学習するのでとりあえず10000までやってから少しずつ戻して6000くらいがちょうどいい感じでした。

サンプル画像：ベースのLoRAにswimsuitタグをつけて生成しています

服のLoRAを作成

今回は以下の制服のLoRAを作成します（キャラ全員が所持している服装のため）

この制服を再現するのが目標です

正直記事を書いている時点でも試行錯誤中ですが、作成の際は以下の点を意識していました。

• 顔から下のみの画像を混ぜる

• 色々なキャラに同じ衣装を着せて撮影

• 正面の画像に加えて、左右・後ろからの画像も混ぜる

• 合計100枚準備

こちらも合計6000step程学習させました。

生成結果

キャラLoRAと服LoRAを同時に混ぜて生成した結果です。

載せている画像は厳選していますが、十枚に一枚程度はこのクオリティになります。
服の作りは似ていますが、どうしても色が上手く生成できませんでした。
※LoRAなしだとカーディガンを着始めるのでかなり効果はありそうです
理由としては、目の色と髪の色をプロンプトで指定しないとキャラの生成ができず、それに引っ張られて暗い青系統になっている気がします。

i2iで段階的に生成

プロンプトの色に引っ張られているのでi2iで段階的に生成するのも試してみました。

修正範囲が大きすぎて手が消えてますが色合いは再現できました

最後に

理想としては一回の生成で出したかったのですが色の扱いが難しかったですね。
今後は他にも着せ替え出来る衣装を増やしつつより精度高く学習できるパターンや学習に適した衣装を探していこうと思います。

備忘録にもなっていない進捗報告的な内容でしたが、教訓としては「教師学習は多ければ多い方が良い！学習step数は多ければ多いほど良いわけではない！」でしょうか。

ここまでお読みいただきありがとうございました。