俺LoRAの使い方（リアルとの融合編）〜ざっくりとしたデジタルツインのためのLoRA作成のガイド＃3

食事の記録をSNSにあげることはよくあるかと思いますが、若い女性なら自撮りと料理を合わせて掲載してる方もいるでしょうが、おっさんの場合、大抵はこんな感じで、料理の写真だけをあげているかと思います。

姫路駅で食べた、加古川カツメシ（小）

これでも別に悪くはないんですが、せっかくなんで、自撮りと合わせてやってみます。

店内での撮影には、他のお客様やお店の方の迷惑にならないようにしてください。
あと、当たり前ですが、美味しくいただくため、あまり撮影に時間がかからないようにしてください。

ざっくりとした流れ

1. 写真のリサイズ

2. inpaintへ読み込み

3. controlnet depthの設定

4. 人物のマスキング

5. 生成

6. Adetailerで顔入れ替え

通常の自撮り撮影だと、照明の当たり方などに気を使う必要がありますが、俺LoRAで置き換える場合は、それほど気にしなくても後でなんとかできます。料理と自分が画角に収まっていれば大丈夫です。
撮影したら、取り急ぎ写っていることだけ確認して、お料理を美味しくいただきましょう。

撮影した画像をinpaintで置き換えます。まずはスマホの写真は大きすぎるので、長編が1024pxぐらい（SDXLなら1500pxぐらい)になるようにリサイズします。Windows標準のフォトツールでできます。

この画像を、img2img-inpaintで読み込みます。

Controlnetのメニューを開けて、こんな感じで設定します。
要は、inpaintの画像と同じものでDepthを作成します。
キモは
Control weightは0.5-0.7ぐらい
Control Mode は My Prompt is more important（プロンプト優先)
Ending Control Step 0.5-0.7ぐらい　（デフォルトの１にすると、顔の造形に元の写真の影響がかなり出ます）
Preprocessor,modelは普通で大丈夫です。自分はSDXLなんで、対応modelになってます。

生成部分のタブはこんな感じで、ほぼデフォルトのパラメータと通常のtxt2imgでの設定と同じです。widthとheightは、inpaintの画像の比率に合わせてください。同じピクセル数の必要はありませんが比率は合わせてください。
キモはDenoising sterengthを１まで上げて、なるべくベースの人物の影響を消すようにしています。

こんな感じでそこまで丁寧ではなくていいので、inpaintでマスクします。
この際、長髪のキャラを作りたい場合、髪の毛が生成される分を見越して、若干広めにマスクするといいかと思います。

プロンプト、NPは通常の女性の生成用で、服装の効きが悪い場合は、Controlnetのメニューにある、Starting Control Stepの値をほんの少し(0.1ぐらい)にすると効いてくると思います。
何回か生成して、気に入った感じができたら、Adetailerで顔を入れ替えます。Adetailerの使い方は前回の記事を参照してください。

俺LoRAの使い方（基本編）〜ざっくりとしたデジタルツインのためのLoRA作成のガイド＃２｜gt2rs3 (note.com)

できた画像は、こちら。

沖縄そば

いかがでしょうか。かなり暗い店内でしたが、良好に置き換わっているかと思います。
モザイクなんかで顔を隠すよりも気が利いてると思ってますので、食べ歩きがお好きな方はお試しください。