StableDiffusionで２つのキャラクターLoRAを同時に使用する方法

opvelll

2023年5月19日 18:12

画像生成のファインチューニングとして、様々なLoRAが公開されています。

その中にはキャラクターを再現するLoRAもありますが、単純にそのLoRAを２つ読み込んだだけでは、混ざったキャラクターが生まれてしまいます。

この記事では、画面を分割してプロンプトを適用できる拡張とLoRAを併用し、二人のキャラクターがキスするシーンを生成する方法を紹介します。

LoRAはcivitaiからダウンロードします。今回の試行では私が最近ハマっているゲーム、崩壊スターレイルのキャラクターLoRAを使用します。

発売から一ヶ月程度のゲームですが40ほどのLoRAが公開されています。

https://civitai.com/tag/honkai star rail

LoRAファイルの使用方法については、他のサイトをご参照ください。

次に、画面を分割してプロンプトを適用できる拡張機能をインストールします。

このような分割できる拡張機能はいくつかありますが、今回はhako-mikan/sd-webui-regional-prompterを使います。説明を読むとLoRAも使用できるようです。

https://github.com/hako-mikan/sd-webui-regional-prompter/blob/main/README.JP.md

インストールはStable Diffusion Web UIの拡張機能タブの"Install from URL"から、上記のGitHubのURLを入力して行います。

今回はRegional Prompterの基本的な使い方を紹介しますが、詳細な説明は上記のリンクから確認できます。

今回の使い方では以下のようなプロンプトになりました。

(masterpiece, best quality, ultra detailed, illustration:1.2), 2girls,  train station, station platform, BREAK
kiss, Trailblazer, white hair, black jacket, white shirt, skirt, <lora:TrailblazerHonkaiStarRail4:0.9>, BREAK
kiss, Serval Landau, <lora:ServalLandauHonkaiStarRail15:0.9>

Regional PrompterではBREAKなどのセパレーターでプロンプトを分割します。

一行目が全体(common/base)のプロンプトになり、それ以降の行は指定した比率で分割した領域に適用されるプロンプトになります。

ここでは、全体のプロンプトに'2girls'を設定しました。もし男女のキャラクターを描く場合は'couple'などを使います。

個別のプロンプト部分には、LoRAの説明ページにあるトリガーワードや、推奨するプロンプトを設定します。さらに'kiss'や必要なら'closed eyes'などのワードも加えます。

Regional Prompterの設定は以下のようになります。

ここではHorizontalで1,1に分割しています。

LoRAを使う場合、Generation modeをLatentにします。

全体プロンプトがある場合、use base promptか use common promptにチェックを入れます。baseにするとbase ratioで適用率を調整できます。

全体的な出力の設定例は以下のようになります。

sampling methodもsampling stepsもupscalerもたまたまこうなっているだけなので、あまり気になさらず試してみてください。

キャラクターLoRAを複数使うと、線がガビガビになることが多かったです。

対処法として、チェックポイントモデルを変えてみる、Hires.fixを使う、LoRAの適用をなるべく下げる、use base promptに変えてBase Ratioをいじる、negative textencoder、negative U-net の値を変更する（参照。自分は試したことないです）などしてごまかします。

以下に生成した画像をいくつか示します。