拡張機能Latent Couple extension

Stable Diffusion automatic1111についての記事です
複数のキャラクターを描き分けられる拡張機能Latent Couple extensionを試してみたので記録として残します。

Latent Couple extensionとは?

通常通り生成すると3人のキャラクターがいる場合特徴や服などが混ざってしまい思い通りにならない場合があり、何度も生成を繰り返すことになります。
そこでLatent Couple extensionの拡張機能を利用すると画面を区切ってキャラクターや風景を描き分ける事が出来るようになります。
扱い方が独特で直感的に理解しにくい部分はありますが設定さえ済ませればあとは簡単に使えるのでお勧めです。

導入方法

公式サイトはこちら

automatic1111への拡張機能はとても簡単にできます。
Extensionsタブを開いたらInstall from URLをクリック。
URL for extension’s git repositoryに導入したい拡張機能のURLを入力するだけです。
今回はこの公式ページのURL「https://github.com/opparco/stable-diffusion-webui-two-shot」を入力しましょう。
入力したらInstallを押して数秒待ちます。
Install終了の文字が出たらautomatic1111を一度閉じ、Colaboratoryのautomatic1111の起動コードを一度止め、もう一度再起動後automatic1111へ入り直します。
するとLatent Coupleという項目が増えていることが分かります。
txt2img、img2imgで利用可能です。

利用方法

とても難解です。初めての方は全く項目の意味が分からないと思います。
今回はこの記事のサムネイルにも使った横に3人並んだイラストのスタイルでを使って解説しようと思います。

設定項目はDivisions、Positions、Weights、end at this stepの4つがあります。あと上級者向けのオプションがありますがこれは特にいじらなくても大丈夫です。

Divisions

画面を何等分に分けるかの項目です。
以下のイラストを例に解説をします。

3人のキャラクターが並んでいます。
この場合縦に3等分すればキャラクターを個別に描くことができますね。
この場合数値の設定は1:3,1:3,1:3となります。
この1と言うのは画面全体を示します。3は3分割です。
1:3の意味は「横に1等分、縦に3等分」となります。

これで別々に分ける事が可能になりました。
あと大事なのはキャラクターだけ描いても背景がない、と言う状態になってしまうので画面全体での項目も増やしましょう。
1:1で画面全体の描写が可能になります。
先程の分割と組み合わせて、「1:1,1:3,1:3,1:3」としましょう。
「背景、キャラ、キャラ、キャラ」と4つの項目を別々に扱えるようになりました。

Positions

さて、分割をしてもその分割した場所がどこにあるか指定してあげなければプロンプトを入力しても意味がありません。

今回の項目は左から0、1、2と数えていくスタイルです。
つまり左のキャラを指定してあげる場合は0:0となります。
真ん中のキャラは0:1、右は0.2になります。
この左の0の数値は縦の指定なので今回は0のままです。右の数値のみを変化させます。
これを合わせて0:0,0:1,0:2でキャラ3人の範囲を別々に区切ることが出来ました。あとは背景用も区切らないといけませんね。0:0で画面全体を指定できます。
これらを合わせていくと「0:0,0:0,0:1,0:2」となります。
これで「画面全体、左キャラ、真ん中キャラ、右キャラ」を別々に指定することが出来ました。

Weights

これは強度です。1が最大になります。
基本的にすべて1で固定してしまってOKのようです。数値が低いとイラストがバラける原因になってしまうようです。
今回は「1,1,1,1」で固定しましょう。

end at this step

指定stepまでLatent Couple extensionを使うかの設定です。
step数と合わせて最大まで使うのがいいかと思います。

プロンプトの書き方

さて、設定は終わったのでプロンプトを書いていきます。この拡張機能を使った場合はANDを利用して区切りながらプロンプトを順番に入力していきます。
例のイラストのプロンプトはこのようになっています。
Three girls, simple urban background.
AND white hair in twin tails, pretty white dress with lots of ruffles, white witch hat, look who sees, upper body. Three incredibly cute and beautiful girls, cat ears
AND super fine illustration, three extraordinarily cute and beautiful girls, short hair, black, cat ears, cute kimono, looking at viewer, upper body, smiling, sharp teeth, red cheeks
AND young elementary school girl with long brown hair, school uniform, looking at viewer, eyes closed, three extraordinarily cute and beautiful girls, cat ears, upper body, smiling

最初は背景、次に左キャラ、真ん中キャラ、右キャラとANDで区切りながら先程数値を振った順に認識されるようになっています。
あとは全ての位置に3girlなど人数指定を入れておかないと効果が発揮されませんので注意を。

気になった点

思った以上にGPUを使うらしくいつもの解像度で生成するとT4のGPUでもエラーが起きる事がありました。
多少解像度を下げて利用する方がいいでしょう。
step数も20では全く足りなくなり初期の頃のような雑なイラストが出来てしまいました。Latent Couple extensionを使うときは50くらいを目安に上げた方が質が良くなります。

これで今までは出来なかった表現が可能になり面白さが上がりました。
雑な解説になりましたが参考になれば幸いです。