【Stable Diffusion】リアル系モデルをよりリアルにする方法【BRA編】

2023年5月6日 20:06

　前回はリアル系モデル「ChilloutMix」と他のモデルをマージして、よりリアルな絵を出力できるモデルの作り方の記事を書きました。

　しかしながら、前回使用したモデルのマージ素材となっているbasilmixが商用禁止モデルとなった為、今回新たに商用可モデルのみでアジア系のリアルな美人の絵を出力できるモデルのマージ方法を紹介したいと思います。

　「素材集めてマージするの面倒だから方法書くよりマージ後のモデルをCivitaiにでもアップしてくれ」と思う方もいるかもしれませんが、モデルマージのコツを覚えると、他の系統のモデルを作りたいとなった際に役に立つこともあるかもしれませんので、完成後のモデルをアップするよりも、マージ方法を記事にすることにしてます。

　今回使用するモデルはこちらの3つ。
・braBeautifulRealistic_brav3
・stablegramRealistic_v10
・SXD-v1.0-pruned

　1つ目は「BRA(Beautiful Realistic Asians)」というモデル。その名の通りアジア系の女性の写真を学習したモデルとなっており、Civitaiのダウンロード数も急上昇の人気モデルです。単体でも十分リアルな絵を出力できますが、このモデルの絵柄を維持したままよりリアルに近づけるのが今回の目的となります。
　※v4も公開されていますが、今回はv3を使用しました。v4でも大差ない結果になると思います。

　2つ目のモデル「stablegramRealistic」は西欧人のインスタグラムの写真を学習したモデル。主にラテン系の女性の絵が出力されます。少しクセのあるモデルですが多くの写真で学習しており、リアルな肌の質感を表現出来る為、リアルさの継承用で使用します。

　3つ目は前回も使用した「SXD-v1.0」というこちらも写真で学習したリアル感を出すためのマージ用モデルです。
　※前回の記事で「sxd」と省略して記載してしまいましたが、Civitaiにある同名モデルとはおそらく別物です。ご注意ください。「SXD-v1.0」は他のアップローダーから拾ってきました。

　まずマージする前のBRAで出力した絵がこちら

　下記プロンプトに多少の品質タグとネガティブプロンプトを加えて出力しました。

a portrait of 1girl, in the city, street, road, arms behind back, (close-up_face:1)

　このままでも十分な気もします。人気があるのも分かりますね。
以降、同一プロンプト、同一Seedでマージ後の変化を見ていきます。

手順その①

　まず、「stablegramRealistic_v10」と「SXD-v1.0-pruned」を画像の様な割合で階層マージします。モデル名は「A」にしました。

「stablegramRealistic_v10」⇒「Model A」
「SXD-v1.0-pruned」⇒「Model B」
Weight_values=1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,1,1,1,1

　手順①で作成したモデルAはマージ素材用ですが、どんな絵が描けるのか一応貼っておきます。※同一Seedだと腕が増えたのでプロンプトはそのままでSeed値変えてます。

　「stablegramRealistic」もクセはありますが悪くないモデルです。今回はリアルさを出すための素材として使用しましたが、こちらをメインに他のモデルを混ぜてラテン系の女性の絵を出力したりと普段使いもしております。

手順その②

　お次は「braBeautifulRealistic_brav3」と「SXD-v1.0-pruned」を手順①と全く同じ割合で階層マージします。「Model A」の部分を入れ替えるだけです。モデル名は「B」。

「braBeautifulRealistic_brav3」⇒「Model A」
「SXD-v1.0-pruned」⇒「Model B」
Weight_values=1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,1,1,1,1

　この手順のみでも若干リアル寄りになります。

手順その③

　最後に「A」と「B」を通常のマージで下記画像の様に混ぜます。
　Primary model(A)に設定したモデルの塗りの方が濃く出る為、「stablegramRealistic_v10」がベースとなっているモデル「A」をmodel(A)に設定。容姿はBRAを引き継ぎたいので割合は「B」多めにします。
　※ここの割合を変更することで、出力される人物の容姿を「西欧より⇔アジアより」に調節できます。

A⇒model(A)
B⇒model(B)
Multiplier⇒0.85