版権キャラ系のLoRAで着せ替えごっこができるか試してみた
お久しぶりです。
今までは日常のことだったり、ゲームのことが中心でしたが、最近AIで推し作るのにハマってて、そっち系で気づいたこととかメモかわりに色々書いていこうと思います。
あんまり有益なこと書いてないかもしれないですが、生暖かい目で読んで下さるとうれしいです。
みなさんは自分がハマったキャラに色んな衣装を着せてみたいと思ったことはありませんか？
私は脳内でそういうのイメージするんですけど、お絵かきは全然ダメなんでだったらLoRAでできんじゃね？って。
なので実際にやってみてどうだったか？
結論から言うと、できる衣装とできない衣装がありました！
まず今回のLoRAはコチラ。
FF16のキャラ、バルナバスのLoRAです！
最近このキャラにハマってて、このイケおじのせいで黒髪ヒゲおじの性癖に目覚めました。
ゲーム内では私服姿と鎧で登場しますが、こちらのLoRAでも2パターン対応しています。
推奨環境を確認してみると
モデル：Chilloutmix-Ni
Sampler: DPM2 Karras/DPM++ 2M Karras
推奨weight：0.65-0.9（サンプル画像は0.8）
ということでまずは、サンプル画像のプロンプトをそのまま真似たものがコチラ。
プロンプト
Best quality,masterpiece,ultra high res,1boy,barnabas_tharmr,looking at viewer,upper body,(barnabas_armor:1.2),
ネガティブプロンプト
ng deepnegative,badhandv4,easynagative,lowres,text
LoRAのサンプル画像見てもらえれば分かりますが、ほぼ同じものが生成されています。
（weightは0.8）
で、ここからこのキャラに今回は侍風の鎧を着せたいとします。
weightが推奨の0.8のままだとまったく変わらなかったので、0.56に変更。
あと細部を描画するmore_detailsというLoRAも使っています。
※モデル、Samplerも同じものを使用
プロンプト
Best quality,masterpiece,ultra high res,1boy,barnabas_tharmr,looking at viewer,upper body,(((japanese_armor,torii))),
lora:barnabas_V1:0.56,
lora:more_details:0.5,
ネガティブプロンプト
ng deepnegative,badhandv4,easynagative,lowres,text,
あえてjapanese_armorとtoriiは括弧で強調して生成した画像がコチラ。
ほとんど変わってねぇｗｗｗ
鎧の模様が中国風ぽい気はしますが、ほぼ元の鎧と大差ないですね。
背景はちゃんと出力されています。
(((japanese_armor,torii)))を先頭にしても結果はほぼ変わらず。
あとweightを0.5に下げたせいか顔が若干違うような感じもしますが、ここはまぁ許容範囲でしょう。
これ普通のarmorで試してみたら、元の鎧とおんなじままでした。
おそらくなのですが、元のLoRAと似ている衣装はかなり難しいかなと感じました。
じゃあ今度は全く違う衣装として、ビジネススーツでも着せてみましょうか。
プロンプト
Best quality,masterpiece,ultra high res,1boy,barnabas_tharmr,looking at viewer,upper body,(((business_suit))),
lora:barnabas_V1:0.56,
lora:more_details:0.5,
ネガティブプロンプト
ng deepnegative,badhandv4,easynagative,lowres,text,
ん～ビジネススーツではあるのですが、元の衣装の色やデザインにかなり引っ張られていますね。。。
んじゃあ、今度は色を黒に指定してやってみます。
プロンプト
Best quality,masterpiece,ultra high res,1boy,barnabas_tharmr,looking at viewer,upper body,(((black business_suit))),
lora:barnabas_V1:0.56,
lora:more_details:0.5,
ネガティブプロンプト
ng deepnegative,badhandv4,easynagative,lowres,text,
ブレザーの色がブラック、Yシャツが若干紺色ぽくなりました！
しかしボタンの色が途中で変わってて違和感ありますね・・・汗
とはいえ、さっきの鎧よりは指定した通りになってますね！
Yシャツなどをもう少し細かく指定すれば、もっといい感じになりそうです。（やれよ
背景をオスィスに指定してやってみると・・・
プロンプト
Best quality,masterpiece,ultra high res,1boy,barnabas_tharmr,looking at viewer,upper body,(((business_suit,office))),
lora:barnabas_V1:0.56,
lora:more_details:0.5,
ネガティブプロンプト
ng deepnegative,badhandv4,easynagative,lowres,text,
おぉ～、特に色指定はしなかったのですが大分近づきましたね。
背景も細かく指定すると、それっぽくなるかもしれません。
んじゃあモデルを変えてみたらどうなるか？
使用するモデルをDreamShaper8に変更して、上記のプロンプトで生成した結果がこれ。
こちらもいい感じになりましたね！
ただ推奨モデルのChilloutmix-Niのほうが顔は似てる気がしますが、こっちも2次創作的な感じでいいですね◎
もちろんモデルによっては何やってもダメなのもあるんで、合うモデルを探すのが大変です。
なのでモデル変更はできれば最後にしたいですね。
ちなみにChilloutmix-Ni、DreamShaper8両方とも0.5以下にしたら、全然似てなかったんでこのLoRAは0.5あたりが限界かもしれません。
LoRAのキャラを着せ替えるコツ
色々実験してきて、自分なりに編み出したコツみたいなのをご紹介します。
まず推奨されているモデルやweightで、サンプル画像のプロンプトをそのまま真似て、衣装のプロンプトだけ変更して生成してみる
ダメならweightを0.5（0.1くらい細かくてもいいかも）くらい下げつつ、試してみる
いい感じになったら、今度は背景やもっと細かく衣装を指定してみる
なにやってもダメなら、モデルを変えてやってみる
これくらいですかねぇ？
とりあえず細かく背景や衣装を指定し、weightもあれこれいじってみて妥協ライン見つけるって感じですね。
これ以外にももっといい方法があるかもですが、自分はこの流れで毎回やってます。
もしもっといい方法をご存知の方がいらしたら、TwitterのDMやコメなりで教えて下さい☺
この記事が気に入ったらサポートをしてみませんか？