こんにちは。アメリカ・シリコンバレー在住のSeikaです。
現在、StableDiffusionを使って、同じ人物で違う服・ポーズにすることを試みています。
まだ研究中ですが、1回目の比較で作った画像を検証していきたいと思います!
(2024年4月9日公開)
こちらのサイトを参考に生成しました。
今回試した生成の流れ。
こちらの画像を使って、生成します。
1. Control Weightの比較
コントロールネットのウェイトは、生成される画像における特定の制御機能の影響力を調整するためのパラメータ。
ウェイトが高いと制御機能の影響が強く、
低いとテキストプロンプトなど他の要素が優先されます。
似たような画像を一貫して生成したい場合は、
コントロールネットのウェイトを高く設定することが有効。
では、まずWeight: 0。
今度は、少しあげます。 Weight: 1でやってみます。
今度は、最大値Weight: 2まで上げてみます。
2. Loraを入れてControl Weightを比較
LoRAとは、あるモデルに対して追加学習を行ったファイルを意味します。LoRAを活用すると、生成する画像のクオリティを劇的に上げたり、
好きな画風や特徴を画像に加えたりすることができるようになります。
今度こちら↓のLoraを入れ最大値を1にし、Control Weightを比較していきます。
ip-adapter-faceid-plusv2_sdxl_lora
まずは低いウェイト、0で。テキストプロンプトが優先されるはず。
今度は、 Weight: 1。
テキストプロンプトは弱くなるのでしょうか。
Control Weightを最大値に。
オリジナルの顔と似せることはできるでしょうか。
3. Loraの強度を比較
先ほどの2. Loraを入れてControl Weightを比較ではLoraを最大値にしたので、今度は0.5→0.2と徐々に弱めていきます。
まずは半分の0.5。
では、もっと下げて0.2にします。
4. 似せたい顔の写真を変更
今度は、似せたい顔の写真を変更して比較します。
LoraとControl Weightは最大値にしてみます。
今度は、AIで生成した女の子を基に生成。
LoraとControl Weightの最大値はそのまま。
プロンプト、ネガティブプロンプトは変更。
服、照明、表情を変えたらまた違うかも!?
服を変更。
表情を変更。
ガッカリした顔ではどうでしょう。
イライラすると・・・
服をチェンジ。
今度はスーツ。
もしかしたらLoraとControl Weightの最大値にして、AIで作った女の子を基にした方が、似せて作れるのかもしれません。
まだ答えは出ませんが、引き続き比較していきたいと思います!
もし記事が役に立ったと思ったら、ぜひスキボタンを押してくださいね😊
それでは、次回の記事でお会いしましょう!
Follow me here😊
Photo by Lau keith on Unsplash