このLoRAはchilloutmixを用いてトレーニングされました←こいつの倒し方

ご自由にお書きください。
noteを開いたらそう書いてあったのでご自由に書いていこうと思います。
civitai(ちびたい)で人物LoRAなんかを見ているとchilloutmixでトレーニングされました。ってLoRAを見かけるのですが、私が普段使っているのがchillライクなモデルではないので全然似てなくて悲しみを背負う事が多々あります。
chill系モデルを使えばいいのですが逆張りオタクなのでchill系じゃないモデルを使ってchillでトレーニングされたLoRAを何とか使ってchillっちゃうことが出来ないかなと考えましたので備忘録としてここにchillります。

試したLoRA
げろちゅーなLoRA

多様性が大事なこの時代にウォーアイニーしたくなったのでこのLoRAちゃんをダウンロードして適用したのですが全然似ませんでした。

だれちゃん
しらないひとです

1ミクロンも似ていないのでこのままフォルダーから消してもいいのですがそれだとなんだか悔しいので頑張ってchillっていこうと思い、コントロールネット(以下CN)のIP-Adpterと併用して

面倒くさくなりました。CNのIP-Adpterと併用すれば似ていない人物LoRAでも似せることが出来るよって文章を書きたかったのです。

とりあえずLoRAのサンプルページにあった以下の2枚をCNに放り込みます。

Unit2つに画像をセットしたらCNのプリプロセッサをIP-Adapter、モデルをip-adapter-plus-face_sd15にします。
ip-adapter-plus-face_sd15は顔の情報を読み取ってそれに似た顔を生成できる優れものです。ほぼフェイススワップと言われていたりいなかったりします。
同系統の使い方が出来るモデルにip-adapter-full-face_sd15というのがありましてこっちはplus~の改善版?らしいです。強力になっていますが強力故に一長一短です。
LoRAと併用せずに画像1枚からディープフェイクで遊ぼうとするならfull~の方が強力なので結構遊べますが脱線するのでこの話はまたどこかで。

CNの設定パラメータはこんな感じです。

CNウェイト0.5、スタートステップ0.3、エンドステップ0.7

以下にCN+LoRAの生成結果を載せておきます。

ちょっとにてるちゃん
ふんいきでてるちゃん
なんとなくちゃん

いかがでしたか?

特定個人の人物LoRAを使う場合はCNに入れる画像もAI画像ではなくその人自信の画像を入れるとより精度が上がるとおもいます。
結構強力なディープフェイクっぽい感じになりますので節度を持って試してみてください。
イラストモデルでの挙動は詳しくないのでキャラクターLoRAと組み合わせるのはIP-adpterがいいのかreferenceがいいのかshuffleがいいのかはよくわかりません。でも無適用よりかは似ると思います。

繰り返しになりますが節度を持って遊んでみてください。
ほなまた~

この記事が気に入ったらサポートをしてみませんか?