【Stable Diffusion】アニメ系と実写系モデルをマージしてみた (10%刻みで実験!!)

皆さんこんにちはRcatです。
今回は画像生成AIモデルのマージを試してみようと思います。
モデルのマージとは、2種類のモデルを混ぜ合わせることができる機能のことで、それぞれの特徴を受け継いだ新しいモデルを作ることができます。

最初に

今回はemiのモデルの説明の中で"手が不安定なため、実写系のモデルとのマージをお勧めします"と書いてあったので、アニメ系と実写系を混ぜ合わせたらどうなるのか気になってきたのでやってみようと思います。
なお、今回使用するモデルはいつも使っているモデルです

おすすめ記事紹介

モデルの紹介

アニメ系

まずはアニメ系モデルの紹介です。いつも使っているこちらになります。
Sakura Mix v4
出力画像は以下の通り、全く同じプロンプトで実験を行っていきます。

実写系

適当に実写系モデルをあさり、よさそうなのをピックアップしました。
Yayoi Mix v25
出力画像は以下の通りです。
同じプロンプトなんですが、アニメ系と若干差が出ていますね。構図は大きく違わないので、このまま行くことにします。

モデルのマージ方法

モデルをマージするのは非常に簡単です。
WEB UIを使っている前提ですが、Checkpoint Mergerを開き、下記のように入力します。

1. プライマリーモデルとマージするモデルを選びます。

2. 次にモデルの名前を新しく決めます。

3. マージ強度は数値が小さいほどメインのモデルの影響度が大きくなります。

4. それ以降はもともとチェックが入っているところでいいと思います。詳しくは調べてみてください。

5. 今回は実験なので、パラメーターのサイズを半分にしてサイズを小さくしています。

今回はマージというのがどういうものなのか知りたいので、10%刻みでモデルを作ってみました。

実験開始

ではでは、早速実験を開始していきましょう。

スタート地点

スタート地点は最初にも紹介したこちらの画像です。

90%アニメ

10%の影響でもかなり画風が変わった気がしますね。
anythingモデルに近いような絵というよりか、CGみたいな感じが出てきています。

80%アニメ

さらにリアル感というか、CG感が強まった感じですね。
そして地味に一番点前の指の本数が5本に訂正されています。

70%アニメ

大分変わってきましたね。
まだ背景の花などはアニメ調イラストっぽいですが、人物はなんかよくわからない感じになってきました。
そしてまだ手がおかしくなってます。ちょっと残念。

60%アニメ

コメントは上記と同じです。

50%アニメ

さて、折り返し時点です。
だんだんと背景にも変化が現れています。

40%アニメ

とうとう左側の背景にも変化が出てきましたね。
そしてここで一気に実写っぽい絵になってきたような感じもします。やはりウエイトが実写に偏ってきたからでしょうか？

30%アニメ

実写なのかアニメなのかよくわからない感じになってきました

20%アニメ

ここまで来るともう若干違和感のある実写っていう感じですね。
アニメ系モデルをマージしているせいで逆に変になってしまっている感がありますね。

10%アニメ

ゴール(100%実写)

こちらも一番最初に実写の方で紹介した絵になります。
Rcat的には、この絵よりも10%アニメマージの方が好きです…。このプロンプトとシード値が悪いだけなのかもしれませんが、

まとめ

今回はアニメ系モデルと実写系モデルをマージを実験しました。
実験してわかったのが、やはり用途に合わせてパーセンテージを細かく見極めるのが大事だということです。
特に中間に近くなるほど、どっちつかずのよくわからないモデルになってしまうので、ほんの少しだけ含めたりするのがいいと思います。
私的には多くても10%含ませるくらいがいいのではないかと考えました。
こんな感じで少しずつ自分お気に入りのモデルが作れたらいいですね。
ではではまたお会いしましょう。