【StableDiffusion】SDでnijijournyっぽい画像を生成してみよう（モデル・LoRA）
はじめに
お久しぶりです。今回はStableDiffusionでnijijournyっぽい画像を生成するのに役立つモデルやLoRAを紹介しようと思います。
SDXLが公開され、これからよくなっていくと思いますが、やはり現段階ではSDとnijiの間に、タグの認識能力や一部物体の表現力などにおいてまだまだ差があります。勿論SDは豊富な拡張機能があるので、それらを使いこなせば上限はSDのほうが高いはずなので、実際nijiでベース画像を生成し、SDで加工する人も多いです。
ただ、私みたいにこだわりにこだわって一枚の画像を作るより、ある程度のプロンプトを元にガチャを回したい人も一定数いると思うので、「どうやってパラメータやControlNetを上手く使う」のではなく、「これさえ入れれば多少それっぽくなるよ」という方向性でやっていこうと思います。
そもそもnijiっぽいって何？
nijijournyのタグ識別能力が高いので、プロンプト次第で様々なタイプのイラストを生成できます。そのため、恐らく「nijiっぽい画風」というものは本当の意味では存在しないと思います。ただ、やはりユーザーが生成した画像を見ると、なんとなく「あ、これはnijiだな」ってわかるポイントがあります。私の言葉で表現すると、
ややフラットな色使い
繊細な光影表現
全体的にホワッとしている
丸みがあってかわいい
対比のために実際nijijournyで今回の紹介で使う予定のプロンプトで一枚生成してきました。
上述の特徴がわかりますかね。
nijijournyはloliタグを禁止している割に、female childのようなタグがあると極めて幼いキャラを描きがちです…一体なんのためにloliをNGにしているんでしょうって気がしますが、今回は幼いかどうかをnijiっぽいかどうかの基準にしないようにさせていただきます。
モデル編
なによりもまずあの有名モデル
まず紹介するのは誰でも知っているAnythingです。
Anythingはnijiの生成画像で訓練したベースモデルとSDの生成画像での二次訓練で作成されたモデルです。ベースはnijiを大量に学習しただけあって、「nijiっぽい」モデルとしては相当優秀です。
ただ、注意していただきたいのは、ここでおすすめするのはあくまで現時点で「AnythingV5」より新しいAnythingモデルです。というのも、Anythingは「2が1を元に改良したもの」というような一般的な進化を遂げていません。AnythingV1は作者が当時存在するStableDiffusionのモデルを片端からマージしたもので、そもそもnijiを意識していませんでした。V3からはnijiをベースに学習していましたが、V4とV4.5に関しては作者本人が知らないところで別の人が勝手に作ったものです…
つまり、Anythingの本家でnijiっぽい再現が可能なのは、V3とV5だけです。ではなぜV5がいいと言うと、V5はV3よりタグを認識し、表現する力が高いからです。
StableDiffusionで使える多くのモデルは、ある程度定まっているスタイルがあり、絵画技法のタグで若干コントロールできる部分もあるとはいえ、人によってはひと目で何系のモデルかが判別できます。Anythingの作者さんは「プロンプトで全部コントロールできるのがいいモデル」に近い考え方があるゆえに、AnythingV5がデフォルトのスタイルがあるものの、プロンプト次第で全く別物になる力があるのです。
ただ、逆に言うと適当もしくはシンプルなプロンプトだと、他人気モデルよりだいぶ見劣る画像しか出ないので、少し人を選ぶ部分があります。そのため、作者さんはEmbeddingは画風を大きく変えてしまうから使わなないでと言っていますが、Conterfeitの作者さんによるEasyNagativeを使えばある程度クオリティが保証される画像になるので、個人的にはおすすめです。
こちらは最初の画像と全く同じプロンプトで、AnythingV5＋EasyNagativeを使って私がいつも使っている設定で出した画像です。本家nijiで出した画像に比べるとnijiっぽいかと言われると微妙ですが、AnythingV5ならプロンプトの調整で近づくことができます。
こちらが私が以前AnythingV5でnijiっぽい画像を目指して生成した画像です。
niji風大モデルの悲しい現実
大モデルというのはCheckpointと言われるもので、反対に小モデルはLoRAやLycorisなどがあります。Anything以外にも、niji風を出すために、nijiの生成画像で訓練された大モデルが存在します。
しかし、せっかく作ってアップロードしてくれた作者の方々には失礼ですが、私が見つけたものに限って言えば、出来が世辞でも「使える」レベルに達していません。
確かにその中の多くは画像の色使いなどを見るとnijiっぽいではありますが、一番よかったものでも8割以上の画像が崩壊していました。故に、私個人としてはおすすめはしませんが、ハイクオリティのモデルが別に存在する可能性は否定しないので、よければご自身で探してみてください。
LoRA編
明るい色としっかりした線のnijiLoRA
LoRA編に入って、まず紹介するのはこちらです。
さすがにniji風専用の追加学習だけあって、光影の感じと色使いがかなりnijiっぽいが出ていると思います。
ただ、線に関して、こちらのLoRAはどうしても硬いです。また、ご覧の通り、モデルによっては途切れ途切れになります。個人的にConterfeitとの相性がかなりいいのではないかと思います。
Conterfeit3.0で生成したものです。
また、こちらのLoRAと同じ作者によるもので、nijiのcutestyleに特化したものもあります。
まあ…実際のniji cutestyleとはちょっと違う気がしますが、これはこれでnijiっぽくてかわいいので、私は好きです。
人物メインならこれのnijiLoRA
生成例は完全に作者の推奨設定を無視しています。こちらのLoRAは構図への影響が非常に強いので、本来であれば0.5-0.9ぐらいのweightが適切ですが、比較しやすいために他LoRAと同じ設定で出力しました。
一つ前のLoRAに比べて、こちらは影響力が強い分、モデルはあまり選べない気がします。さらに、「nijiっぽい」基準で言えば、こちらのほうは軍配が上がると思います。ただ、その分似たような構図になりがちです。普通ならめったに人物の上半身アップにならないプロンプトでも、これを入れると上半身像になります。まあ絶対ということでもないので、元々人物メインを想定した画像なら、使って全く問題がないと思います。
CetusMixで生成したものです。
画像をそのままniji化できるnijiLORA
WD1.3をTEを固定して、37万枚のAIイラストでファインチューンした実験版、FW TEfixedと、さらに2万枚のnijiタグの画像でFTしたFWRLoRA TEfixedを公開しました！
— 天紗愛 (@Ai_tensa) July 26, 2023
現行のFW1.3.1の方が使いやすいと思いますが、WD1.3から変化が少ないのでマージ元ならありかも？#AIイラストhttps://t.co/daUUFzWfCg pic.twitter.com/XGQPybDPZP
今回使用させていただいたLoRAは作者さんのTwitterからHuggingFaceに飛んで、LoRAディレクトリにあるFWR_TEfixed2というものです。
こちらのLoRAは影響力が弱い分、細かい調整が効きます。また、SDで生成した画像の構図をほぼ変えずにnijiっぽい画像に変えられます。ただ、さすがに弱すぎると変化がわからないので、少なくともweightを2以上に設定したほうがいいと思います。
また、このLoRAでは前の２つのように明るくてフラットな色にはなかなかならないが、元画像の雰囲気に合わせて違う「nijiっぽさ」を出すことができます。私が使っている設定はどうしても線がくっきりな画像が出ますが、ホワっとする画像を用意すれば、ホワっとするnijiっぽい画像が出ます。
新しい絵柄LoRA、FWR_TEfixed2を使わせていただきました。WD1.3成分が薄いモデルであるはずですが、かなり派手に絵が変わる…！ https://t.co/QehvjXxCFZ pic.twitter.com/tALNf80Rql
— armabird@AIart (@arma_aiart) July 28, 2023
こちらは私がこのLoRAを知ったきっかけです。私もこんな画像が生成できるようになりたいです…
私が生成すると、
CetusMixで生成したものです
こんな感じのが出ます…全くホワっとしていないですよね…
番外編
微妙にnijiっぽい立ち絵LoRA
こちらはかの有名な描き込み増やしLoRA、<lora:add_detail:>の作者さんが作った立ち絵LoRAです。明示的にniji画像を学習したとは言っていないものの、私的には少しnijiっぽい画像が出る感じがしなくもないので紹介することにしました。
このLoRAでは強度設定以外にキーワードも出力に影響します。今回の立ち絵にはsimple backgroundやtachi-eのような「これは立ち絵だよ」とAIにわからせるようなタグがないので、強度を3にしてやっと本来このLoRAが意図するような構図になりましたが、立ち絵だとわかるタグがあれば、1未満でも素晴らしい立ち絵が出ます。
ちなみに作者は別にKawaiiMixという明確にNiji V5のスタイルを意識しているCheckpointも公開しています。KawaiiMixは勿論前に話していた「8割崩壊するnijiっぽいモデル」には含まれていないが、個人的に「かわいいけどいうてnijiっぽいか」と思っているのでモデル編では紹介しませんでした。
「この立ち絵LoRAをnijiっぽく見えるくせにKawaiiMixは見えないのかよこのダブスタ野郎」と言われそうですね…
余談ですが、私の一つ前の記事で話していた「背景における課題」はこのLoRAを使えば完璧に解決できます。そのため、一番常用しているLoRAではないものの、こちらは私が一番好きなLoRAです。
Counterfeit3.0で生成したものです。
やはり少しはnijiっぽさがありますよね？
幼さという意味でnijiっぽいモデル
LoRAなしでこうですよ…今回は幼さは別に考慮しないと言ったのですが、さすがにこのモデルが色んな意味で強すぎるから番外編で紹介することにしました。
LoRAとの相性が良すぎてもはやnijiそのもの…
しかもこのモデル、どういう技術が使われたのかは知りませんが、手の崩壊率が異常に低いです…たまには指が多かったりもしますが、「構図がいいのに手が修復不可能で惜しい！！！」というようなことはほぼ発生しないので、びっくりしました。
あと、このモデル、nsfwタグをつけなくても勝手に脱ぐし、脱がなくても露出度が高いので、気になる方はnegative promptに露出したら困る部位を入れたほうが安全だと思います。
終わりに
今回で紹介したもの以外にも、nijiっぽさを表現するLoRAやniji画像で訓練したLoRAがたくさんあります。あくまで私が使ったものの中でよかったと思っったものをまとめただけなので、人の環境やよく使うモデル、設定などによってはもっといいLoRAやモデルもあると思います。
紹介したところで、やはりnijiで生成したものをSDでアップスケイルするやり方が強すぎるので、なかなか勝てないと思います…nijiのサブスク料金は一番安いもので月額15ドルですが、機能的な面で見ると一回試してみたいだけの人以外は30ドルのプランが必要になるので、サブスクの中ではなかなか高いほうなのではないかと思います。
しかも実際サブスクに入ってみると、nijiにはnijiの難しさがあるので、SDよりはお手軽な部分はあるが、容易に美麗イラストが量産できるというわけでもないです。それでこのようなオリジナリティが皆無な記事を書こうと思ったのですが、30ドルが割に合わないことは多分ないので、余裕がある方はやはりnijiのサブスクに入りましょう！
この記事が気に入ったらサポートをしてみませんか？