【星野アイLoRA】Stable DiffusionでLoRAファイル追加学習して遊んでみる
今回はStable Diffusionで星野アイのLoRAファイルを追加学習させて色んな画像を生成してみました。
モデルとの組み合わせで雰囲気が全く違ってくるので、どのモデルとの組み合わせがかわいく仕上がるのかわかると思います。
Youtubeでも解説しています
前編：初心者さん向けにLoRAファイルの説明と扱い方
後編：星野アイLoRAファイルを入れて遊んでみる
すでにLoRAファイルを触ったことがある方は後編まで飛ばしてくださいね。
LoRAについて
LoRA（Low-Rank Adaptation）は、追加学習方法の一つで、既存モデルに対し数十枚程度の画像を追加で学習させることにより生成画像を微調整する仕組みです。
LoRAファイルを用いることで、服装や髪形などをある程度固定させることができ、生成したい画像により近づけることができます。
例えば、綾波レイのコスプレした画像を生成したい場合、一般的なモデルだけを使っても求める画像が生成できません。
しかし、綾波レイのコスプレ写真を追加学習させたLoRAファイルをプラスさせてやることで、クオリティの高い綾波レイのコスプレ写真が生成できるようになるということです。
追加学習の方法にはいくつかあり、主に以下の3つがあります。
Textual Inversion
Hypernetworks
LoRa
この追加学習は通常の画像生成よりもハイスペックなPCが求められ、PCへの負荷もかなりかかりますが、世界中のつわもの達が追加学習したファイルを無償で配布してくれています。
LoRAファイルは無料で配布しているものがほとんどで、Hugging FaceやCibitaiで見つけることができます。
ファイルの探し方や適用の仕方など、続いて詳しく解説していきますね。
LORAモデル紹介
OC
女性に特化したハイクオリティな実写に近い質感を出せるイラスト画像が生成できます。
Hoshino Ai | 星野 アイ| Oshi No Ko | 推しの子
星野アイに特化したイラスト画像が生成できます。
星野アイ好きにはたまらないですね！
blindbox
大人気blindboxです！
ねんどろいど風な３Dイラスト画像が生成できます。
LoRAファイルの探し方
LoRAファイルはHugging FaceやCIVITAIなどでLoRaファイルをダウンロードできます。
今回はCIVITAIで探していく方法を解説していきます。
CIVITAIを開く
以下リンクからCIVITAIを開きましょう
フィルターでLoRAファイルで絞り込む
右にあるフィルターマークから、LoRAフィルだけが抽出されるように設定しましょう。
好きなLoRAを探す
LoRAファイルだけに絞られるので、中から好みのLoRAファイルを探してクリックします
ファイルをダウンロードする
「Download」ボタンから、LoRAファイルをダウンロードします。私は「blindbox」で試してみます。
LoRAの条件を確認する
モデルでもそうですが、製作者が推奨の設定などを書いてくれています。
LoRAでも同様に、画像を綺麗に生成するために必要なモデルやプロンプトを書いてくれているのでチェックします。
blindboxの場合ですと、モデルは「RevAnimated」を推奨、プロントぷは「full body ,chibi」を使う。
実際には使わなくても綺麗に出る場合もありますが、今回は同じようにやってみます。
ファイルを置く
ファイルを以下の場所に置きます。
Stable Diffusionが入っているフォルダの「stable-diffusion-webui\models\Lora」の中に入れましょう。
Stable Diffusionを開く
Stable Diffusionを開きます。すでに開いている場合はモデルファイルのリロードしてください。
今回は初音ミクの画像を生成してみたいと思います。
LoRAファイルの適用前はこんな感じです。
Stable DiffusionにLoRAファイルを適用する
以下画像の順番で、①→②→③とクリックします。
Loraタブ内に「blindbox」があるはずです。クリックするとプロント内に「lora:blindbox」が入ったと思います。
これでLoRAが適用されたことになります。
最後にGenerateボタンで画像を生成してみてください。
LoRAファイルを適用した参考例
どうでしょうか。今回、私はblindboxを使って初音ミクのねんどろいど風な画像を生成してみました。
うまくきれいな画像が生成できない場合はモデルとLoRAファイルの愛称が悪かったり、LoRAファイルの条件に当てはまっていない可能性があります。
モデルファイルとLoRAファイルの配布ページに条件が書かれていることがあるので、うまく出ない場合はチェックしてみてください。
LORAを組み合わせる
LoRAファイルは1種類のみではなく、2種類を組み合わせて出すこともできます。
モデル＋LoRA＋LoRAといったように、追加学習させていくと自分が求めている画像が作れるようになります。
（blindbox ＋ 星野アイ）
今回は試しに「blindbox」と「星野アイ」を組み合わせてみました。
どうでしょうか？星野アイのねんどろいどっぽくてかわいくないですか？
星野アイLoRAファイル配布
Sgzさんという方が配布している星野アイの追加学習ファイルになります。
ほかにのアニメキャラクターの追加学習ファイルを多く配布しているようです。
モデルとLoRAの組み合わせ
いろんなモデルと星野アイLoRAファイルを組み合わせて遊んでみました。
プロンプトはこちら
1girl, full body, cowboy shot, (Rembrandt), illustration, (masterpiece), (best quality), (ultra_detailed), finely detail, (Depth of field), gloves, tongue out, tongue, long hair, star \(symbol\), looking at viewer, (purple hair:1.2), purple eyes, upper body, hair ornament, :p, frills, pink shirt, smile, sleeveless, shirt, idol, symbol-shaped pupils, bangs, one side up, star-shaped pupils, dress pull, Roaring Twenties, isometric, from above, sky, flower, cliff <lora:HoshinoAi_v9-000007:1>SukiAniMix ＋ 星野アイ
SukianiMixとの組み合わせ！
この組み合わせが一番アニメに近い気がしますね。とってもよき！
AnythingV5 ＋ 星野アイ
この組み合わせもかなりいです！
breakdomain＋星野アイ
ちょっとリアルに近づいたハイクオリティな作品にしあがりました。
breakdomainはもともとハイクオリティなモデルなので、この組み合わせもなかなかいいですね。
BreakDomainRealistic ＋ 星野アイ
これも素敵！クオリティ！
MeinaMix ＋ 星野アイ
んー、ちょっと微妙かもしれません・・・。
Defmix ＋ 星野アイ
色合いが優しくてこれもよき！
かわいいいイラスト画像ができました。
lofiV2 ＋ 星野アイ
これは失敗例ですが笑
リアル系のモデルと組み合わせてみましたがやはりうまくいきませんね。
まとめ
今回は色んなモデルと星野アイLoRAファイルとを組み合わせて遊んでみました。
好きな組み合わせは見つかったでしょうか？
私的にはやはりアニメよりのSukiAniMixですかね。
この記事が気に入ったらサポートをしてみませんか？