見出し画像

StableDiffusionで使用する「LoRa」解説

この記事はどんな人におすすめ?

  • StableDiffusionは使えるけど思った通りの画像が作れない

  • LoRaってよくプロンプトの中に入ってるけど何かわからない

  • LoRaをダウンロードしたけどどうやって使うのかわからない

こういった悩みを持った人におすすめです!

そもそもLoRa(ローラ)とは?

LoRa(ローラ)とは「Low-Rank Adaptation」の略で、簡単に言うと
元となるモデルに追加学習した画像の要素を足すことができるよ〜という機能です。
なんのこっちゃわからない、という人のために簡単に例を書きます。

みなさんがStable Diffusionなどのツールを使って何かのアニメだったり漫画だったりのキャラクターを作るときをイメージしてください。
(今回は↓のいらすとやの女の子のキャラクターを作りたいと仮定します)

かわいい女の子

そのとき、そのキャラクターの特徴を表すキーワードを入れて、自分の好みの画像が出るまでひたすら生成し続ける必要があります。

しかしこのやり方には下記のような問題点があります。

  • どんなに特徴を捉えたキーワードを入れても満足のいくような画像が作れない

  • 思うような画像の雰囲気が出るようなシード値が判明するまで生成をし続けないといけない
    (※シード値とは生成画像ごとに割り当てられている固有の番号でプロンプトとシード値が同じなら、全く同じ画像を出力することができます。)

このような不毛な時間をなくすためにあるのがLoRaです。
LoRaを使うことでキャラクターや衣服などを自分の望むものが生成されるようになります。
つまりLoRaとはこのための追加学習のやり方の一つだと思ってください。

ちなみに私自身もプロンプトによくわからずLoRaを追加していましたし、なんとなくこれをプロンプトに書いておくといいのが出るんだな程度の理解でした(笑)

LoRaを使うとどれくらい画像が変わる?

ここではbraBeautifulRealistic_brav5というモデルを使った画像にLoRaを追加してどれくらい画像が変わるのかを検証してみます。
↓がbraBeautifulRealistic_brav5のダウンロードリンクです。

まずはこちらが「1 girl」というプロンプトのみを入れた通常の画像です。
※プロンプトの内容はこちらで見れます
https://www.chichi-pui.com/posts/0b8700d8-3792-4c30-ad5c-4b6e114f229c/

LoRaなし

次にプロンプトは同じにしてLoRaを追加してみましょう
今回はjapaneseDollLikeness_v15というLoRaを使用します

このLoRaはリアルな日本人の女の子を生成するのが得意なLoRaです。
※プロンプトの中身はこちらで見れます
https://www.chichi-pui.com/posts/fea5acba-60b9-489b-beca-18c29c6c6c7c/

LoRaあり

生成した画像がより日本人っぽくなりましたね!
このようにLoRaを使うと、元々のモデルの良さは残しながら生成結果に変化をつけることができます。

LoRaの使い方

公開されているLoRaのダウンロード方法

Stable Diffusionなどで使用できるLoRaはCivitAI、Hugging Faceなどのサイトに公開されています。

「StableDiffusion」上でLoRaを使用する方法

今回は上で紹介したjapaneseDollLikeness_v15を実際にStable Diffusionで使用する方法を紹介します。
(※StableDiffusionの使用方法は別の記事で紹介します。)

txt2imgを選択し、プロンプトに「1 girl」、ネガティブプロンプトには「EasyNegative」のみを入力した状態です。

この状態で「生成」ボタンの下にあるカードのアイコンをクリックしてください。
そうすると↓のようなメニューが開くので「LoRA」のタブをクリックしてください。
そうすると中に「japaneseDollLikeness_v15」というLoRaがあるのでそちらをクリックしてください。
(※画像が私の環境のため、すでにいくつかLoRaが入っていますが気にしないでください。)

するとプロンプト内に「<japaneseDollLikeness_v15:1>」と追加されますので、あとはいつも通りに画像を生成してください。
(※「<LoRa名:LoRaの適用比率>」という形で追加されます)

代表的なLoRa一覧

KoreanDollLikeness

リアルな韓国の女の子を生成しやすくなるLoRaです。

このLoRaを使うことで下の画像のような韓国の女の子の雰囲気を簡単に出すことができます。

プロンプトはこちら
https://www.chichi-pui.com/posts/8ee6d841-8939-4122-88f0-16d61013239e/


TaiwanDollLikeness

リアルな台湾の女の子を生成しやすくなるLoRaです。

KoreanDollLikeness, JapaneseDollLikenessと同じ方が作成したLoRaで
下の画像のように日本人、韓国人とは少し違う台湾人のかわいい女の子を生成することができます

プロンプトはこちら
https://www.chichi-pui.com/posts/08deac7a-1944-4dde-993a-2dda41b4e235/


LowRa

重量感があって重たい雰囲気を出すことのできるLoRaです。

このLoRaを使用すると生成する画像に少し重たい雰囲気を持たせることができます。

プロンプトはこちら
https://www.chichi-pui.com/posts/87284ec5-127d-4023-8a07-c8f2d127dff4/


Makima(Chainsaw Man)

昨年大ヒットしたアニメのチェンソーマンのマキマさんのような雰囲気を出すことのできるLoRaです
(※使用は自己責任でお願いします。)

プロンプトはこちら

https://www.chichi-pui.com/posts/b711be18-51a7-4146-8d6f-b4d68634d68d/


LoRaを使うときに気をつけること

CivitAIやHugging Faceに公開されているLoRaの学習元は明記されていません。
つまり何の学習データやどのような設定でLoRaを生成しているのかわからないため、基本的には商用利用は不可能だと考えたほうがいいです。
使用する際は個人での利用範囲内で収めるようにしましょう!


『StableDiffusionで使用する「LoRa」解説』のまとめ

  • LoRaは元のモデルに要素を追加する手法の一つ

  • LoRaを使うと画像に理想の要素を追加できる

  • StableDiffusion内で実際にLoRaを使う方法

  • LoRaを使用した画像の著作権には気をつけよう


ここまでお読みいただきありがとうございました!

TwitterのほうでStable DiffusionやLoRaに関する質問を受け付けているので
何かわからないことがあったらなんでも聞いてください!



この記事が参加している募集

この記事が気に入ったらサポートをしてみませんか?