StableDiffusionで使用する「LoRa」解説

AIひなちゃん

2023年6月2日 20:40

この記事はどんな人におすすめ？

StableDiffusionは使えるけど思った通りの画像が作れない
LoRaってよくプロンプトの中に入ってるけど何かわからない
LoRaをダウンロードしたけどどうやって使うのかわからない

こういった悩みを持った人におすすめです！

そもそもLoRa(ローラ)とは？

LoRa(ローラ)とは「Low-Rank Adaptation」の略で、簡単に言うと
元となるモデルに追加学習した画像の要素を足すことができるよ〜という機能です。
なんのこっちゃわからない、という人のために簡単に例を書きます。

みなさんがStable Diffusionなどのツールを使って何かのアニメだったり漫画だったりのキャラクターを作るときをイメージしてください。
(今回は↓のいらすとやの女の子のキャラクターを作りたいと仮定します)

そのとき、そのキャラクターの特徴を表すキーワードを入れて、自分の好みの画像が出るまでひたすら生成し続ける必要があります。

しかしこのやり方には下記のような問題点があります。

どんなに特徴を捉えたキーワードを入れても満足のいくような画像が作れない
思うような画像の雰囲気が出るようなシード値が判明するまで生成をし続けないといけない
(※シード値とは生成画像ごとに割り当てられている固有の番号でプロンプトとシード値が同じなら、全く同じ画像を出力することができます。)

このような不毛な時間をなくすためにあるのがLoRaです。
LoRaを使うことでキャラクターや衣服などを自分の望むものが生成されるようになります。
つまりLoRaとはこのための追加学習のやり方の一つだと思ってください。

ちなみに私自身もプロンプトによくわからずLoRaを追加していましたし、なんとなくこれをプロンプトに書いておくといいのが出るんだな程度の理解でした(笑)

LoRaを使うとどれくらい画像が変わる？

ここではbraBeautifulRealistic_brav5というモデルを使った画像にLoRaを追加してどれくらい画像が変わるのかを検証してみます。
↓がbraBeautifulRealistic_brav5のダウンロードリンクです。

まずはこちらが「1 girl」というプロンプトのみを入れた通常の画像です。
※プロンプトの内容はこちらで見れます
https://www.chichi-pui.com/posts/0b8700d8-3792-4c30-ad5c-4b6e114f229c/

次にプロンプトは同じにしてLoRaを追加してみましょう
今回はjapaneseDollLikeness_v15というLoRaを使用します

このLoRaはリアルな日本人の女の子を生成するのが得意なLoRaです。
※プロンプトの中身はこちらで見れます
https://www.chichi-pui.com/posts/fea5acba-60b9-489b-beca-18c29c6c6c7c/

生成した画像がより日本人っぽくなりましたね！
このようにLoRaを使うと、元々のモデルの良さは残しながら生成結果に変化をつけることができます。

LoRaの使い方

公開されているLoRaのダウンロード方法

Stable Diffusionなどで使用できるLoRaはCivitAI、Hugging Faceなどのサイトに公開されています。

「StableDiffusion」上でLoRaを使用する方法

今回は上で紹介したjapaneseDollLikeness_v15を実際にStable Diffusionで使用する方法を紹介します。
(※StableDiffusionの使用方法は別の記事で紹介します。)

txt2imgを選択し、プロンプトに「1 girl」、ネガティブプロンプトには「EasyNegative」のみを入力した状態です。

この状態で「生成」ボタンの下にあるカードのアイコンをクリックしてください。
そうすると↓のようなメニューが開くので「LoRA」のタブをクリックしてください。
そうすると中に「japaneseDollLikeness_v15」というLoRaがあるのでそちらをクリックしてください。
(※画像が私の環境のため、すでにいくつかLoRaが入っていますが気にしないでください。)