Loraについて【AIイラスト基礎知識】

どうも。あいおえです。

皆さんはLoraを使ったことがありますか？
使ったことないよ！って人は人生の半分損してます()
それくらいすごい技術なので、覚えておいて損はないです。

Loraとは追加学習のことで、データセットの画像を学習して1つの小さなファイルにすることができます。
あとはそのファイルを利用すれば、データセットに似た絵が生成できるようになるという仕組みです。

このページではLoraの導入方法とその効果について説明します。

【Loraの導入方法】

まず、civitaiやHugging FaceでLoraのファイルをダウンロードします。

lora Stable Diffusion AI Models | Civitai

2vXpSwA7/iroiro-lora · Hugging Face

今回はHugging Faceにアップされているiroiro-loraの「flat2」というLoraを使います。

ダウンロードするには、Files → test2 → flat2.safetensors → downloadをクリックしてください。

ダウンロードしたファイルは自分のPCの stable-diffusion-webui → models → Lora のファイルの中に入れてください。

※LoraのほかにもLoConやLyCORISというのもあります。LyCORISの拡張機能をインストールすれば使えるようになります。

GitHub - KohakuBlueleaf/LyCORIS: Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion.

【Loraの使い方】

では、今回はflat2を使ってみましょう。
プロンプトのどこでもいいのでこれを入れてください。
↓

<lora:flat2:1>

これでLoraを発動することができます！うおおおおお！！！
※🎴マークを押してLoraのファイルをクリックするとプロンプトの最後に入ります。
※「:1」は強調の値です。「0.3〜0.8」くらいで調整することをおすすめします。

では、実際に生成してみましょう。

○Loraなし
one cute girl, the background is city, the girl wearing (casual and cute clothes mini skirt),
↓

○Loraあり
<lora:flat2:0.8>one cute girl, the background is city, the girl wearing (casual and cute clothes mini skirt),
↓

はい。この通りflat2Loraには平面的なイラストにする効果があります。

ちなみに、Loraの強調をマイナスにすることもできます。

<lora:flat2:-0.8>one cute girl, the background is city, the girl wearing (casual and cute clothes mini skirt),
↓

逆にすごい3Dになりましたね！？Loraは奥が深いなあ･･･(遠い目)

【Loraによるキャラ再現】

Loraはデータセットの絵柄を学習することもできますが、人物も学習するのでキャラ再現することができます。

私はオリジナルキャラクターの神デザちゃんのデータセットを30枚用意して、それを学習させてLoraを作りました。
↓

これはデータセットの1つ。

Loraのファイル名は「lora:kamidezachan_Lora-20」にしたので、

<lora:kamidezachan_Lora-20:0.5>kamidezachan

というように記述します。

最後のkamidezachanはトリガーワードです。
学習した時に使ったファイル名がこれに当たり、プロンプトに入れるとより精度が高くなります。

さっきのflat2にはトリガーワードがありませんでしたが、通常Loraには何かしらのトリガーワードが設定されています。
Loraをダウンロードする際はサイト内に書かれたトリガーワードを確認してみてください。

では、生成してみましょう。
<lora:kamidezachan_Lora-20:0.5>kamidezachan, one cute girl, the background is city,
↓

こんな感じで簡単にキャラ再現できます。
ただし、絵柄もデータセットに寄るので注意です。

【Loraの複数適用】

Loraは複数適用することもできます。こんなLora(lyCORIS)を見つけました。
↓

They challenged FX | LoHa (LyCORIS) - v1.0 | Stable Diffusion LyCORIS | Civitai

FXで有り金全部溶かしたLoraです。なんでこんなのあるんですかね･･･ｗ

では、神デザちゃんLoraと同時に使ってみましょう。
<lora:theyChallengedFXLoha_v10:1.2><lora:kamidezachan_Lora-20:0.5>kamidezachan, (one cute girl sitting on wooden chair, wooden desk), the background is (classroom), (looking upward:1.4)
↓

草。やっぱLoraってすごいわ。

説明は以上です。
自分のPCでLoraを作る方法も紹介したいところなんですが、私はpaperspaceというクラウド上でコードを走らせているので、PCを持っている人とは方法が違うんですよね･･･

一応paperspaceでLora学習する方法も紹介します。
トリガーワードとかの話もあるので、参考にしてください。
↓