コピー機学習法でLoRAを作ってみる～丸メガネを差分学習で生成

2023年10月26日 00:46

　LoRA作成で使われているコピー機学習法＝差分学習法を試したくなりました。
　コピー機学習法とは、LoRA作成で使うベースモデルに特定の「絵柄」を強烈に学習させたうえで、その絵柄との「差分」を学習させる方法。
　LoRAの「学習のベースモデルとの違いを学習してファイルにまとめる」という仕組みを最大限有効活用する仕組みとなっています。

具体的な手順は

1枚の絵＝Aを過学習したLoRAを作る。
LORAをモデルにマージする。
「A」に変化を加えたBを作成する。
「２」で作ったモデルをベースにし、「B」を素材にしてLoRAを作る。
差分LoRA完成

　詳しい説明は「LoRA　コピー機学習」で検索してもらえば、詳しい解説サイトがいくつか見つかるはずです。

　で、このエントリでは、詳しい説明ではなく実際にコピー機学習を行ったときの学びなどを書いていこうと思います。

　今回は「丸メガネLoRA」を作ってみます。

１：1枚絵LoRAを作る。

　まずは1枚絵を強烈に学習させます。
　AdamWで学習率1e-3にしてCosineでガっとやれば大丈夫。

適当に顔を出力。もっとデフォルメ効いたシンプルな絵でもいいかも？
メガネの邪魔にならないように髪型は短くシンプルに。

２：マージしてコピー機を作る

　1で作ったLoRAをSuperMerger使って適当なモデルとマージ。
　モデルはなんでもOK。普段よくつかってるやつとか。

３：元絵を変更
　１で使った絵をベースにして、変更したい要素を追加。
　今回はメガネを追加。

元の絵にメガネ追加。色やディテールはお好みで。
これはメガネの商品写真を探してきて、コピペで合成＆細部修正。

４：差分LoRA学習
　２のモデルをベースにして、３で作った絵を学習して完成。
　パラメータは１と同じで、うまくいかないときは数値を適宜調整。
　基本的には強め学習でOK。

　丸メガネLORAですが、素材1枚でそこそこちゃんとメガネが出るLoRAはできました。
　ただ、丸い感じにはなるけど真円にはならない…みたいな感じでした。

　そもそも、プロンプトでもメガネは簡単にでるためLORAの必要性は低いといえます。
　いっぽうで、LoRAを使うとプロンプトで出すよりも、形状の傾向をコントロールしやすいうえに出力も安定するので、LORAを作る価値はなくはないです。
　「素材1枚でOK」「素材が少ないから学習時間が短い」など、メリットも多いので、やり方を覚えておいて損はないと思います。

　以下、学習時に使用したコマンド＆パラメータと、その解説。およびサンプルで作った丸メガネLoRAのバリエーションを、有料部分で公開します。
　いつものように「他人がLoRAを作っているときのパラメータを知りたい」とか「時間をかけて学習するのが面倒くさい」方向けとなっています。
　またメガネLoRAは、狙った形状が出たり出なかったりです。狙った形状を必ずだせるわけではありません。「丸メガネ」で綺麗な丸がでるのは珍しいです（丸っぽいのはまぁまぁ出ます）。
　そのあたりの諸々をご了承のうえ購入して頂けると嬉しいです。

・コピー機モデルにマージするLORA作成用のコマンド。
・コピー機モデルで差分学習するときのLORA用コマンド。
・差分学習で作成したメガネLoRA。
（丸メガネ（赤・黒）、四角メガネ2種、その他）
・差分作成に使った元画像＆差分画像12枚（近日追加）

メガネLORAサンプル画像（主にsukumiz mix。一部オリジナルマージ）