見出し画像

続 1枚絵(立ち絵)からのキャラLoRA作成アンチョコ(Animagine v3編)


なにこれ

以前の記事(https://note.com/tamama_1sann2sp/n/na8aa2df215fe)ではSD1.5で1枚絵からのオリキャラLoRA作成を試行しました。
今回は、なかなか素性がいいモデルという話のあるSDXLモデル、Animagine v3で同様の作成を試みます。

設定とか学習素材とか

元の絵(1枚)

大本の1枚絵はこれでした。自作のAI絵ですね。
これをベースに加工して学習素材を水増ししています。

大本の一枚絵

で、あーだこーだ加工した結果をそのまま使います。
既にHuggingfaceに格納済みです(以下です)。

  • データセットはそのまま投入する

  • オプティマイザはProdigy

  • SD1.5より学習精度がよい傾向があるためDim=1 Alpha=0.5の学習とする

  • 1024学習

実際にやってみた

なお4090での実行時間は10エポック、8:58でした(参考値)。
完成したLoRAで実際に出力させてみたものがこちらです。

出力サンプル

髪の色分け表現が綺麗に出ている

素直に出ます。

衣装変更指示も問題なく

衣装変更も問題なさそう。正面顔しか学習させてませんが横顔も問題なし。(足親指なんかおかしい気がするけどまあそれは本旨ではないので……)

光輪つきの例

光輪も素直に出ています。心なしか濃淡表現をうまく立体的にしているような。

早いけど総括

正直(前回の設定がちょっとDim頑張りすぎでしょというのはあるにしても)かなりしっかりと覚えてほしいように覚えてくれているようです。

実際に完成品のLoRAで試してみたい人、同じ学習素材で別設定学習して比較したい人向けに前回同様アウトプットを置いておきます。

jsonファイルも入っているので学習設定はほぼ丸っと流用できるかと。

TRPG向けに作成したAIイラストの一枚絵から、デザインを保持しつついろんな構図・ポーズを持たせたいとかの需要がある方にはより扱いやすくなったかもしれませんね。

もっとも、SDXL系のLoRAは元モデルとの相性問題が結構あるようなのでAnimagine用、xx用……といった形でいろいろ追究する必要が出るかもしれませんが……まあそれは作る人のこだわり次第というところで。

それではまた次回、気が向いたときに。

この記事が気に入ったらサポートをしてみませんか?