LORA ささらさんとつづみさん

以前、Texture Invationの頃はゲゲゲの鬼太郎を学習させたりしてましたが、それ以降DreamBoothなどでは写真やCGばかり学習させていたので、たまにはキャラクター物を。
最近は合成音声もSynthVばかり触っていますが、キャラクターのイメージ画像はないので・・・
(キャラ人気よりも、声の魅力に惹かれた人が使えば良いのです(笑))
無料配布の頃から長年使ってきたCeVIOのキャラクターでもちょいと作ってみようと、さとうささらLORAを作ってみました。

作ってみて、気が付いたのですが写真を学習させる時と違って、アニメ絵はかなりラフな絵をつっこんでも学習できるんですね。

Tutorial: konyconi-style LoRA - [training data] | Stable Diffusion Other | Civitai

上はCivitaiにあるチュートリアルなんですけど、ページの少し下に飛行船の絵があります。本当こういう記号みたいな絵を放り込んでも。きちんと下の画像のようにリアルな飛行船に反映されるという。

それなら、ちょいと思い切り手抜きしてつづみさんを学習させてみようか、と思い立つ。

用意した素材

公式絵2枚を上半身と全身。残りはライブイベントのキャプチャ。

このようにディテールのわからない素材で果たして学習できるのか？

トレーニングスタート・・・

学習の過程です。サンプル出力用のプロンプトを （1girl キャラ名）だけにしているので、衣装や髪型はおまかせで出力させています。
基本kohyaさんのスクリプトの初期設定のままで、ベースモデルAnyLora、リピート10回30エポック、VAEバッチ4、トレインバッチ6。

そしてプロンプトを調整して出力した物がこちら。

ちゃんと生成されるではないですか。
袖の付け根が白くなってしまうのは、衣装指定するときWhite Sleevesとしているからかな？

ちなみに画風などプロンプト指定せずに出力すると、こんな感じです。

出力してまた素材として使えそうな絵が揃ったら、インペイントなどで修正できる所は修正してまた学習し直せば安定してくるのではないでしょうか。
写真などもその方がクリアな素材になるので、そうやってます。

・・・そして思い切りミスしてました。
レジューム設定消すの忘れてて、他のモデルに上書きしてました。

そして先日出力したデータを修正しつつ放り込んで、今度はサンプル用プロンプト設定して・・・あ、大分過学習してる。半分でいいわ。

う～む、上腕の青色は出るようになったけど、ジャケット半脱ぎして肩出ししてる訳じゃないと思うのだけど。