お絵かきAIで30MS的な。（RoLA編）

VRAM 4GB（後に6GBに微増）のグラボでStableDiffusionをしばらく遊んでいたが、さすがに限界を感じて、諦めてGoogle Colabを使ってみることにした。詳細はこちら。

速いし、これまでメモリ不足でエラーになっていた機能も使えるし、1,000円分でもそこそこ使える。なにより、自分のローカル環境でできなかったLoRA学習ができそうだ。
参考にさせてもらったのはこちら。

ということで、リシェッタのRoLA作成にチャレンジ！
教師画像で準備したのはこの8枚。

iPhoneで撮影・切り抜きしたものを1024×1024に加工したものを8枚。
キャプションもタグもなにも編集せず、数値もなにも動画のまま。
ほぼ何も考えずに動画のとおりにやったらできた！　という感じ。

出来上がったLoRAと以下の設定で作成した画像からいくつかご紹介。
本当はLoRAは0.8くらいまでにしておいた方がよいらしいのだけど、今回はどのくらいの再現性があるのか敢えて1で。

モデル：cityedge2dtoonmix_v306.safetensors
プロンプト：1girl , <lora:ressx01:1>, looking at viewer, happy, short hair,light from the front, light on face, medium breasts, green blight eyes, BREAK,
mechanical city, sunburst, sunshine,dynamic pause,dynamic angle,cowboy shot
ネガティブプロンプト：EasyNegative, EasyNegative2, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, (worst quality:1.2), low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, lowres graffiti, (low quality lowres simple background:1.1), NSFW,

なかなか良い感じ。
ついでに、どのくらい外見が変わるか、LoRAを0.6、プロンプトに"serafuku"をたしてみた。手足まで全部込み込みでLoRA化したので当たり前かとは思うが、変化は少なく、よくあるセーラー服風スーツになった。

プラモデルだと、髪の影が顔に出やすいのか、全般的に顔が暗い。
なんとか顔に光があたらないか、プロンプトで頑張ってみたものの・・・
とりあえずここまで。
あとはちゃんとライトを当てて写真を撮り直して、LoRAを作り直してみようかと。

しかし、たかだか数枚の写真からこれができてしまうなんて・・・
すごい技術ができたもんだ。