SDXLモデルでお気に入りヒール男子のLoRAを作ってみた
前回の記事の時は、SD1.5系モデルでLoRAを作ったのですが、Kohya's GUIで--fp8_baseを設定する方法に気づいたので、SDXLモデルで作ってみました。
なお、初心者ですので、LoRA作成のコツなどの話はありません。
むしろそれは私が知りたいです。
初心者がLoRAを作りながらわーわーしてるだけです。
準備
Kohya's GUIで--fp8_baseを設定する方法
これがわからなくて丸一日コマンドラインと格闘したのですが、設定ありました。
Parameters > Advanced > Weights > fp8 base training (experimental)
ここのチェックボックスをポチッとするだけです。簡単ですね。
学習する画像とキャプション
前回と全く同じです。
ベースモデル
Animagine XL V3 を使用しました。
設定
知りたい人がいるか分からないんですが、一応載せておきます。
ほぼデフォルトです。
accelerate launch "./sdxl_train_network.py" --bucket_no_upscale --bucket_reso_steps=64 --cache_latents --caption_extension=".txt" --clip_skip=2 --enable_bucket --min_bucket_reso=256 --max_bucket_reso=2048 --fp8_base --learning_rate="1e-05" --lr_scheduler="cosine" --lr_scheduler_num_cycles="16" --lr_warmup_steps="448" --max_data_loader_n_workers="0" --max_grad_norm="1" --resolution="512,512" --max_train_steps="4480" --mixed_precision="fp16" --network_alpha="1" --network_dim=8 --network_module=networks.lora --no_half_vae --optimizer_type="AdamW8bit" --output_dir="C:/StableDiffusion/KohyasGUI/kohya_ss/03_output" --output_name="RedBoyXL_v1" --pretrained_model_name_or_path="C:/StableDiffusion/webui_forge_cu121_torch21/webui/models/Stable-diffusion/animagineXLV3_v30.safetensors" --save_every_n_epochs="4" --save_model_as=safetensors --save_precision="fp16" --train_batch_size="2" --train_data_dir="C:/StableDiffusion/KohyasGUI/kohya_ss/02_input" --xformers
これでスタートすると想定時間7時間でした。
使用しているGPUは、RTX 4070 12GBです。
--fp8_base を設定しないでやってみようとしたときは、想定時間15時間だったので半分になりました。
とはいえ、長いのでPCくんには夜中に頑張ってもらいました。
作ったLoRAで生成してみる
試しに 1boy のみで生成。
ここからの画像は加筆修正なしです。
おおっ！
色が違いますが、顔はイメージ通りです。
座った状態にもできています。
学習画像にない顔の角度もできました。
ヒールを入れてもちゃんと男子です！
寝かせることもできました。
XL系モデルすごい！
同じ学習画像と学習回数なのに、前回のSD1.5系とは柔軟度が全然ちがいます。
教師画像にないポーズが取れる！
Stable Diffusion WebUI Forgeをいれて、生成速度も全然速いので、これからはXL系モデルですね。
（通常のWebUIだと生成できる画像サイズが1024x1024px相当だったのですが、Forgeを使うと2048x2048px相当でも生成できるようになりました。）
プロンプトで特徴を呼び出すと、目尻が尖ってしまうのですが、よくみたら学習画像がそうだったので、そうなりますよね。
まあ見慣れてきてこれでもいいかなって（こだわりとは）。
それよりも、同じキャラ（と思える人物）を出せるのが嬉しい。
nijijourneyのキャラクターリファレンスでも同じようなことができますが、いろいろ試したところ、やはり元画像のポーズに引っ張られる感じがあり、
LoRAのが柔軟性が高いのかなという印象を受けました。
ギャラリー
ここからは気に入った画像を貼っておきます。
楽しー！！
画像もめっちゃ綺麗だし、満足です。
LoRA楽しい
お気に入りのキャラを作れるのが嬉しい
一次創作はやる気でないとか言ってたじゃない？と思うかもしれませんが、同じキャラを生成するということを頑張っているので、画像生成AIの使い方としては、二次創作と同じだなと思います。
とにかく、同じキャラを再現することに重きをおいているので、こまかい構図やポーズにこだわることができず、同じような画像になってしまいますね。
少しポーズを変えようとして、「体を前に傾ける」を入れたらとたんに女子がグラビアポーズをしてきて、ああ…ってなりました。
XでみるAI絵には美しい背景込みで物語性を重視しているものもあるので、すごいなと思います。
私は今のところ、お気に入りのキャラが綺麗に生成できれば嬉しー！という状態です。
ただ、とにかく学習に時間がかかるので、作るキャラを絞らなくてはならないのが悩みですかね。
画像生成AIでイラストを描くということ
そんな感じで、私にとって画像生成AIはイラストを描いているという感じではなく、希望に近いものを出してくれるように頑張るという感じです。
そういう感覚の人は多いんじゃないかなと勝手に思っています。
そのあたり、またnote書きたいなと思っています。
この記事が気に入ったらサポートをしてみませんか？