【StableDiffusion】「3D」キャプションを追加してVRoidモデルからSDXL対応LoRAを作ってみた

■記事の対象ユーザ

１．LoRAを自作したことがある、または自作したい気持ちがある
２．LoRA化したいVRMがある
３．VRAM10GB～のGPUを積んだPCがある

つまり

そんなことは･･･ガガピ･･･

■ようするに？
やることはキャプションに「3d」のタグを追加で付けるだけ
SD1.5の時は出来なかったけどSDXLだと効くようになったよ。

これが→こうなった

０．はじめに

上記の月須和さんの記事の中でサラっと紹介されている
「SDXLではキャプションに「3d」タグを埋め込むだけで、いかにも3D！とならないLoRAを作ることが出来る」方法。
以前ウチの子モデルでLoRAを作ろうとしたとき、エラい目にあったことを思い出して「えぇ～、本当にござるかぁ～？」の気持ちで実際にやってみたのでどんな感じだったかを紹介するしていくよ。

これ、SD1.5の時似たようことしたら化け物が大量生産されてちょっとトラウマだったので、SDXLモデルの進化がすごい･･･！#LoRA pic.twitter.com/A3A7BVkQJC

— カズヤ弟 (@dodo_ria) April 12, 2024

ごめんて

１．キャプションに「3d」を追記する

基本的なLoRA作成の方法は過去に記事にしているから、以下の記事の
「用意した画像にタグ付け」項を参照してる前提で説明するよ。

SDXLでの設定方法とか次の記事で書いてます。

今回はVRoidStudioで撮影したVRMの画像を30枚用意してデータセットに。

こんな感じ

記事では「Additional tags (comma split)」に「tester girl」とか書いてるけどここを「3d」とすることで学習素材のキャプションに「3d」タグを埋め込むことができるよ。

「3d」タグの埋め込み以外は従来のLoRA作成方法と同じで特に変えずでOK

私もそう思う

２．SD1.5モデル

LoRAのベースモデルはcounterfeitV30を指定。教師画像30枚、STEP数は1,000

「3d」キャプションなし

「3d」キャプションあり

３．SDXLモデル

LoRAのベースモデルはAnimagineXL3.1を指定。教師画像30枚、STEP数は900

「3d」キャプションなし

「3d」キャプションあり

４．おわりに

これまでならVRMからLoRAを作ろうとすると
１．VRMのスクリーンショットを撮影
２．スクリーンショットからi2iやControlNetを駆使したt2iでイラスト化
３．その中から破綻していないものを選別してデータセットを作成
って中々面倒な工程を踏む必要があったけど

今回の方法なら難易度低めに3Dっぽさを感じさせないLoRAを作ることができるので、VRMで「ウチの子」を持っていて、お手軽にLoRA作れないか？と思っている人にはオススメの手法かと！

VRMの時点で細かく作りこんだ装飾品を用意して、それを撮影して
データセットにすれば、いい感じの衣装LoRAが作れるかもね。
試してみないとわからないからあれだけど･･･

―——それができれば 苦労はしねェ!!!