AIの出してきたイケメンが気に入ったのでLoRAを作った
オリジナルも模索しようかな～とお試し生成したイケメンが性癖を開拓してきたので、そのキャラのLoRAを作った話です。
派手シャツの怪しいお兄さん
nijijourneyの優秀さに屈して、結構使うようになってきました。
オリジナル男子を生成してみる
絵柄の幅を広げるためにも、オリジナルもやってみようと思い、nijijourneyでとりあえず男子を生成してみました。
うん。結構好き。
白と青系のみでおしゃれ。爽やか。
髪を赤、シャツを黒にしてみよう。
（明らかに好きなキャラに影響されたカラーリング）
えっ？！
色を変えるだけのつもりが、全然違う雰囲気の派手シャツの怪しいお兄さんが生成されました。
ネイルもしてる。
でもなんかいい。
こういう怪しいお兄さんの絵、あんまり見ないし。
（たぶん見てる範囲が狭いだけ）
とりあえず、全身にしてみよう。
えっ！？（2回目）
まさかのハイヒール。
nijiくん、なんかの性癖学習してる？
でも、このお兄さんのイメージに合ってるので、ハイヒールを採用することにしました。
もともと怪しいお兄さんキャラがツボというわけではなかったのですが、AIに意外な系統を提示されて、性癖を開拓されてしまいました。
またこのお兄さんを生成したいのでLoRAを作ることに
かなり気に入ったので、またこのお兄さんを生成したいと思い、LoRAを作ることにしました。
img参照やVariantを使ってLoRA学習用の画像を生成します。
こんな感じで、アップや反転も入れ、28枚用意しました。
指定してもなかなか全身を出してくれないし、どうしても同じようなポーズと顔の角度になってしまうので、学習結果が偏りそうだなと思いつつも、とりあえず用意できた分でLoRAを作成してみることにしました。
作ったLoRAを使って生成
LoRAの作り方の解説記事ではないので、作り方は書きませんが、Kohya’s GUIを使用しました。
また、LoRAを使用するので、Stable Diffusionで生成しています。
教師画像が立ち絵しかないので、座らせようとしても腰が浮いてしまい、うまくいかず。
顔や髪型が似てるものは、教師画像と同じようなポーズや角度。
ポーズや角度が違うものはあまり似ていない。
などと、やはり柔軟性がいまいちな結果に。
油断するとすぐ、女子にしてきたり、スカート履いたり、足が女性のものだったり。
確かに普通、ハイヒールを履いてる足は、女性の足ですよね。
顔が優しくなったりも。
AIくん、ツリ目というか目尻が上に尖った目をよく描いてくる気がしていて、元のお兄さんのあまりツリ目っぽくないところが気に入っているので、納得いかず。
あと、塗りも元の厚塗りっぽい感じが気に入っているので、アニメ風になっちゃうと、それも納得いかず。
LoRAの作成自体、かなり技術が必要だと思うので、改善の余地がたくさんありそうです。
その中でも、なんとか元のお兄さんぽい顔と表情で、ポーズも変えられたものはこれです。
足がまだ女性っぽいですが。
顔の角度はやはり似たような感じですね。
SDXLのモデルでLoRAを作ってみたい
塗りの雰囲気が似た感じのベースモデルを選んだのですが、ポーズが硬いのは、もしかしたらベースモデルの影響もあるのかもしれないと思い、SDXLのモデルでLoRA作ってみたいなと思いました。
ただ、そのままモデルだけ差し替えて学習させようとすると、私のPCのスペックでは想定時間15時間という結果に。
それはさすがにつらい。
このLoRAを作ろうと思ったときには、SDXLのLoRA学習をfp8という設定で行うとVRAMが削減できるらしいという情報も得ていました。
やり方を調べたら、SD-scriptsをコマンドラインで実行するという説明しかでてきません。
仕方ないので、1日かけて散々やってみたんですが、動かすことができませんでした。
GUIで設定できませんかね？
（追記：2024/3/14）
Kohya’sGUIで設定できることがわかりました。
それでも想定時間7時間。
nijijourneyに新機能が実装
そんなこんなで、新しく生成した画像を追加して学習したらお兄さんLoRAを改良できるかな、などと考えていました。
キャラクターリファレンス
すると、昨日、nijijourneyにキャラクターリファレンスという機能が実装されました。
早速使ってみると、いつものお兄さん元画像から、こんな画像が生成されました。
1枚の画像からキャラは変えずに、違うポーズと表情を生成できています。
これができるならお兄さんのLoRAを作った手間はなんだったのか。
生成したいポーズの画像を参照させるというやり方もあるのでやってみます。
完全な横向きにはできていませんが、横顔とかなり斜めのポーズは4分の1の確率で生成できています。
LoRAと違って、1枚の画像からすぐできるところがすごい。
私の環境のStable Diffusionで生成すると、なかなか綺麗な画像が生成できないんですよね。
いろんな原因があるんだろうけど。
あと、いろんなアドオンや技があるので、どれを使えば綺麗な画像にできるのか探るのが大変。
でも、ControlNetはとても便利なので使いたい。
nijiくん、ControlNetできるようになったりしない？
ますますnijijourneyを使いそう
最後に、これはなかなかいいかなあと思っているやつを載せておきます。
これnijijourneyのみです。
最近分かってきたけど、私がXでフォローしてる人たちも割りとnijijourney使ってるぽい感じがする。
そんな感じで、ますますnijijourneyを使っちゃいそうです。
この記事が気に入ったらサポートをしてみませんか？