AIで着ぐるみをイラストにしてStable Diffusionの使い方を学ぼう！
響音カゲです。
今回はStable Diffusion(ye18)の使い方講座です。
あなたの手元に着ぐるみ写真、いっぱいありますよね？
今回は写真を使います。
今回はこちらにふれぽんさんにかわいく撮っていただいた写真を用意しました。
この写真をイラストにしてみます。
Stable Diffusionのモデルにはye18を使います。ye18については以下の記事が詳しいです。私はWebuiで使ってます。
今回使用したプロンプトはおおまかにはこんな感じで、場合に応じて色々足したりと細かくいじりつつ使っています。
uploaded on e621, standing (embarrassing) shy pink cat kemono, white hair, ((shota)), [chibi], cub, young, explicit content, male, ((anthro)), (((solo))), front view, red eye, ((full body)), maid_uniform
Negative prompt: comic, panels, bad anatomy, ((disfigured)), weird anatomy, deformed mutated disfigured hands, docking, text, watermark, double cock, tall, ((multiple image)), sketch, muscular, out of frame, penis, dick, erection, female
まずはimg2imgを使ってざっくりと絵に落とし込みます。
基本的な順序としては
img2imgによる構図（シルエット）と配色ガチャ（配色は場合によっては手作業で修正）
img2imgによる表情ガチャ
Inpaintによる細部ガチャ
の順番で進めていきます。
構図ガチャ
写真の構図にもよるのですが、Denoising strengthを0.45～0.75ぐらいの範囲で変化させつつ、ちょうどいい塩梅の絵が出来るのを狙います。
うまくいかないときはPromptやDenoising strengthを見直しましょう。
手足が毎回溶けたりAIに勘違いされる場合は、写真自体に問題がある可能性が高いです。
写真の構図やライティングが悪い可能性があります。その場合は潔く違う写真を使いましょう。
シルエットは良いんだけど顔が気に食わないなどの場合には、img2imgで生成された絵をもう一度img2imgに掛けてもいいです。そうすると表情ガチャをしたり、さらにイラストっぽさが増したり、配色をキープしたまま構図だけ変えたりすることができます。
img2imgをループさせればさせるほど、元の写真からかけ離れた構図や絵柄に変化していきます。
今回は写真からimg2imgで直接変換していたところ、Denoising strength 0.58ぐらいで奇跡的に構図と表情が両方とも良い絵が出ました。
右手が2本あったり、左手がやや崩壊してたり、尻尾が2本あったり、尻尾の色が違ったりしますが、経験上この程度であれば修正可能なのでこれを採用とします。
表情ガチャをする場合はこれをimg2imgに投げて、Denoising strength0.4～0.65ぐらいで良い顔が出るまでひたすら回します。
ちなみに、この先の細部の修正でにっちもさっちもなくなった場合は、残念ですがここまで戻ってきてもう一度構図から生成し直しになります……。
細部ガチャ ①右手を直す
まずは右手を直しましょう。
InpaintモードでMask blurを1ぐらいに設定し、消したい方の手にマスクを塗ります。
右上のボタンで1段階もとに戻したり、ブラシの太さを調節したりできます。
Masked contentは下にあるものを参照するかどうかです。今回は下にある手は参照してほしくないのでfillにします。
Denoising strengthは0.58にしました。修正箇所に応じて数値はいじってください。
あとは手が消えるまでひたすらガチャります。どうしても消えない場合はペイントソフト等で手作業で描いて消してから、Masked contentをoriginalにして再生成させるという方法もあります。
今回はガチャってたら消えました。
細部ガチャ ②左腕を直す
今度は崩壊しかけている左腕を直します。
Inpaintで荒れている左腕の先端だけちょびっとマスクで選択して再生成させます。
何回かガチャってるとちょっとマシなのが出てきました。今度はこれを採用します。
またちょびっとマスクを塗って再生成させます。
こうやってちょっとずつ再生成させていい感じの腕にしていきます。
コツは欲張らないこと。AIが察してくれそうな範囲だけにしましょう。
細部ガチャ ③服を着替える
今回は服がちょっと安っぽいので着替えさせましょう。
服を塗りつぶすと服だけ再生成できます。服の雰囲気を変えたいときとかはあえてプロンプトを触る場合もありますが、今回はプロンプトはいじらずそのままにします。
Mask blurは0～2程度にしておきます。数字が小さいほうが周囲への影響が小さくなりますが、きれいに色をなじませたい場合はちょっと大きめにしておいたほうがいいです。
今回は顔などに影響させたくないので1にします。
今回は手や腕と違って一から完全に生成させたいわけではなく、下にある服を参照させたいので、Masked contentsをoriginalにしておきましょう。
何度か生成させながら、Denoising strengthを調整します。
Denoising strengthが大きすぎると服が溶けたり、新しい腕が生えてきたりします。ポーズを変えたいときは思いっきり大きくしてもいいかもしれませんが、今回はポーズは変えたくないのでもうちょっと小さくします。
逆に小さすぎると変化が小さすぎて服がかわいくなりません。
今回は0.65ぐらいで何度か再生成しました。崩壊しないラインを攻めて、あとは根気よくガチャりましょう。
今回は20回ぐらいガチャった結果、こんな感じの服装になりました。
こんな感じでRepaintを活用して細部を変えていきます。シルエットを先に決めてしまうのは、後から細部はいくらでもガチャれるからです。
自分にとって都合の良い形が来るまで頑張って粘りましょう。
仕上げ
ここまででAIに描かせるパートは終わりです。
仕上げは手作業でやります。ここからはお絵かきスキルが要求されます。
手の再生成したところのつなぎ目がずれていたり、色がおかしかったりしたので修正しました。
アウトラインは線画色をスポイトツールで吸ってGペン等で修正します。色はスポイトで吸ってエアブラシで塗って修正したり、指先ツールで色を引き伸ばしたり、ぼかしツールで色をなじませたりしてごまかします。
リボンが溶けているのを書き直してやります。
オーバーレイでピンク色に尻尾の先端を塗ってからレイヤーを統合します。
あとは指先ツールとぼかしツールで境界をなじませます。
股下の尻尾を書き足します。
指先とぼかし、エアブラシでひたすらいい感じになるまで尻尾を塗ります。
後ろの足と色が同化して見えなくなってしまいそうだったので、ほんの少しだけ尻尾をエアブラシで明るくします。
右下とか隅に生成されている溶けたサインを消します。
目の中が溶けてるので、目が左右対称になるように、左目の虹彩をコピペして貼り付けた後にひたすらそれっぽくなるように描き込みます。
最後に少しだけハイライトを強調します。
左足の指が多かったので1本マージします。
というわけで出来上がりです。
今回はやりませんでしたが、別のモデルとかで背景を作って合成する方法もあります。うまくやるとより完成度の高い一枚絵が作れそうです。
こんな感じに、AIもうまく使うと写真からイラストを作ったりすることができます。
みなさんもぜひ試してみてくださいね。
今回の手法を使ってケモノイラストを描くコミッションを募集中です。
キャラクターの創作費に使わせていただきます。