【Stable Diffusion】【Splatoon3】AI絵でタコガールをつくってみる【プロンプト有】
記事の概要
この記事ではAI絵生成ツールのStable Diffusion を使用してタコガールを生成する流れについて備忘としてまとめました。前提知識としてStable Diffusion環境が構築済みでModel , Lora , ControlNet等が利用できることが前提となります。
言い訳
使い始め間もない中で完成までの手順を作ってみた的な話なのでツールの使い方が非効率だったり誤っている箇所が多くあると思います
失敗してる箇所も多々あります(ex.服の袖を途中で引きちぎっている
絵の知識もないし生成AIは今回初めて触って1週間時点の備忘録です
環境
■使用ツール
webui_forge_cu121_torch21
■拡張ツール
Control Net ※Forge版には標準で導入されています
Control Net ※Forge版には標準で導入されています
xformers
EazyNegativeV2
■その他の前提
作成時の設定値として「Clip skip」の値は常に2で出力しています
作成
使用したModel , VAE , Lora 情報
■Model
Kuroneko_animemix_v10 : チビキャラが作成しやすいモデル
万象熔炉 | Anything XL : 2次元系ではオススメと見たので導入したモデル
■Lora
Agent 8 (Octo Expansion + Side Order) | Splatoon
オクトリングの8号に特化したLora。
標準的なタコガールを簡単に出せるのですがオクタリアンの黒ボンテージをメインに学習したせいか服が黒色になりやすいのと、ショートカットのタコちゃん以外出せないことが難点。あと油断するとやや露出が多い絵になるのでプロンプトで出にくくしています※ネガティブプロンプトにnsfw指定
■VAE
手順1 : Model と Loraの組み合わせの確認
Model や Loraが自分の意図した方向性とあっているか、最低限の要件を満たせるかを確認します。服装や表情、ポーズ、着色の雰囲気、背景はある程度あとからごまかせるので、この相性に関しては絵柄を主に確認するイメージです。
出力① : テスト出力(シード : 149145855)
Model : kuronekoAnimemixV10_v10
Lora : Agent 8 (Octo Expansion + Side Order) | Splatoon
ポジティブプロンプト
masterpiece,1girl,solo,agent 8 \(splatoon\),octoling girl,long hair,tentacle hair,pink hair,white off-shoulder_shirt,short leggings,cowboy shot,white background,<lora:agent8:1>,ネガティブプロンプト
EasyNegativeV2,(worst quality, low quality:1.5),normal quality,ugly face,unclear eyes,bad mouth,bad anatomy,extra legs,bad anatomy,zombie,missing fingers,nsfw,生成画像
参考 : チビキャラ作成プロンプト<chibi character> 追加
参考 : チビキャラ作成プロンプト : <(chibi character:1.5)> 追加
この組み合わせのポイントとして以下のような感じだということがわかりました。
タコガールの髪型は固定(long hairの呪文が機能していない)
チビキャラ作成の呪文(chibi)の効きも悪いが強調すれば効果が出る
服は黒い( white の呪文が効いていない)
手順2 : 構図やポーズを決める
ポーズと構図を決めていきます。ここで出力した絵のポーズをControl NetのOpenPose機能で今後固定しながら進めることになります。
まずは使いたい構図やポーズに関するプロンプトを入れています。
入れた要素の例 : (from_side : 1.2) arms raised in the air , jumping , Dynamicpose 等
出力② : 構図とポーズの元となる絵( シード : 取得し忘れ)
Model : kuronekoAnimemixV10_v10
Lora : Agent 8 (Octo Expansion + Side Order) | Splatoon
ポジティブプロンプト
best quality,masterpiece,full body,1girl,solo,agent 8 \(splatoon\),octoling girl,chibi character,cute,t-shirt,short leggings,boots,(from_side:1.2),arms raised in the air,jumping,(white background:1.2),looking at viewer,<lora:agent8:1>,ネガティブプロンプト
EasyNegativeV2,(worst quality, low quality:1.5),normal quality,ugly face,unclear eyes,bad mouth,bad anatomy,extra legs,bad anatomy,zombie,missing fingers,nsfw,出力結果
よい感じの絵が出来ましたので、このポーズを基準にしていきます。
手順3 : 輪郭を決める
先程出力した結果の構図、ポーズを固定して画像を生成します。
ここで作成した絵を今後線画として固定していくので、キャラの見た目の色以外の要素はここで大体決まってきます。
ここでは主に表情、服装などをここでは重点的に指定することになります。
OpenPose機能(ポーズ固定機能)が強力なので構図やポーズに関する呪文は、OpenPoseがあっても反映されにくいもの以外は削除して大丈夫です。
今回だと頭身が伸びがちだったのでチビキャラ生成呪文を強調して使用(chibi : 1.5 )
出力結果③ : 輪郭決定画像(シード : 675861049)
Model : kuronekoAnimemixV10_v10
Lora : Agent 8 (Octo Expansion + Side Order) | Splatoon
ControlNet で Openpose設定は以下の通りです。
ControlType : OpenPose
プリプロセッサ : dw_openpose_full
モデル : control_v11p_sd15openpose[cab727d4]
先程の画像を読み込ませ指などの細部を調整した結果が以下の画像です。
ポジティブプロンプト
best quality,masterpiece,1girl,solo,agent 8 \(splatoon\),octoling girl,(chibi character:1.5),cute,white casual T-shirts,short leggings,boots,looking at viewer,open mouth,smile,one eye closed,(from_side:1.2),(white background:1.5),<lora:agent8>,ネガティブプロンプト
EasyNegativeV2,(worst quality, low quality:1.5),normal quality,ugly face,unclear eyes,bad mouth,bad anatomy,extra legs,bad anatomy,zombie,missing fingers,nsfw,出力結果
反省点
服の切れ目が曖昧な線の絵を選択してしまったため、後に袖をむしり取る羽目になりました
右足のブーツも少し謎の配色であることを見逃していました※線画だと塗りつぶされた黒色は今後反映されてしまうので取り扱い注意
同様にTシャツ部分も黒色があると使いにくいのでできれば単色(または淡い色が望ましいですね)
手順④輪郭をもとに着色、背景を追加
ControlNet の Lineart 機能を使って輪郭を抽出し、
細部の修正と背景の追加、着色を変更していきます。
出力④ : 輪郭から着色変更と背景の追加(シード : 559975460)
Model : AnythingXL_V50
Lora : Agent 8 (Octo Expansion + Side Order) | Splatoon
Loraは使用しなくても問題ないですが頭の吸盤周りの着色が不自然になりやすかったので使用。Modelはすでに輪郭が定まっているのでちびキャラが得意なモデルからアニメ系全般が得意なModelに変更。
このタイミングでVAEも変更して作品全体の色合いなどもここで調整していきます(今回はめんどうなので変更していないです)
曖昧な線をここで削除しますが袖の部分が曖昧で変な絵にしかならなかったので、袖付近の線を削除しています。
ControlNet 設定
Control Type : Lineart
プリプロセッサ : Lineart_realistic
モデル : control_v11p_sd15lineart
ControlWeight : 0.8
ControlMode : Balanced
抽出線画
修正後線画
ポジティブプロンプト
best quality,masterpiece,1girl,solo,cute,white sleeveless_shirt,short leggings,boots,light green hair,leaf,day,sky,blue sky,cloud,<lora:agent8:1>,ネガティブプロンプト
EasyNegativeV2,(worst quality, low quality:1.5),normal quality,ugly face,unclear eyes,bad mouth,bad anatomy,extra legs,bad anatomy,zombie,missing fingers,nsfw,背景でついてきていた謎線の削除、シャツの描画がおかしいことが反映されてしまうため線を消してノースリーブに変更線画でも服の模様は残ってしまうので、消しにくい黒塗りの模様とかは消しておいたほうがいいなと思いました(次回以降がんばる)テストで何回か出力をしてControl Weightの値を微調整していきます。
下げれば線画の影響を少なくできるため背景の出来等を見ながら調整する。
下げすぎると表情なども変わりやすくなるため0.8～0.9くらいがよさそうです。
重要 : 出力④で生成した画像のシード値を後で使うのでメモしておくこと
出力画像
手順⑤ : サイズ変更と高画質化
最後の仕上げとしてサイズ変更と高画質化をしていきます。
このツールは512 × 512 の画像生成が得意なので(大きいと出力時間もかかる)
完成系にしてから最後にサイズを大きくした方が効率的(らしい)です。
ControlNet のTile機能を使って高画質化していきます。
基本出力④と同じプロンプトを使用していきますが、画像が変化してしまった場合は対応するプロンプトを追加すれば再現されやすいです。
※今回はウインクがされない画像が頻出したので、出力④で一度外した呪文(one eye closed)の追加や、髪の毛の触手感がなくなるように描きこまれることが多かったため、Lora と呪文(tentacle hair)を追加しました。
出力⑤ : サイズ変更と高画質化(シード : 559975460※出力④と同じシード)
Model : AnythingXL_V50
Lora : Agent 8 (Octo Expansion + Side Order) | Splatoon
幅 : 1024
高さ : 1024
ControlNet設定
Control Type : Tile
プリプロセッサ : tile_resample
モデル : control_v11f1e_sd15_tile(a371b31b)
Control weight : 1
Ending Control Step : 1
Control Model : Balanced
ポジティブプロンプト
best quality,masterpiece,1girl,solo,cute,tentacle hair,one eye closed,white sleeveless_shirt,short leggings,boots,light green hair,leaf,day,sky,blue sky,cloud,<lora:agent8:1>,ネガティブプロンプト
EasyNegativeV2,(worst quality, low quality:1.5),normal quality,ugly face,unclear eyes,bad mouth,bad anatomy,extra legs,bad anatomy,zombie,missing fingers,nsfw,
ここまでで作成の全工程完了です。
この記事が気に入ったらサポートをしてみませんか？