AI二次創作イラストのワークフロー（2024年3月）
こんにちは、AIで二次創作イラストを制作している、ルナです。
X／Twitterでイラストのワークフロー動画を載せたので、その解説を書いていきます。
私のイラスト制作は自作LoRAや手描きの要素が多く、ワークフローを見せても作品の模倣は難しいと考えているので、こういうものは備忘録も兼ねて公開してもいいかなと。
今回は勝利の女神:NIKKEから、今月実装されたばかりの新キャラ、D：キラーワイフ（通称：嫁D）を制作しました。
製作工程は大きく分けて以下の７つです。
１．AI生成（LoRA＋プロンプト調整）
２．AI線画抽出（Controlnet使用）
３．線画修正（手描き）
４．AI生成（Controlnetで線画取込み）
５．手描き修正＋色調補正
６．AI生成（アップスケール）
７．仕上げ（エフェクト＋色調補正）
そして、使うツールは以下のとおり
・Stable Diffusion（Forge版、SDXL環境）
・CLIPSTUDIO PAINT
・Photoshop
・transparent-background（github）
ひとつずつ解説していきますね。
１．AI生成（LoRA＋プロンプト調整）
まずはStable Diffusionを使って、普通にAI生成をしていきます。
AnimagineXL 3.0が出た1月からSDXLに移行し、SDもForge版になり、現在は完全にSDXL環境になっています。
生成解像度はAXL標準の896*1152も使いますが、今回は1200*1600で生成。
解像度がある程度高いほうが完成イメージがしやすいというのが理由です。
生成ガチャの回数を重視しないのであれば、クオリティ優先でもいいと思います。
これができるようになったのもForge版でVRAM使用量が下がり、生成速度が劇的に上がったおかげですね。
※RTX3080 10GBで、解像度1200*1600を30秒程度で生成
今回のイラストはLoRAを自作した際にテスト生成していたものがベースなので、プロンプトの調整はあまり行っていません。
嫁Dさんは素材画像の点数が少ないため、細部の破綻が激しく完全な再現はかなり難易度が高いので、衣装のパーツも削って雰囲気重視のイラストにしていきます。
「任務のため偽装夫婦となった嫁Dさんと公園デート中に、こちらに笑いかける」というシチュエーション。
生成ガチャを回しながら、表情とポーズがよさそうなものをピックアップします。
概ねOKなんですが、細かいところを見ると修正したいポイントがポロポロ出てきます。
・指が６本ずつある
・胴が長い
・ヘアクリップの形がおかしい
・トップスのストラップ位置がおかしい
・タトゥーがなんか違う
手指や細部の調整は上から手書きしても修正可能ですが、体型を変形させるのは結構大変なので、一度線画にして修正することにします。
２．AI線画抽出（Controlnet使用）
Stable DiffusionのControlnetを使い、イラストを線画抽出します。
使用するのはもちろんLineArt。
抽出解像度はpixel perfectでいいと思いますが、より高精細（2048）にすることもあります。雰囲気で。
３．線画修正（手描き）
抽出した画像は黒背景に白線状態になっているので、CLIPSTUSIO PAINTで開き、白黒反転させます。
「輝度を透明度に変換」を使うと、背景と線を別レイヤーに分けることができるので、修正作業がしやすくなります。
レイヤー構成はこんな感じで作業しています。
レイヤー３：手描き線画（ペンで描く）
レイヤー２：元絵線画（消しゴムで消す）
レイヤー１：白背景
線画で直すところは、デッサンの修正もありますが、二次創作としてはキャラクターの容姿や衣装の修正も重要です。
特に左右非対称のコスチュームの場合、本来とは別の場所にパーツがくっついていたりするので、それを消したり移したりする作業が必要になります。
線画である程度修正していれば、再度AIで読み込んだ際にLoRAで再現してくれる可能性が高まるので、雑でもいいのでパーツを描き込んでいきます。
今回修正したのは、以下の赤く囲った場所です。
・背景（今回は生成に任せるので全消し）
・指（6本→5本）
・胸のバーコード、腕のタトウー（適当に描く）
・横乳とストラップ
・胴長修正（腰から下を自由変形で整形）
・バッグの飾り
生成時にAIが補正してくれるので、ちゃんと描けなくてもOKです。
描くのが全く無理なら、不要なところを消すだけでもかなり効果があると思います。
できたら、PNGで保存してStable Diffusionへ。
４．AI生成（Controlnetで線画取込み）
生成時に使ったプロンプトはほぼそのままで、ControlnetをONにし、Lineartを使って取り込みます。
線画補正が効くので、LoRA強度を調整してもいいと思います。
Controlnetを使う場合、解像度が1200*1600ではエラーになってしまうため896*1152で生成します。
出てきた画像がこちら
全体のシルエットはよくなりましたが、細かいところを見るとまだ破綻が見られます。
・背景 ◯
・指 ◯
・胸のバーコード ◯
・腕のタトウー ✕
・横乳とストラップ ✕
・胴長修正 ◎
・バッグの飾り ◎
・ヘアクリップ ✕
あと全体的に青白く、暗い印象なところが気になります。
設定上はありかなとも思いますが、笑顔ときの彼女は明るい印象にしたいので色もいじりたいところです。
５．手描き修正＋色調補正
手描きで描き足すところはクリスタを使いますが、大きく色調補正をかけるときはPhotoshopを使っています。
アップスケール時にある程度AI補正が効くので、雑でも何とかなります。たぶん。
全体の色調補正はPhotoshopを使います。今回は肌に赤みを持たせたいので、赤色をブーストしました。
ここでバッグのストラップの位置がおかしいことに気づいたので、変形ツールで位置を調整しました。
絵としてはこれでだいたいOKになったので、仕上げ作業に入っていきます。
６．AI生成（アップスケール）
Stable Diffusionでアップスケールする方法はいくつかありますが、私はi2iのSDupcaleのR-ESRGAN+Anime6Bで3倍（2688*3456）にすることが多いです。
ControlnetのTileを使い、Denoising Strengthは0.4くらい。
アップスケールすると、タトゥーにやや色味がついてしまいました。
この修正も含めて、最後の仕上げ作業をやっていきます。
７．仕上げ（エフェクト＋色調補正）
私がいつも仕上げでやっているのが、背景ボカシです。
transparent-backgroundというコマンドラインで動くアプリ（githubで取得可能）を使って、マスクを作成します。
これをクリスタ上のレイヤーで重ねて、クリッピングマスクを作り、背景と人物を分けます。
マスクを塗ったり消したりすることで調整も可能。
このtransparent-backgroundは精度もかなり高いと思いますが、ある程度の手描き修正は必要です。
できたら背景レイヤーをガウスぼかしして被写界深度をつくります。
ぼかしたり色調補正したり描いたりしながら微調整をして完成。
目を手描きするときは、一番最後のこの工程でやっています。
さいごに
完成した画像がこちら。
初めてワークフローを文字化してみましたが、いかがだったでしょうか。
この工程で制作するようになったのはSDXLになったタイミングなので、まだ2ヶ月ほどしか経っていませんが、現在私が手をかけてつくる「作品」は、だいたいこのような工程で制作をしています。
（よかったらtwitterやpixivを見てくださいませ！）
ポイントとしては、手描きをちょこちょこ入れることで個性とクオリティの両立を目指しているところなんですが、手描きが不慣れすぎてできないこともまだまだたくさんあります。
AI面でも、LoRA制作が難しかったり、Controlnetの効き目がいまいちなところもあったりしますが、こちらは発展著しいので日々情報をアップデートしながら楽しんでいます。
自分の手を動かす手描きと、目まぐるしく変わるAI技術の両輪を楽しみながら制作しているので、うまくバランス取れているのかもしれません。
そして最も大切なことは、この活動が推し活になっているということ。
ゲームを楽しみながら、そのキャラクターや世界観をイラストで再現する、これはすごく楽しくて幸せな時間なんですよね。
絵がかけなかった私でも、AI画像生成に出会ったおかげでこうして二次創作ができるようになったので、この楽しさをもっとたくさんの人に知ってもらいたいと思いつつ、この記事を書いてみました。
ここまで読んでいただき、ありがとうございました。
またAIイラスト制作についての記事も書いていきます。
よろしければXのフォローもよろしくお願いいたします。
ルナ
この記事が気に入ったらサポートをしてみませんか？