AIで作るギャルゲー開発記番外編①「two shot diffusionで記念日イラストを作る」

Twitter宣伝用にバレンタインデーの記念イラストをアップしました！

HAPPY VALENTINE!!#AIArt #AIイラスト #アフターレインフレーバー pic.twitter.com/OUsehD5EWH

— 「アフターレインフレーバー」開発アカウント (@AfterrainFlavor) February 14, 2023

こうしたイラストはゲームには直接使いませんが、新しい技術や手法を試すのにはもってこいです。

はじめに

今回はtwo shot diffusion（Latent Couple extension）を用いて、複数人が登場するイラストを生成していきます。

前回の記事でキービジュアルを作った時に「複数人イラストを一発生成するのは無理」と結論を出していましたが、一ヶ月でその辺りがなんとかなりそうになってきたので、補足としての意味合いもありますね。
手間によって実現した様子に興味がある方はこちらもどうぞ。

導入や原理については、こちらの記事など偉大なる先駆者を大いに参考にしてなんとなくの理解でやっていきます。
高速でキャッチアップしてくれる人から降ってくる3次くらいの情報をすすって生きております。感謝。

two shot diffusionについて

細かい解説はn番煎じになりますが、大まかに「絵の右側にはこのプロンプトを適用させて、左側には別のプロンプトを適用させる」みたいなことができるやつです。
三分割もできるし、縦分割もできます。幅が広がりますね。

とはいえ、画像生成を触っていない人的には「つまり何が嬉しいの？」という感じかもしれませんね。

AIに画像を生成させようとする時、複数人のキャラの特徴をプロンプトに列挙すると特徴が混ざってしまってなかなか望み通りの生成をしてくれません。
たとえば、「3人の女の子、ポニーテール、ショートボブ、くせっ毛」というプロンプトを渡されたAIくんは「いや誰がどの髪型！？」となり、「くせっ毛なショートボブっぽい髪型にポニテ付けた子3人描くか……」となったりするわけです。

今回のイラストだと、髪型、目の色、表情、制服のデザインあたりが怪しいですね。全部では？？？

ごちゃまぜプロンプトによる生成。目の色が特にバラけますね

two shot diffusionはこういった課題を解決してくれる機能、というわけです。
二人以上のキャラクターを描くときはもちろんですが、生成が難しいポーズや表情、デザインを、プロンプトを分離することで実現した人もいるそうです。転ぶ絵とか。
わかりやすいところだと、オッドアイや片翼などの左右非対称なデザインがかなり安定しそうですね。

こういうのがさくっと作れる

いやほんと、技術の進化がすごい。

メイキング

今回は新技術におんぶにだっこなので、メイキングはさくっとダイジェストしていきます。

ラフを描く

今回のイラストはゲームに使うCGとはちょっと違ったテイストにしたいな、というテーマがありました。
そのため、試しにimg2imgでかなり淡い色合いのシルエットを下絵にしてみようと試みます。ラフがこちら。

こう……雰囲気で…………

……さすがにちょっと無茶振りが過ぎるんじゃないかな？
実際かなり怪しかったです。ガチャの回転数でカバーすることになりました。
また、最初の生成は適度にディティールが大味なよさげテイストになったんですが、ブラッシュアップを重ねるうちにモデルの平均値に戻っていった印象があります。ちょっと失敗でした。

img2imgを繰り返す

今回は絵を分割しない！　という方針でとにかくimg2imgでガチャを回し、その中からいい感じのやつをまたガチャり……と繰り返します。

プロンプトをバラす関係で、どの程度プロンプトを強めれば絵が変わるかの肌感が大きくズレたので、その辺りは試行錯誤が必要ですね。
とりあえず、複雑なプロンプトにはしないほうがよさそうでした。思いっきりやらかしてかなり制御に苦労してます。

ざっくり2、3枚過程の絵をご紹介しましょう。合間で破綻した部分をちょっと手でごまかしたり、破綻してない絵からキリバリしたりはしています。

最初の方の出力。ちょっとアナログっぽくもあってよさ

中盤。かなりいい感じ。これでもういいかも

終盤。この辺りから急にセーラー服の襟が安定しなくなって困った

ほぼほぼツール任せなのであんまりコメントすることがありませんね！

感想

繰り返しになりますが、ほんと凄いと思います。

とはいえ、今回くらいの単純な構図ならキャラごとに分割して生成していいかもしれません。「ガチャらなきゃいけないパーツが増えすぎる」という問題が健在だからです。
キャラクターのデザインがオリジナルで、しかも完全に固まっているのが難儀です。LoRAなどで追加学習してプリセット化しないことには、ガチャ要素が増えるしんどさが直でぶつかってきますね。

ただ、ハグみたいなキャラどうしの絡みが濃い構図だと強みが出やすそうな気がします。
まだ試していないので、上手くいったらゲーム用のCGでも活用してみようかな。

あと生成にかかる時間が3倍くらいになりました。
細かい原理は追ってないんですが、生成する様子を眺めた感じ、処理の手数が増えていそうな感じがします。そういうものなんでしょう。
GPUぱわーが欲しくなる恐ろしさがありますね……。

おわりに

新しいモノが出てきて、それがすぐに簡単に使えるようになるスピードの速さを実感する日々です。
ControlNetによるポーズ・構図指定とかも気になるんですよね……。

この手のお試し実験は本当に楽しいのでついつい色々と手を出しちゃうんですが、コレやってるとゲームそのものの開発速度が著しく落ちるんですよね。悩ましい！
特にインパクトが強くて、作業効率やできることを広げるのに直結しそうなものだけに絞らないとです。

今まさに進めているやつが地道な作業を要求するものなんですが、そろそろ形になりそうなので次回の記事でお披露目したいところ！