複雑なデザインの同じキャラを複雑なポーズや構図の中に生成する方法【ほぼ日AI生成Tips #8】 #nijijourney

もうちょっと作り込んだデザインのキャラをシリーズ画像の登場人物として生成したい！！！

イメージを形にすべく研究を行いました。

同キャラ生成の課題

同キャラを生成していく場合の課題になってくるのは、複雑なポーズや構図になるほど、キャラクターの描写は薄くせざるを得ません生成時のプロンプトは長くなるほどAIが読みこんでくれるかは運になってきます。

読み込むプロンプトの単語数の限界

プロンプトは長ければ長いほど反映されなかったりされたりします。
プロンプトの長さは文字数ではなく単語数で数えるのがおススメ。
Niji Journeyがちゃんと読み込む単語数は体感150が限界です。
安定するのは100単語前後までです。

この限界があるせいで作ったキャラのプロンプト数が多いほど、ポーズやシーン描写のプロンプトを書いても反映されなくなったりします。
アタリが出るまで無限に生成する羽目になります。

それでも生成したい！！という欲望のまま２つの方法でアプローチしました。

課題を解決するための2つの方法

作り込んだキャラクターを作り込んだイメージ内に生成する為に、具体的には２つのやり方でアプローチしました。

今回はこの四肢が竜の呪いで鱗でおおわれている女性を主人公にします。
髪型や髪色、瞳などの設定を含め150単語のプロンプトになっています。

その１　キャラクターリファレンス（--cref)を使う

一番手っ取り早い方法がこれ。Niji-Journeyのキャラクターリファレンス機能（--cref )を使うことです。
キャラクターデザインの画像URLを --cref URL と入れることで、キャラクターデザインがＵＲＬのデザインになるというもの。

imgプロンプト（画像ＵＲＬを直接プロンプトにするやり方）と似てますが-crefはキャラデザがかなり反映されます。

ただし、かなり補正が強いのでポーズが参照したＵＲＬのポーズと同じポーズになりやすく、特に角度関連や他の描写系のプロンプトも反映されにくくなるというデメリットがあります。

『わたしはもっとカメラアングルとか構図とかを複雑なものを生成したい！』

ここからの解決方法はイメージする角度、ポーズ、表情に合わせてキャラクターリファレンス用の画像を作成した上で、--crefに読み込ませるという方法。

キャラクターリファレンス用の画像数が多くなるので管理が少し大変ですがイメージに近い画像を出してくれると思います。

その2 リミックス機能を使って段階的に生成を行う

リミックス機能

リミックス機能はDiscordだと /setting で呼び出したところからRemix modeをオンにするとリミックスモードに切り替わります。
この状態でバリエーション生成を行うと

この様な画面が表示され、プロンプトを編集することができます。
元の画像の印象を引き継ぎつつ編集できる機能です。

このリミックス機能を使い段階的に生成を行います。
まずシーンやポーズ、カメラ、ライティング用のプロンプトでシーンのイメージを生成しいいものをピックアップします。

今回はこのイラストを選びます。
左にいるキャラが単純に切り替わるわけではなく、高さがある建物と柱、モンスターの存在などをベースにした新たな画像が生成されます。

[Vary Strong][Vary Subtle]のどちらかでバリエーション生成し、登場人物用のプロンプトを追記して生成します。
Subtleは変化度が少ないので無理やり合成しようとして破綻する可能性があるのでもし希望のイメージがでなければStrongで生成しましょう。
私は両方一気に生成しています。

登場人物用のプロンプトにはローアングルと浮遊感のあるポーズを指定しています。

生成結果はこちら

シーンの印象を抑えつつ、キャラクターデザインが入りました。
イメージとしてはかなりいい感じです。
後は気になる部分を修正したら完成です。

修正もRemixモードでプロンプトを修正します。
Regionを選ぶと修正範囲を決めれるのでこちらもやりやすいですね。

今回の修正は文字を消して、足に鱗を出します。

ということで長い旅路ではありましたが、私の場合Crefを使わない方が良い画像が生成しやすいという結論になりました。

Crefとの差はポーズ差分を用意しなくていいという点です。欠点は完全に同じデザインにはならい点ですが、これは要所を抑えていれば気になりにくいです。気になる部分があるならデザイン側とプロンプトを調整します。

生成AIでシリーズものを生成する時のキャラデザのポイントはまた後日まとめようと思います。