NovelAI性能検証　img2img、どれだけ元絵を守れるか／アレンジできるか

実用性を考えた場合、txt2imgでは創作的な絵は生成が難しいため、必然的にimg2imgを駆使して出力をコントロールしていくことになる。

今回はimg2imgの基本的な性能を確かめるため、過去に自分で描いたキャラクターイラストを使って試運転してみた。

strength比較

まずはimg2imgのパラメーターである、元画像からの変更度合いを決めるstrengthで比較検証をしてみる。
結論からぺたり。

img2img / {{{{masterpiece}}}}, black hair, burgundy chiffon dress, adult, 24 yeas old
strengthを変えて比較

black hair, burgundy chiffon dressは元のデザインから離れた指定で、元絵とプロンプトのどちらが勝つかを試すために入れている。
adult, 24 years oldについては元のイメージを保持するための指定だが、今思うと二次元イラストで年齢感なんて振れ幅がありすぎるのでノイズだったかもしれない。確かに0.8～0.9の方がadultだし24 years oldだと思う。

strengthごとに見ると、

• 0.5……概ね忠実　顔のバランスなどが調整されている

• 0.6……同じく顔立ちはあまり変化がないが、服装が変化してきている

• 0.7……髪色が変化したが、プロンプトの黒までは行っていない　指定していない髪型も変化 (これはblack hairの潜在的特徴かと思われる)

• 0.8……髪色がプロンプトに忠実に変化し、画風も大きく変化している (NovelAIの標準画風)　服もドレスになったが、色配置は元絵の特徴を受け継いでいる (検証時2枚中2枚)

• 0.9……服装が完全に黒になった (検証時2枚中2枚)　後述するtxt2imgと比較すると胸元がはだけており、これは元絵の白い部分を肌として解釈したのだと思われる (これも2枚中2枚)

という感じで、ざっくり整理すると以下の数値感だと言える。

• ～0.6までは元絵への忠実度が高い

• 0.7はおよそ中間の変化度合いとなる　画風もNovelAIに引きずられすぎていない(大事)　なお、0.7はNovelAIのデフォルト値

• 0.8～はプロンプトに基づいて大きく変化する　ただし、元絵の大きな特徴であるシルエットや色配置はある程度反映されている

後ほど検証しているが、実用的には「プロンプトの影響は出るが、元絵から大きく乖離することはない」0.7付近、または「元絵をできるだけ遵守しつつ、細かい部分のブラッシュアップを行う」0.5～0.6付近、あたりで使い分けるのが良さそう。

なお、記事を書きつつ「burgundy chiffon dressってtxt2imgならちゃんと赤いドレスで出るのか？」と確認してみたところ、全然ダメな模様。
分かりやすくdark redで指定しても黒で出るパターンも見られた。色指定はコントロールがムズめ。

txt2img / {{{{masterpiece}}}}, black hair, burgundy chiffon dress, adult, 24 yeas old

余談だが、NovelAIはプロンプトが少なければ少ないほどいい画が出る。ただしそれは恣意的に調整されている結果なので、誰が回しても(シードによらず)似通ったキャラデザになりやすいのが欠点。
(たとえばblack hairで指定すると黒髪ロングで出てくるなど、指定していない要素も決まったものが出てきてしまうことがある)
プロンプトは多すぎず少なすぎず。

アレンジしてみる

次に元絵を継承しつつ、一部要素のアレンジを試してみる。
今回は髪型のみwavyにしてみた。

指定要素に十分な変化を加えつつ他の要素をできるだけ守るため、今回は元絵に含まれている変更しない要素も改めてプロンプトで指定するようにしている。
以下、指定のないものはstrength = 0.7とする。

blond hair, short hair, wavy hair, frilled dress, frilled headband, adult, 24 yeas old

想像以上に見事に落とし込まれている。
元絵と同じ指定をしているプロンプトはしっかりそのままにし、違う指定にはしっかりと変更を加え、ついでに指定していない要素は勝手に変更する、といった形。
金髪などは完璧に同じカラーには出来ていないものの、ここまでくれば手作業で色フィルターをかけるくらいの手間で済むだろう。

このi2iでよく出来ていると思う部分は、顔のパーツ配置が調整されている点。胸の立体造形なんかもそうだが、要素は継承しつつもよりバランスのいい(王道な)配置に調整してくれているので、部位やパーツのバランス感を調整したり参考にしたりするにはかなり良さそう。
もちろん王道になるだけなので、個性を出したい場合は工夫が必要とはなる。だが、そもそもスタートラインに立っていない人は王道を掴みにいけるだけでも大きいだろう。

happy, blond hair, short hair, wavy hair, large breasts, frilled dress, frilled headband, adult, 24 yeas old

胸の大きさを変えたり、表情をつけてみたり。

{{{{masterpiece}}}}, blond hair, short hair, wavy hair, frilled dress, frilled headband, adult, 24 yeas old / strength=0.9

strengthを0.8以上にすると姿勢が変わるが、ある程度は要素を継承しているため試す価値はあるかもしれない。
0.9にすると胸元が肌として解釈されるのはやはり同じ。

まとめ

今回は過去に描いたイラストを使用したため一通り描き込みのある元絵だったが、img2imgでは棒人間レベルのラフでもちゃんとポーズとして認識される。
ざっくりと髪型を描いたり、姿勢や色分けを簡単に塗り分けるだけでも十分まともに機能するはずなので、実際のワークフローではその使い方が主になりそう。

通常のイラスト制作工程でも、ざっくりラフからi2iでバランスを調整してラフ2を描く……といった省力化に実用できそうなので、この方向性は大いに期待できると感じた。