【AIイラスト】AUTOMATIC1111をもう少し使ってみる【StableDiffusion】

2022年10月25日 02:32

前々回の記事で情報収集をしました。

そのあと、StableDiffusionからforkされたAUTOMATIC1111の環境構築してみました。

今回はもう少し、promptに使えそうな単語であったり、絵を描くモデルデータであったり、AUTOMATIC1111のパラメータについて調べて、出力される絵をイメージに近づけていこうと思います。

promptについてもう少し知る

promptの雰囲気を掴んでみる

promptは英語で入力しますが、単語の順番であったり、()での重みづけであったりと少し工夫が必要そうです。
最先端でpromptのデータが集まってそうなのは元素法典(https://docs.qq.com/doc/DWHl3am5Zb05QbGVs)かなと思います。Novel AI用で生成するためのもののようですが、どこかでNovel AIも裏はStableDiffusionのforkと見かけた気がしたので流用できるでしょう。

((masterpiece)), (((best quality))), ((ultra-detailed)), ((illustration)), ((disheveled hair)), ((frills)), (1 girl), (solo), dynamic angle, big top sleeves, floating, beautiful detailed sky, on beautiful detailed water, beautiful detailed eyes, overexposure, (fist), expressionless, side blunt bangs, hairs between eyes, ribbons, bowties, buttons, bare shoulders, (((small breast))), detailed wet clothes, blank stare, pleated skirt, flowers

https://docs.qq.com/doc/DWHl3am5Zb05QbGVs

((masterpiece)), (((best quality))), ((ultra-detailed)), ((illustration)),
この辺りのおまじないは毎回つけてもよさそうですね。
overexposureはキャラクターの逆光というか光具合っぽいですね。リムライトを補完するようなものでしょうか。ふわっとした絵にさせる？
あとはキャラクターの特徴はそのままカンマ区切りでいろいろつけていけばよさそうです。

((masterpiece)), (((best quality))), ((ultra-detailed))やoverexposureを消して試してみます。

肌色の面積が露骨に増えた気がします。掲載できないようなものも。detailed wet clothes辺りが強く反応していそうです。あとやっぱり「書き込んだ感」は減りますね。
もう一例くらい試してみようと思います。

(((masterpiece))), (((best quality))), ((ultra-detailed)), (illustration), (1 girl), (solo), ((an extremely delicate and beautiful)), little girl, ((beautiful detailed sky)), beautiful detailed eyes, side blunt bangs, hairs between eyes, ribbons, bowties, buttons, bare shoulders, (small breast), blank stare, pleated skirt, close to viewer, ((breeze)), Flying splashes, Flying petals, wind

https://docs.qq.com/doc/DWHl3am5Zb05QbGVs

(((masterpiece))), (((best quality))), ((ultra-detailed)), (illustration), (1 girl), (solo)の呪文はやっぱりどこでも登場しそうですね。
あとは先ほどと同様に特徴を細かくカンマ区切りで書いていくんですね。

この単語は収集しておいて、ランダムに特徴が成立するように組み合わせて、何回もぶん回してよさそうな雰囲気のものを選ぶみたいな雑な使い方にも使えそうですね。それにしてもほかの呪文も眺めていますが知らない単語、表現がたくさんです。

出回っているハウツードキュメントを確認する

方向づけするのに対して、"Unreal Engine"や"Playstation5とかは何となくイメージつくが、「by Caanon EOS 5D Mark4 and SIGMA Art Lens 35mm F1.4 DG HSM, F1.4, ISO 200 Shutter Speed 2000」とかは目からうろこ。学習データ的にそういったことも確かに有効だと理解した。
＜全体のフォーマット＞＜主題＞＜主題の補足＞＜作者＞＜全体の補足＞＜フレーバー＞なるほど。先ほどの例だと

＜全体のフォーマット＞(((masterpiece))), (((best quality))), ((ultra-detailed)), (illustration), (1 girl), (solo),
＜主題＞((an extremely delicate and beautiful)), little girl,

といったイメージだろうか。フォーマットとしておまじないが出てくるのはアウトプットとして「美麗なイラスト」っぽくしたいから。キャラクターの周りに文字通りフレーバー、flowerとかwindとかは最後にちょっと乗せる程度。

文字と元データを関連付けて組み合わせて作る以上、その絵は何なのかから入って、ちょっとづつ情報量が増えていってというのは納得。この辺りは実際に絵を描くラフを書く時の順番に似てる気もする。まずネガティブシェイプっぽいところから入って、＜作者＞に該当する画風みたいなものはラフの構造が決まってからだもんなと。
だったら三角構図、逆三角構図、日の丸構図、三分割法でどこに入れるかとのpromptをフォーマットとして入れてしまえば、全体の絵作りみたいなものもできるのかな。試してみる。

と思ったけど、三角構図って英語でなんて言うんだ…？
https://medibangpaint.com/use/2021/06/thinkaboutcomposition/
とかにも三角構図で表現されてるから一般的な用語なはず。いったんtriangular compositionとかでやってみる。

＜全体のフォーマット＞(((masterpiece))), (((best quality))), ((ultra-detailed)), (illustration),triangular composition
＜主題＞Petite girl with glasses.
＜主題の補足＞Sitting in a chair
＜作者＞
＜全体の補足＞overexposure
＜フレーバー＞ribbons

こんな感じでしょうか…？いざ試しに出力。

なんかもっとフリルを足せばジャケット写真みたいになりそうですね。ただ、三角構図とかはあんまりいまいち。安定した絵は多いけど日の丸かなぁ…？といった印象ですね。もう少しフリルとか足して、構図部分とかも変更してみましょう。

＜全体のフォーマット＞(((masterpiece))), (((best quality))), ((ultra-detailed)), (illustration),(1 girl), (solo),A young lady in a luxurious house
＜主題＞Petite girl with glasses,
＜主題の補足＞Sitting in a chair,Gorgeous Dresses
＜作者＞
＜全体の補足＞overexposure
＜フレーバー＞ribbons,gothic dress

なるほどですね。多分主題の補足の部分には髪型、髪の色、目の色とかそういったものを入れていくといいのでしょう。金髪にして、ショートヘアにして、目の色は赤にしてみましょう。ドレスもあえて青にしてみましょう。

＜全体のフォーマット＞(((masterpiece))), (((best quality))), ((ultra-detailed)), (illustration),(1 girl), (solo),A young lady in a luxurious house
＜主題＞Petite girl with glasses,
＜主題の補足＞Sitting in a chair,Gorgeous Dresses,blond hair,short hair,red eyes,blue dress
＜作者＞
＜全体の補足＞overexposure
＜フレーバー＞ribbons,gothic dress

金髪で豪華な雰囲気で赤色の目…ってなったらまぁ赤色のドレスが多いですよね。自分で塗っても青はなかなか持ってこれないですね…。そこは結構引きずられてそうです。
StableDiffusionは()で強調できるようです。((blue dress))として強調してみましょう。

椅子の色を青にしたり、後ろの壁を青にしたりと、「俺は服は赤にしたいんだ…」という意思も感じつつも、さっきよりは青が強くなった気がします。なんとなく質感というか肌感はつかめてきた気がします。
しかしNovel AIで同じ呪文突っ込んだほうがかわいいイラストができる…モデルデータのせいなのか…？ツールの使い方のせいなのか…？

AUTOMATIC1111のパラメーターについて知る

とはいえ、パラメータについてはデフォルトのままなので、調べていきましょう。

このページからいろいろ調べていきます。
まずは影響の大きそうなSampling Stepsの検証です。promptは引き続き先ほど作成したものを利用していきます。
(((masterpiece))), (((best quality))), ((ultra-detailed)), (illustration),(1 girl), (solo),A young lady in a luxurious house,Petite girl with glasses,Sitting in a chair,Gorgeous Dresses,blond hair,short hair,red eyes,blue dress,overexposure,ribbons,gothic dress

Sampling Steps

Euler aでSampline Stepsを増やしていきました。単純に線がパキっとしますね。ただ、512 * 512でもサンプリングが150になると1枚生成するのに20秒かかるので、試行錯誤するときは時間的な現実的に40くらいですかね。

Sampling method

サンプリングの方法ですね。

コードはこれかと思うのですが、正直こういった数学的なものはわからない(コメント読んでもAncestral sampling with Euler method steps.(オイラー法ステップによる祖先サンプリング)と言われても「ははーん？」となる知識がない)ので、実際に試してみてしっくりくるものを見てみます。これもローカルに構築して試行回数を増やせるからできることですね。
Sampling Stepsは40で統一していろいろな方法で試してみてみます。