画像生成AIをツールとして使おうメイキング
お久しぶりなyuyuです。
今回の記事のテーマはずばり「手描きイラストの補助としてAIを使う」です。（環境はローカル＋ControlNet1.1）
AIイラストを加筆修正してどうのこうのから離れてみよう的なものなので、塗りやら何やらペイントソフトについての細かい説明は省きます。
といってもどのラインからが”補助を受けた手描き”なのか”AIイラストを修正したもの”になるのかハッキリとは分からないので、あくまで「私の基準でのツール扱い」です。
で、上記の通りなので一応工程だけ先にざっくり書いておくと
ラフ（手描き）
下描き（AI）
線画（手描き）
※下塗り（手描き）
塗り（AI）
加筆修正（手描き）
となっています。
前置きはこのくらいにして本題に入りましょう。
STEP1.ラフを用意する
さて、とにもかくにもラフがなければなにも始まらないので、ざくざくと描いていきます。
今回描くのはこちらのキャラクター。
版権ではないです。
選んだ理由は呪文（プロンプト）だけでは出すのが難しい髪型をしているから。ラフを読み込ませるメリットが分かりやすいかなと。
まあこの工程に関しては普通に描くだけなのでサクッといきましょう。
はい。サクッとザクッと描きました。正直デフォルメ以外は苦手です。描けません。
まあ上手い下手はさておき、これをAIに読み込ませて添削＆下描きをしてもらいます。
STEP2.下描き（AI）
読み込み先はi2i。
なぜt2iではなくi2iを使うかというとt2iだとプロンプトで指定していても色を塗ってくることが多いからです。
あくまで私がやりやすいやり方なので「色が乗っていても問題ない」「良い制御呪文を知っている」「専用のLoRAを使用する」等々の場合はt2iで良いと思います。
CNのモデルは”scribble”を使用。画像をそのまま使えば良い状態なのでinvertを選択。あとは特になにもしません。
プロンプト等はキャプションに乗せるとして、とりあえず一旦生成して様子を見てみます。
NP: EasyNegative,elf ears,long hair,fat,glove
Steps: 32, Sampler: DPM++ 2M Karras, CFG scale: 7,Denoising strength: 0.65
なんかもうこれで良いんじゃないかな？
プロンプト等はキャプションの通りですが補足しておくと、大まかなプロンプトはDeepBooruによる解析で出して細かい部分は書き足しています。
というか前に出したことがあるのでそれを流用しました。なのでNPによく分からないgloveが入っていますね。
Denoising strengthに関しては強めにして元絵に従いすぎず、でも大まかな線と白い背景は残しつつになるようにしています。
あくまでラフは大まかな指針でしかない！という場合はこの方法だと余計な線やら何やらが残りすぎるのでオススメしません。
というかこの形態のラフを使わない方が良いです。（どうすれば良いのかは後述）
あとは……使うモデルによって線の柔らかさやら濃さ、絵柄が変わるので自分の気に入るモデルを探そう……ぐらいでしょうか。
※下描きに使用させていただいているのは blue_pencil-v1b
なんか上手くいかない場合
なんか上手くいかない……具体的には元の絵柄が特徴的で残したい部分が消し去られる場合はCNのモデルを”tile”にすると上手くいくかもしれません。
ある程度線が整っているなら”lineart”でも可。
私はジト目の微妙な開き具合や単純じゃない表情等どうやっても修正される際にこの方法を使っています。
AIが描いた下描きに色を塗らせる場合
あくまでラフは大まかな指針だ！線画を描かずにAIが描いた下描きをそのまま使ってAIに色を塗らせるぞ！という場合は以下の方法を使った方が良いです。
まずラフ。線はなるべくシンプル＆細めにします。
目の形やら髪型が分かれば良いレベル。
ここまで落とすことで余計な線をなるべく省いて線を細めに出そうというやつです。
一応、左ラフから出した下描きも使えないこともないのですが色を塗らせたときに線がノイズのように残ったり、輪郭線が不安定になったりとガチャ要素が強くなります。
この場合CNの影響力を下げれば解消することはするのですが、なるべく線に忠実に塗らせるから外れてくるので……
右ラフで出すとこんな感じ。
ふわふわした線が減っていますね。
STEP3.線画を描く
STEP2で描いてもらった下描きを元に線画作業。
せっかくなので線画を描く前に下描きがどれぐらいラフに沿っているのか見てみます。
こんな感じ。
全体的なバランスはほぼ変わりなし。逆に言うとここまで残ります。
バランスも変えたい場合はt2iでCNのweightを落として出力した方が良いかもしれません。
他にも数枚下描きを出力したので参照しつつ修正するところはして線画を描き……
……ました！！
鉛筆を使ったので線が太い＆ガサガサしていますが、その辺は好みで何とかしてください。
STEP4.下塗りをする
これは今回に関しては飛ばしてもOKな工程です。
でもあると便利なので用意しておきます。
今回に関してはという理由は今回のキャラクターは色分けが単純でプロンプトだけでも何とかなるからです。
バイカラーの洋服のキャラクターの場合はあった方が便利だと思います。
メッシュに関しては……うん。
STEP5.色を塗ってもらう（AI）
いよいよメインディッシュ？線画に色を塗ってもらいましょう。
t2iでCNの”lineart”を適用しつつ、下描き用のプロンプトからモノクロになる単語を消して変わりに塗らせたい色のプロンプト等を入力して生成。
はい。解像度の問題はあるもののいい感じに塗られています。
※出力モデルを変えたのは塗りの好みの問題
応用
ここからは応用、色の塗り分けをさせる方法についてです。
上記は上手く塗られていますが、これは運が良いというのもあります。
上手くいかないと色移り、光と影が極端……とにかく上手く塗れないこと多数。
理想の塗りプロンプトを練ったり別モデルを探したりLoRAを使用したりと時間をかければ何とかなる問題かもしれませんが、それをするなら自分で塗った方が早いのでは？と補助としては微妙なことに。
そこで使うのが下塗りしていたイラスト＋”tile”＋”lineart”です。
tile→weight: 0.55, starting/ending: (0, 0.6),
tileは元絵を保持しつつ描きこみを増やしてくれる効果があるので、ベタ塗りに適用すると色の位置を保ったままある程度まで塗り込んでくれます。
普通に出力すると塗りがくどすぎるときにも使えるので大変便利。
ある程度じゃ足りない！色の位置を保ちつつ塗り込んでほしい！という場合は出力された画像で上記工程をおこなえばOK。
大きく変えるには流石にweightやスケールの調整、画風に影響するプロンプトを強調程度の工夫は必要ですがそこそこ手軽かつ普通にガチャるより打率が高い……はず……
応用（おまけ）
狙った位置のメッシュも出せないことはない……けれども、一色で塗っておいて、加筆修正の時に色相などで色を変えた方が綺麗。
STEP6.加筆修正
あとはもう特出することはないです。気にいった塗りのイラストをアップスケールで解像度をあげ、ゴリゴリ描き足したり削ったり……
今回はツールとして使うということで、ただの塗りとして利用すべく線画の下において余計な部分を削ってみました。
それで完成したのがこちら。
色トレスで何とかならないかと思ったけれど全然線が馴染まなかった問題。
ちょっと加筆修正の時間を考えて単純な塗りのものを選んでおきましたが、なんかもっとキラキラな塗りのものを使えば恩恵を感じられる……かも？
ただAI感も増すので、そこは自分の絵と相談してください。
まとめ
とても！難しい！！！
なんだかまだまだAIイラストじゃないかという感じの仕上がりになったような。
ただ前に比べて描いて指示できる部分が増えたことは確かなので、使い道は広がったと思います。
事実、前まで諦めていた髪型やら服装が出せるようになったおかげで出力できるキャラクターも増えましたし、全身立ち絵でいうと3Dデッサン人形の身長やバランスを保ったまま出力できるようになったので綺麗に頭身を揃えられるようになりました。
あとはちゃんとルールが定まるのか、この先画像生成AIはどうなっていくのかといったところでしょうか。
と、話が逸れてしまうのでこの辺で。
最後までお読みいただきありがとうございました！
この記事が気に入ったらサポートをしてみませんか？