Stable Diffusion＋NovelAI＋手塗りで水彩風味の画像を作る工程

画像を作るフローは常に流動的で最終的に作りたい画像のテイストに合わせて変えるので、これが今の私の作り方ですというわけではありませんが、現時点での一例として。

flowers pic.twitter.com/UtIaiKnxqD

— 宇城 一｜UKI Hajime (@uki_hajime) August 7, 2024

Stable Difusion XLでベースの画を生成

Xに投稿した上の画像ができあがるまでの工程です。
まずStable Diffusion XLを用いて、ベースとなる画像を生成します。

NovelAI Diffusionのディレクターツールで線画化

このままでも思ったイメージからそれほど遠くはありませんが、背景の植物だけでなく人物ももっと水彩寄りにしたいので、いったん色味はすべてバイバイ。今回はNovelAIのディレクターツールを使って線画のみに変換します。

クリスタ or Procreateなどで簡易の着色

線画にした画像に、手塗り（もちろんデジタルです）で色味を入れます。この工程は何か手塗りできるツールを使う必要がありますが、私は手っ取り早く塗るときはクリスタではなくProcreateを使うことが多いです。UIがシンプルなので余計な工程を増やさず、作業をサクッと終わらせやすいので。

後の工程でStable Diffusionに戻して仕上げをする都合、あまり綺麗に塗りすぎると水彩画に寄せにくいので「なんとなくこんな感じに色味を着けてくれ」程度に塗ってしまえばそれで十分です。細かな花や葉の部分は塗り残しがあってもOK、むしろ水彩風の味になって残ります。

※いまこの記事を書いてて気づいたのですが、SDXLで生成した元画像とは光源（影）を逆に塗ってますね……

塗り絵は面白いのでついついこの工程に時間を割いて（凝って）しまいがちですが、細かなところや面倒なところはすべてAI先生に任せてしまいましょう。

ここでCopainterを使って水彩風に整えるのも有り

線画と塗りが揃ったら、この段階でCopainterに水彩画として一度出力してもらう工程を入れるのも有りです。

Copainterの場合、線画と手塗りをアップロードすることで以下のような水彩風の画像を生成してくるので、次の工程でi2iを行うときCopainterを経由した画像とどちらがよりイメージに近く生成できるかを比較検討して決めるのもよいと思います。

SDXLに戻ってi2iで最終調整

簡易の着色が完了したら、画像をSDXLに戻してi2iで調整していきます。

i2iはDenoising strengthが0.5を超えるとAIの補正が強くかかってしまうので、基本的には0.5未満に抑えることで、読み込んだ画像からあまり離れない範囲で仕上げていきます。AIが勝手に形状を変更してしまうこともあるので、i2i後の画像変化を確認しながら数値を調整します。ある程度いい感じの画像ができあがったら、その画像をSDXLに読み込み直して軽めのi2iで複数回整えます。

「この画はAIが着色しました！」という主張が強すぎるとよくあるAI絵になってしまうので、ラフさや色のにじみなどをあえて出す感じまでプロンプト（必要であればwatercolorなど）やDenoising Strengthの値を調整して、仕上げ完了です。

花の色の入り方など、着色のときの手抜き……じゃなくて、あえて適当にしか塗らなかった効果が出ましたね。