あるデジタル絵描きの画像生成AI活用法

１．序文

　こんにちは、Cyphiaです。私は日々デジタル環境で絵を描いていますが、ここ１年ほどで画像生成AIを積極的に活用するようになりました。そこで今回は私がどのようにして画像生成AIをイラスト制作に活用しているかを紹介します。あくまで私個人の活用事例なので現時点での技術的最適解ではないことにご留意ください。

２．作業環境

　私が絵を描くのに使っているソフトはCLIP STUDIO PAINT EX の最新版（執筆時点では2.2.2）で、入力デバイスには板タブを使っています。
　そして画像生成AIの環境ですが、Stable Diffusion Web UI を使っています。これはローカル（つまり自分のPC上）で画像生成AIを動かすためのもので、パソコンのグラフィックボードが演算処理を行うことで画像が生成されます。画像生成AIのモデルはいくつかの既存のモデルをマージ（融合）したものを主に使っています。モデルによって得意とするテイストが異なるので、より自分が使いやすいモデルになるように組み合わせや割合を考えて作ったものです。（余談ですが、モデルのライセンスによっては生成画像の商用利用が不可とされていたり他のモデルとのマージを禁止していたりするものがあるので、マージ作業の際にはライセンスの確認作業にほとんどの時間を費やすことになりました。）

３．画像生成AI活用法

　私がどのように画像生成AIを活用しているか、機能別に説明します。

text to image (t2i) の場合

　まずはtext to image という機能について説明します。text to image (t2i)というのはプロンプト（画像を生成させる際の指示書のようなもの）から画像を生成する機能です。ざっくり言うと要素の羅列およびその重み付けが絵の要素をコントロールしていて、その他の各種パラメータ（サンプラーの設定や演算のステップ数、解像度、乱数など）に従って画像が生成されます。ここで言う演算というのはデノイズ（逆拡散過程）のことを指しており、ノイズを除去することで画像を作っていきます。試しにステップ数を極端に低い値に設定して生成させるとそのことがよくわかります。（fig. 1 および fig. 2 を参照。ステップ数以外のパラメータはすべて同一条件下で生成したものである。）

fig.1 Sampling Steps: 2

fig. 2 Sampling Steps: 28

　さて、t2i について説明したところでこの機能をどのように活用しているのか紹介します。

・参考資料として使う

　絵のインスピレーションを得たり、描きたい絵のモチーフや全体の印象を検討するため、t2iで様々なプロンプトを試しながら画像を生成します。この工程によって自分が描きたい絵のイメージをより具体的なものにしたり、生成されたイラスト自体を参考資料に使うことができます。
　私はこの方法を、t2iを使った手法の中では最も活用しています。もちろん他の方法でも参考資料集めはしますが、画像生成AIを使うことで（バラバラの資料ではなく）絵の画面全体にモチーフが配置された際の雰囲気などを検討できる利点があります。

・素材として使う

　制作中のイラストにおいて、一般的なモチーフ（例えば花など）が必要になった際、それを単体で出力し、フォトバッシュのように合成したり、画像をラフ（大まかなあたり）として使ったりすることができます。この手法はあまり頻繁には使いませんが、覚えておくと便利です。
　実際、歯車のようなものを描くときに画像生成AIで作った画像をあたりとして利用することでスムーズに作業ができました。

・t2iベースのイラスト制作

　ときにはt2iで生成した画像をベースにイラストを制作することもあります。例えば画像に直接加筆修正を行ったり、その画像自体をラフのように使って別のレイヤーで絵を描いたりする方法があります。また、後述するimage to image (i2i) という機能も組み合わせて使うことでより自由に表現することができます。
　私はこの方法を色の組み合わせや構図についての実験的な制作をする際に用いています。いわば習作のようなものですね。
　t2iという機能の自由度はモデルへの理解度（例えばプロンプトに対する応答の感度など）に依存すると私は考えていて、この機能だけで自分の表現したいものを作るのはとても大変です。そのため私の場合は画像生成AIを部分的に使うことが圧倒的に多いです。

image to image (i2i) の場合

　image to image (i2i) というのは生成AIに画像を読み込ませ、その画像を初期値として画像生成する機能です。t2i の説明の際、ノイズから画像を生成すると説明しましたが、i2i の場合はそのノイズ部分が読み込ませた画像 (input) に置き換わったようなものです。そしてi2i 固有のパラメータとして、Denoising strength というものがあります。これはinput画像に対する演算処理の強さを意味していて、0.00 から1.00 までの範囲で任意の値を設定できます。値が大きいほどinputから遠ざかるような感じをイメージするとわかりやすいかもしれません。それ以外は基本的にt2i同様です。

・ラフをinput としてi2iする

　色付きのラフをi2i のinput として使用するのは非常に有用です。t2i と比較すると出力される画像をコントロールしやすくなります。純粋なt2i ではキャラクターのポージングやカメラアングル、構図などをプロンプトで説明する必要があるため言葉の壁がありますが、i2i の場合は画像を読み込ませているのでそれが強力な指示として作用します。（ちなみにキャラクターのポージングなどに関してはControl Netという拡張機能を使うことでも制御できますが、私はその機能を導入していないのでこれ以上の説明は省きます。）
　ラフをi2i にかける場合、そのラフのテイストをどの程度残したいかによってDenoising strength の値を調整する必要があります。例としてfig. 3-6 にinput と異なるDenoising strength による生成結果を示します。Denoising strength と Seed (乱数) 以外は同一です。（厳密な比較としては乱数も固定したほうがよいのですが、普段使うときは基本的に固定していないので今回もランダムのままです。）
　今回のケースでは、Denoising strength の値は0.35 (fig. 4) あるいは 0.45 (fig. 5) が（元のテイストを残すのであれば）ちょうど良い結果になっています。逆に、今回のものと比較してラフが抽象的である場合はDenoising strength の値を高めに設定したほうが良いでしょう。

fig. 3 input (色付きのラフ)

fig. 4 Denoising strength: 0.35

fig. 5 Denoising strength: 0.45

fig. 6 Denosing strength: 0.64

　私はラフをi2i に通すことによって生成した画像を加筆修正して作品として完成させることもあれば、前述のt2i のようにラフとして使うこともあります。これらの手法は作品の内容や発表する予定のプラットフォームの種類などに合わせて選択しています。
　ラフをi2i に通すという手法は、キャラクターイラストでも十分に有用な方法ですが、私は背景にこの手法を用いるのが好きです。厚塗りでざっくり描いた背景をi2i することによって描き込みがリッチになったり新しい着眼点をもたらしてくれます。fig. 7 とfig. 8 に背景の場合のi2i の作例を示します。fig. 7 がinput（以前私がX（旧：Twitter）に投稿したらくがき）で、fig. 8 がi2i によって出力された画像です。

fig. 7 input (色付きのラフ)

fig. 8 Denoising strength: 0.50

４．使用上のポイント

　ここで画像生成AIを使用する上でのポイントと個人的なノウハウについて紹介します。

・用途に合わせた使い方をする

　画像生成AIは便利ではありますが、用途によって向き不向きがあります。今回の記事で私が示したように多様な活用方法がありますが、それも全てではありません。実際にAIを使いながら自分にとって効率の良い方法を模索すると良いと思います。

・手段に固執しない

　直前の項目とも重複する部分がありますが、手描きとAIはそれぞれ特性が異なります。手描きに関して言えば個人差もあるため、自分の技術を把握した上で手描きとAIどちらがその作業に向いているかを検討することが重要です。

・絵のコンセプト、表現したいものを見失わないようにする

　画像生成AIは、なんでも作れるわけでは無いにせよ様々な絵を作り出すことができます。（手描きでのイラスト制作にも言えることではありますが）作っている間に迷走してしまうことも珍しくありません。制作に至った最初のインスピレーションやアイデアを忘れないようにしましょう。

・情報量のコントロールとディレクション

　画像生成AIは便利ではありますが人間同様に完璧ではありません。描き込みの多さや陰影の付け方などは画像生成AIの得意とするところですが、時にはそれが過剰に感じられることがあります。重要なのはそれをコントロールしたり絵の良し悪しを判断するスキルを身につけることです。
　執筆時点では人間のような感性で絵の良し悪しを判断できるAIはおそらく存在しません。（もし居たらぜひ教えてください。普通に気になります。）画像生成AIは短時間でたくさんの画像を作ることができますが、それらの中でどれを採用するかを判断するのはあなたです。ぜひ絵やデザインを学んでAIという道具のポテンシャルを十分に引き出してみてください。

５．あとがき

　以上が私の画像生成AI活用法の紹介でした。私はAIの専門家というわけではなく、一介の画像生成AIユーザーであり、一人のデジタル絵描きに過ぎません。（AIの専門家に対する）一般人としての目線から、画像生成AIをどのように活用しているのかを紹介したいと思ったのが執筆のきっかけでした。
　本格的な技術解説記事はすでに色々な方が書かれていると思うので、そういった意味ではあまり有用ではなかったかもしれませんが、それでも画像生成AIとイラストについて考えるきっかけになれば幸いです。
　最後まで読んでいただきありがとうございました。