【Stable Diffusion】 img2img を使って好みの画像を出すまでの過程

はじめに

やったことの手順のメモ書きみたいなものなので、すべての手順、コードが書かれているわけではないです。ご了承ください。

準備

まず自分で描いた画像を用意します。
昔、Affinity Designer (Adobe Illustrator) で作ったもの。
ベジェ曲線で書いているので、割とAI的にも解釈しやすいと思ってこの画像を使います。

鳩羽つぐ

prompt は以下で作成したものを使用。

concept idea of the KAWAII girl with platinum straight bangs and frilly dress for digital art on pivix fanbox, beautiful face, thick coating painting, Bold line painting, photorealistic, Fantastic, symmetrical, Arknights, Shadowverse, Azur Lane, Makoto Shinkai, Yoh Yoshinari, Rembrandt Harmenszoon van Rijn style, WLOP, Vtuber, 8k, 4K, trending on pixiv fanbox, trending on artstation, elaborate illustration, extremely high quality artwork, perfect art, brush stroke, clearly defined contours, insane detailed, dramatic lighting, very colorful, beautiful face, alone, full body, arms, hands, portfolio, No signature, tarot card, masterpiece, intente beautiful light, high contrast

設定

Stable Diffusion を提供しているところから、img2imgを使用するための Google Colaboratory 用サンプルコードが提供されているので使用。

以下から実行できます。

Google Colaboratory

あとはGPUをぶん回して好みの画像が出るまで粘ります。

自分は 1000 枚近く出してました。
こんな感じで 20 枚単位で出していく。

私は "strength" というパラメータを 0.7 ~ 0.8 あたりで変化させてました。
（strength は 0 ~ 1 の間で設定でき、0 が元絵と同じ、1 は prompt のみを参照、のようなイメージ。0 に近ければ近いほど元絵に近づく）

元絵があって、そこそこいい感じの画像を出してくれる promptを使っても
10枚に1枚くらいが当たりみたいな感じです。

出力

特にうまくいった何枚かを紹介

今回は下の画像をさらに改善していきます。

Photoshop などのピクセル編集ツールでレタッチします。
今回私は iPad アプリの Procreate を使用しましたが、GIMP、ペイントなど
画像が編集できればなんでも良いと思います。

‎Procreate

眉毛が2重になっていた部分、首元のリボン部分、謎に飛び出てる部分などを
修正。目のハイライトを付け足して、帽子の部分に花のアクセサリーを加筆。
よくよく見れば違和感あると思うが、一旦遠目で見て問題ない感じに仕上げる。
（理由は後述）

ここからさらにレタッチした画像を img2img の元ネタに使って生成をする。
（最初にやっていた作業をレタッチした画像に差し替えてやるだけですね。）

ポイントとしては "strength" というパラメータをゼロに近い値にして生成をすること。

私は 0.1 ~ 0.3 あたりで画像を生成して良さそうな画像をピックアップしてました。

最終的にできた画像が以下。
花飾りの部分など修正、加筆した部分も違和感ない感じで修正してくれている。

ここからさらに「レタッチ〜生成」と繰り返していけば、さらにクオリティを上げることもできると思います。

画質を上げたいのであれば waifu2x などの高解像度化ツールを使用すれば良いと思います。これも DeepLearning の技術なので至れり尽くせりですね。

今回のやり方は自分で作成した画像でなく、テキストで生成した画像を使ってもできます。（背景がある場合などは精度下がるので注意）

以上、参考になりましたら幸いです。