見出し画像

AIGC:COLOR EXHIBITION（September）投稿作品の作成過程解説【StableDiffusion】

くろまる_AI/ColorMerry_AI

１．AIGC:COLOR EXHIBITION（September）

先月に引き続き開催されました。今月のテーマは「Green」でした。
また、今回は最後にSILVER EXHIBISIONの上位者作品の発表もありました。

当日の参加者による作品は運営アカウントから順次投稿されました。
Twitter（X）上で以下で検索すると探しやすいと思います。

from:@aigcinfo until:2023-10-01

２．今回の投稿画像（9/30）

　私からは今回は以下の画像を提出しました。
（note用に若干画質を落としてます）

【Airy Fairy Green】

３．タイトル「Airy Fairy Green」


タイトルには以下の二重の意味を含めています。

（１）空気と妖精の緑
（２）空想の緑

（１）の方はそのままです。
空気の色としての緑と、妖精の色としての緑を表したものです。

一方で、「Airy Fairy」という言葉（熟語）自体に
「非現実的な、空想的な」という意味があります。
（どちらかというと、否定的な使われ方をすることが多いようです）

（２）の方は、その熟語の意味によるものです。
空気の色そのものは実際には緑ではありませんし、
妖精自体も実際に見ることはありません。

そのため「本来見ることのない緑、空想の緑」という意味を
タイトルには含んでいます。


４．生成手法

正直なところ、今回は作成のための時間をあまりとれませんでした…。
（どうでもいいですが、ロゴ入れ忘れました）

ただ大体の生成方法などは予め考えていたこともあり、
結果的には想定していた方向性のものを作ることができました。
また＋αの収穫もありました。

今回使用した拡張機能は以下の通りです。

・ControlNet Tile（tile_resample）　→画像合成による色・形の制御
・ControlNet Tile（colorfix +sharp）→画像合成による色・形の制御
・CDtuner　→　書き込み量の調整
・Tiled Diffusion　→　画質向上
・ADetailer　→　顔の画質向上


（１）ControlNet Tileの重ね掛け
　　＜tile_resample × colorfix+sharp＞

今回は、Tileの中の２つのPreProcessorである、
「tile_resample」と「colorfix+sharp」の併用を行いました。


それぞれで画像合成を行うのですが、
tile_resample単独での検証記事を先日書いたので、
良ければこちらもご覧ください。


重ねがけをした理由は、
tile_resampleによる画像合成では緑の反映が困難だからです。
緑の素材画像を入れても、大体緑以外のくすんだ色になってしまいます。

言語化できる緑（の対象物）はpromptで指定・補助すれば出てくれますが、
抽象的かつ明るめの色調での効かせ方をするのは
tile_resampleだけでは難しいと思います。

そこで、PreProcessorとしてcolorfix+sharpを使用します。

実際のイメージをご覧いただきましょう。
基本的な生成の条件・設定は投稿作品と同じにしています。
　注：（２）のCDtunerも含めて、各種パラメータをTile併用を前提に
　　　設定しているため、若干偏った比較になります。

A） Tileの使用なし

Tile使用なし

prompt上は、髪と目の色にのみlimegreenを設定しています。
（服装には色指定をしていません）
様々な設定をTile使用を前提に調整しているため、
全体的に今一つかなと思います。

B）tile_resampleのみ

tile_resampleのみ

合成用の素材画像には緑をかなり入れているのですが、
緑系の色味がほとんど出ていないことがわかると思います。
緑だけでなく淡い色も全般的に苦手なので、
よくわからない色味になっています。
（ただし形に影響は出ています）

C）colorfix+sharpのみ

colorfix+sharpのみ

緑系も含めて素材画像の色味がかなり出ましたが、
全体の色味のバランスや輪郭・境界線などがやや不自然になった印象があります。

colorfix(+sharp)は、tile_resampleに比べて
色味に対する効きが非常に強く、細かな調整が難しいです。
（Weightは0.1前後でも十分に反映されます）

あえてそれを利用する方法もありますが、
どうしても不自然さが目立ってしまうことがあります。
　※この辺りも各パラメータ設定で大きく変わります。

D）tile_resampleとcolorfix+sharpを併用

tile_resample × colorfix+sharp

tile_resampleとcolorfix+sharpそれぞれによる
形と色味の反映があわさり、独特の表現になったと思います。
　※腕や羽など、Tileの素材画像で具体的な制御はしてないので、
　　破綻の対処には生成ガチャかその他の機能を利用する必要があります。

また今回のモチーフでもある空気感としての緑に近づいたかと思います。

もちろん、各Tileのパラメータの設定や、後述するCDTunerの設定を最後の重ねた生成に合わせて調整していることが影響として大きいですが、その点も含めて生成の幅が広がる方法だと思います。


（２）CDTuner

過去記事でもリンクを付けましたが、以下で公開されているものです。

ざっくりいうと、
書き込み量、コントラスト、明るさ、色味を調整できる機能となります。

詳しい説明は上記のリンク先でも記載されていますので、そちらをご参考としていただけたらと思います。

私の場合は、Detail1～Brightnessの項目をいろいろ生成しながら調整しています。
色味に関する3項目やStep数の項目はほとんど触っていません。
（今回の投稿作品については全く変更していません）

ControlNetの方の設定との掛け合わせなので、
イメージしたものを作るのに最適な設定を探すのが大変です…。


（３）Tiled Diffusion、ADetailer　

ここは、Enableにしただけです。
中身は全くいじってません。
それぞれ、画像全体、または顔の精細度を上げるために使用しています。

Adetailerは、Tileの素材画像によっては相性が良くないことがあるので、
使うかどうかは内容によって選択する必要があります。


５．生成結果の合成、拡張、細部調整と仕上げ

（１）生成結果の合成

今回の画像は、大きく分けて４つの要素に分解できます。
すなわち、
「a. 人物」「b. 下半分の緑部分（服装含む）」
「c. 右上の花」「d. 左上の花」
の４つです。

この４つ全てがいい感じに生成できることはなかなかありません。
そのため、今回はaとbがうまく生成できた画像に対し、
cとdそれぞれがうまく生成できた画像の該当部分を移植・合成しました。

移植元となったc、dの元画像は以下となります。

c. 右上の花の元画像
d. 左上の花の元画像

移植・合成の操作は、Photoshopを使用しています。
それぞれから移植したい部分を、ベースとなる画像へ貼り付け、
境界部分などはGenerative Fillの機能によって調整しました。

（２）拡張（outpaint）

合成ができたら、画像全体のサイズを上下左右それぞれに拡張して余白を作り、その余白部分を新たに生成しました。
この操作もPhotoshopのGenerativeFillの機能を使用しています。

（３）細部調整

人物の左目の部分（向かって右側の大きく見えている方の目）が、元画像だとややぼやけて印象が薄かったので、ここもPhotoshopの生成機能で修正しました。

左：修正前　→　右：修正後


６．偶然の絵画風描画

今回の作成で、特に個人的なポイントだったのはやはりtile_resampleとcolorfix+sharpの掛け合わせでした。
（抽象的な緑をいかに反映させるかという点で）

さらにそこにCDTunerを使用することで、独特の描画感を作ることができました。

画像の服や花の部分をピックアップすると以下のようになっています。

服のフリル部分
左上の花の部分
右上の花の部分


離れて見たときには連続した色味や形に見えたところが、
明確には輪郭（形に伴う細かな色の区分）を描かずに、
個別の色を筆で置いていったような描写が一部に見られます。

この描写に関して、promptには一切指定するワードは入れていません。

この描写はまるで、印象派の画風に見られる筆触分割（色彩分割）のようだなと感じました。
この画法については以下のサイトが参考になると思います。

印象派、特にルノワールやモネ、セザンヌの絵は好きなので、
生成の結果として個人的に面白いポイント十なりました。


おまけ：その他の候補画像

投稿作品のその他の候補画像を公開（供養）します。
本番作品は、リアル感と絵画感のバランスやを考慮して選択しました。
また、植物（草）の緑は避けようと考えていたので、
そこが出てしまっている画像も候補止まりとしました。
（並べると、なんとなくTile合成の元画像の感じがわかりますね）


７．おわりに

今回は、Tileの重ね掛けをうまく使おうという観点で作成してみました。
これは、テーマがGreenと決まった段階で、tile_resampleの弱点である色ということで考えていたことでした。

さらにそれを抽象的な対象（今回は空気感）に反映させようとしたので、
もう少し時間かけたかったところはありますが、
個人的にいいチャレンジにはなったかなと思いました。

＜皆様へのお願い！＞
ほぼ趣味で（※）やっているとはいえ、生成環境の維持費用（私の場合は主にColab利用料）が馬鹿にできなくなってきました。
（※仕事でも生成AI関連に関わるので、その勉強も兼ねて始めました）
もし今回の作品や記事を気に入っていただけましたら、本ページ下部の
「気に入ったらサポート」からご支援をお願いいたします！

そして次回のCOLOR EXHIBITIONは10/28です！


記事内容やX（Twitter）等での投稿画像を気に入っていただけましたら、よろしければサポートお願いします！ いただいたサポートは生成環境の維持費に使わせていただきます！