見出し画像

ControlNetを使ってめちゃくちゃダークな絵を描いてもらおう!

今回は『ノイズ/テクスチャ法』を簡素化したテクニックを一つご紹介。
特定の色を指定することで、StableDiffusionの苦手とする"暗い絵"を出力できるようにします。


ごあいさつ

ハッピーハロウィン!
ご無沙汰してます。御月 望未みつき のぞみです。

みなさんホラーは好きですか? へぇ~お好きですか!それはよかった!
今回はハロウィンにちなんでホラーにばっちり、"暗い絵"を出力するためのテクニックのご紹介です。

イラストAIにどっぷりはまっているお兄様お姉様ならご存じの事と思いますが、StableDiffusionくんは暗い絵が苦手……!
出せない事はないのですが、夜を指定しても明るい照明が描かれてしまったり、背景は暗くなっても人物が明るく照らされてしまったりと、本格的にダークな絵を出そうとすると四苦八苦してしまうことがしばしば……

(テクニック未使用)普通に生成した場合、夜の街を指定しても結構明るくなっちゃったりします

しかしそれはきっとテキストエンコーダやノイズの都合……!
SDくんのUnetには暗い画像の特徴量も埋まっているはずだ……!
というわけで、今回もControlNetを使って深淵を覗いてみましょう。

ホラーが苦手な方もご安心ください!
今回テクニックはただの暗所や憂鬱な雰囲気の絵、あるいは逆光のかっこいい絵や、日向と日陰のコントラストの強調など、いろいろと応用が可能です!
更に応用すると逆に「明るくして!」と注文することもできます

普段ではなかなか出せない色調のイラストを、簡単設定で出してもらえるようなりますので、ぜひお試してください!

ちなみに参考画像はホラー風くらいで、本格的に怖いのは たぶんやりません。
心配な方は……明るさMAXでご覧ください!

かっこいい系のイラストも出せるよ!

作例

音楽のカバーイラストに使えそうな絵になりました
今回使用するテクスチャ画像。純粋な黒です
ControlNet 0: "Module: none, Model: tile, Weight: 0.75, Guidance Start: 0, Guidance End: 0.1

綺麗なイラストができました!素敵な暗さです。
使い方は簡単!お望みのプロンプトを入れた後、ControlNetのtileモデルに、上の真っ黒な画像を読み込ませて、パラメータを調整するだけです!

ざっくり言うとやっている事はノイズ法テクスチャ法と同じなのですが、今回はノイズやテクスチャではなく、ただの単色画像を読み込ませるのがポイントです。簡単でいいですね!

ちなみに本テクニックなしの同じ条件で出力した画像がこちらです。
大幅に色調が変化している事が見て取れます。

構図は同じ。でも雰囲気が全く違いますね

解説

・パラメータについて
プロンプトは、"1girl, solo"など、普段お使いのイラスト向けプロンプトを使用してください。その上で、"night"や"backlighting"など、影を落とす言葉を指定するとより暗めの画像に仕上がります。
またネガティブに"lamp"を入れるなどして、光を連想させる要素を消すとより万全です。

通常通りの生成設定が終わったら、ControlNetを設定します。
ControlUnitを1つ有効にして、プリプロセッサをnone、コントロールモデルをtileに設定してください。
その上で上記の真っ黒な画像を読み込ませて、パラメータをWeightを0.75、Startingを0、Endingを0.1くらいに設定すればOKです。(特にEndingを下げる事をお忘れなく!)

・仕組みについて
ControlNetのtileは「画像をキャンバスに転写する」ような働きを持ちます。
今回の設定は「作画行程の0-10%の間、キャンバスを黒で上塗りする」というような動作になっています。
SDくんが絵を描くときに使うパレットを勝手に黒く塗りつぶしているような感じですね。画材がなければ明るい絵を描きたがるSDくんもしぶしぶ暗い絵を描かざるを得ないという寸法です。

なので上の黒いテクスチャ画像には特別なデータが埋まっている……という事はなくて、黒い画像なら何でも大丈夫です!

今回のテクニックは明るさを直接変更しているのではなく、"画像を黒っぽくする"事で暗さを実現しているので、「服などが黒になりがち」という副作用もあります。変更したい場合はプロンプトで色を指定しましょう。

この辺の動作について詳しく知りたい方は、ベースになっているテクニック、ノイズ法の記事をどうぞ!

ノイズ/テクスチャ法との一番の大きな違いは、使用するControlNetが1つのみという点ですね。
今回は描き込み量を増やす目的がなく、黒を転写することだけが目的なので、色を転写する働きのあるtileのみを使用しています
色の転写が目的なので、inpaintも使用できます(第三回参照)。shuffleも使えますが……今回は多分tileと変わらないと思います。
描き込み量を増やしたい場合はlineart_animeなどと併用しても大丈夫です。

・TIPS
tileのパラメータは、Weight1.0, Start0.0 - End0.1をベースに考えると良いと思います。
画像が暗すぎる場合はWeightを0.75、0.0-0.05に下げるとか、
逆に明るすぎる場合はEndingを0.15に延ばすなどで調整してみてください。

メモ

(上)本テクニックで生成した画像
(下)上の画像の明るさを編集ソフトで引き上げたもの

効果が強く掛かった暗い画像の明るさを調整して検証してみました。
さすがに細部が黒つぶれしちゃってるかも……と思っていたのですが、意外にも暗闇の中までしっかりと描き込んでくれている事がわかります。
黒つぶれや白飛びを気にせず思いっきり遊べるって事ですね!
これがSDくんのポテンシャル……!Unetにうずもれていた可能性……!

ふっ……またAIくんの可能性を引き出してしまったな……
AIくんはそろそろ僕の事恩人として養ってくれてもいいですよ?


題材を探そう!

解説はおしまいです!ここからは実践だ!

暗いお部屋の中

暗い絵を描けるようになったのですから、題材に光を取り入れてみましょう!いきなり矛盾することを言うようですが、光あってこその闇……!

本テクニックは明るい部分と暗い部分のコントラストを強調できるのがメリットなので、windowやsunbeamsなどの光を取り込める言葉をプロンプトに盛り込んでみましょう。

また、人物を暗くしたい場合はbacklighting(逆光)を入れると人物に影が落ちて落ち着いた絵になります。ただ"back"と"lighting"の成分がそれぞれ漏れて、後ろ姿になったり光量が不安定になったりする気がするので、僕は類語のcontre-jourコントレジュを使ってます。ご参考までに!


まぶしい青空を描きつつ、真っ暗な部屋の中も描けます

室内を暗くしたまま綺麗な青空と窓から差し込む光を描けました。
モデルは積極的に明るい場所を描こうとするので、光と関連するプロンプトを入れるとその部分だけ明るく描いてくれるんですね。うーん綺麗です!


御月望未の朝も大体こんな感じです

また、暗くする事で絵柄にも影響が出ます。このイラストは"sky"を指定しているのですが、tileから転写された黒が干渉してか「暗い空」ということで曇り空が描かれています。同様に星空になったり、色によって描かれる物が誘導されるのはテクスチャ法と同じですね。
確実に明るいお空を描きたければ"blue sky"など、昼であることが自明なプロンプトを使用すると良いでしょう。


窓の他にはscreenなどのディスプレイも暗い感じが出てオススメです

ともすればちょっと"効き過ぎ"なこの手法ですが、WeightやEndingを弱めにかける事で、ほどよい暗さ程度にする事もできます。かわいいですねぇ。
右脚周りがちょっと崩れてしまっていますがこれはモデルの特性そのままかな……?僕はt2t一発撮って出しがメインなので修正はあまり詳しくありませんが、この程度なら切り抜きからのinpaintですぐ修正できそうです。

もっと!暗いお部屋

窓から落ちる光が綺麗です。light particle系のプロンプトも相性がいいですね
遮光カーテンも憂鬱な雰囲気をだすにはいいアイテムです

いいですね~。悲しそうな横顔、光と影、朝という動の世界の中、静であり続ける女の子……
絵として大変良いのですが、見ていたらなぜだか動悸がしてきたのでこの題材はこの辺にしておきましょう。

朝は苦手……



題材を考えよう!

暗いお部屋の中や、対比するような明るい窓の外を描ける事がわかりましたので、それを踏まえてどんな絵が出せるか想像してみましょう!

たとえば『教会で祈りを捧げる人』なんてどうでしょう?
真っ暗な礼拝堂にステンドグラスが輝いて光が差し込むシチュエーション……綺麗そうです!
他にも雰囲気のあるナイトキャンプきらびやかなルーフトップバー、あるいはギラギラと輝く太陽に照らされた砂浜と相対的に真っ暗に見える海の家の中、なんかも絵になりそうです。
陰影を強調したいシチュエーションには本テクニックはぴったりです!

うーん見てみたいシチュエーションが多すぎて作例を作りきれませんね。

今回はそうだなぁ……やっぱりハロウィンですしホラーをやりたい!
っていうかホラーが好きだよねぇ!
今回は"暗い画像"がテーマなので、とことんまで行ってみましょう!


肝試しに行こう!

本テクニックの特徴「"暗い環境"を描ける」という能力を全力で引き出せば、完全に光のない地下室や、息の詰まりそうな狭苦しいトンネルなども描く事ができます。

というわけで次は閉鎖空間に肝試しに行ってみましょう!
少しずつCNやプロンプトの強度を上げながらやってみました。

どんな作例を貼ろうかな?とウキウキで画像を選んでいたら、いつの間にか謎のストーリーが始まってしまいましたが、これは御月 望未ぼくの生態みたいなものなので気にしないでください。

「――大丈夫。お化けなんていないよ」

「やめよう?帰ろう?」
あのとき、ちゃんと言うべきだったんだ。


瓦礫まみれの道を歩いている内に、次第にみんなの口数が少なくなっていった。
瓦礫を踏み越えて、降りる。その動作を繰り返している内に、
延々と階段を下っているような感覚に囚われた。


「助けて……」
かすれるような声に振り返ると、激しい目眩に襲われた。
さっきまで"後ろ"だったはずの廊下が、"下"にあった。
今にもバランスを失って、暗闇に引きずり込まれそうな子の手をつかみ、なんとか引き上げる。
震える両手は汗にぬれて、冷え切っていた。


足場はどんどん悪くなり、地面に開いた大穴を避けるように歩いて行く。
出口へ向かっているはずなのに、延々と階段を下っているような感覚が続く。
「待ってよ!」と誰かが声をあげた。みんなが足を止めると、
ずっと先頭を歩いていた子は、こちらを一瞥して虚空へと飛び降りていった。
振り返った顔を知っている人は誰も居なかった。


心許ないバッテリーの、スマホの灯りだけを頼りに前へ歩んでいく。
あの目眩に襲われるから、誰も後ろを振り返らなくなった。
足音と、すすり泣く声と、後ろから照らされて落ちる人影。
それらだけが私たちをつないでいた。
違和感を覚えて顔を上げると、壁に映る影が一つ少なくなっていて――
誰か居なくなってる――
そのことに気づいた瞬間、周囲の暗闇が更に深くなった気がした。


疲労と目眩のせいか、足の感覚がふわふわとして定まらない。
暗闇は生き物のようにうごめいて、私たちから視界と平衡感覚を奪っていく。
ふっと誰かのライトが消えて、地面が見えなくなった。
目眩。足下が崩れて落下していくような錯覚を、なんとかやり過ごそうとしていた時――
誰かが悲鳴を上げながら、落ちるように暗闇へと駆け抜けていった。
ライトがほとんど何も照らせなくなってからは手探りで進むしかなかった。
いつの間にか手を切ったのか、ぬるぬるとした触覚が気持ち悪い。
何個目かのドア枠をくぐったとき、「行くな」と後ろから叫ぶ声がした。
振り返ると、生き物が口を閉じるように暗闇が迫ってきて、
バツン、という音と共に、クラスメイトの姿を呑み込んだ。
 
それからはもう、何も見えなくなった。
それからはただ、下っていくような感覚に身を委ねて暗闇を歩いて行った。
遠くに、光が見えた気がしたから。


という感じで、暗い画像を描くテクニックのご紹介でした!
いろいろ使えそうですがやっぱりホラーとの相性は抜群ですね!
今回のテーマではdark background, darkness, chiaroscuroキアロスクーロなどのプロンプトが良い感じに背景を潰してくれて良かったです!

このテクニックは黒画像を読ませるだけはでなく、様々な色で遊べますので、いろいろ試してみてくださいね!
たとえば真っ白な画像を使うと絵柄が超ファンシーに変わったりしますよ!

今回は以上です。ダークな絵がたくさん見られて僕は満足です。
でもここまで怯えたり悲しそうな表情ばかり……
このまま終わるのも心苦しいので、最後くらいはとびきりの笑顔で〆ましょう!


こわかったね もうだいじょうぶ
ホラおいで ハグしてあげる

おしまい

暗い画像ばっかりでごめんね!悪夢の世界はここまでです。
せっかく今夜は楽しいハロウィンなんですから、
こわい夢からはもう覚めて、光ある世界へ戻りましょう……


「わ、私の顔に何か付いてる?」



そうだ、近くに肝試しにちょうど良い廃墟があるんだって。
――今夜、誰か誘って行ってみない?




御月 望未みつき のぞみでした!
トリック・オア・トリート!
スキしてくれなきゃ夢に出ちゃうぞ


この記事が気に入ったらサポートをしてみませんか?