画像生成AIのノイズ操作について
こんにちは、シトラスです。
突然ですが画像生成AIの簡単な仕組みを話し始めます。
専門家ではないので、認識が違っていたらごめんなさい。
画像生成AIはいくつもの色が重なり合った状態(ノイズ)をもとに
そこから色を引き算していって一枚のイラストを作ります。
このノイズの方に手を加える事で、出力結果を操作できるのではないか？
今回はそういった試みになります。
出力時の設定はstrength0.7~0.9 noise0~0.25くらいの間で調整しています。
strength0.8以上になると、徐々に元画像の要素を無視し始めます。
こちらでノイズを用意するので、noiseは0でもOKです。
ノイズの作り方
まずはノイズの作り方から解説します。
使用モデルはNovelAIです。
I2Iを用いたノイズの作り方
適当な画像を用意して、そこにノイズをかける方法です。
この方法だと元画像の持っていた配色などの情報が若干残ります。
繰り返しノイズをかける事でそれらの情報の薄まったノイズにしていく事が可能です。
この状態だと顔の位置がギリギリ判別できるらしく
このノイズを使用すると右上あたりに顔が映る構図になりやすいです。
出力後の画像に繰り返し、同じ処理をする事で純粋なノイズに近づきます。
描きこめない領域(余白)をつくる
ノイズを作ることに成功したので、ここからは実際に活用していきます。
ノイズ利用の第一歩として、すでに抜く色のない白色部分を作れば、意図的に余白を作れないかと考えました。
そこで、ノイズに白い枠をつけて出力してみます。
複雑な記号で試してみる
余白を作る事で描きこむ領域を操作できることが分かったので、応用編となります。
複雑な図形型にノイズを配置したら、その通りに描いてくれるのか試してみます。
これも成功です。
複雑な形状でも描いてくれるようです。
文字をかたどったイラストを作る
さらに応用編です。
複雑な形状や記号を残したイラストが作れるのなら、そこに意味を持たせることもできるのでは？
というわけで文字をかたどったイラストを作ってみます。
漢字型にノイズを置き、顔が中央上に来るように顔に見えなくもないノイズを配置して構図を誘導します。
やや可読性に難あり
ややシチュエーションが謎！
こちらも一応……成功といっていいでしょう！
デザインと可読性を両立するには、少し工夫が必要ですが…
イラストの中に漢字という意味を持った記号を残すという意味では十分使えるかと思います。
記号と配色から構図を伝える
AI君に記号と配色からどんな構図にしたいか伝えます。
赤い花に囲まれていて、ハート型のチョコを持った女の子を描いてほしい！
できればハート型のチョコが目立つような中央に持ってきた構図で！
そこで用意したのがこれです。
その確認も兼ねて
カケアミとハートはそのまま使うのではなく描きなおしてますね
雑といか、ただの覚え書きですが以上となります。
まだまだノイズ操作に関しては手を出している人が少なく、情報不足…
他にも「こんな方法があるよ！」とかあったらぜひ教えてください。
この記事が気に入ったらサポートをしてみませんか？