【絵本をつくってみよう・3日目】Stable Diffusionの試運転、そしてビッグ・ファティーグ

前回はこちら：

今日はもともと、いろいろちょっとたいへんな予定で、書かないつもりだった。案の定たいへんで、しかも、嫌なきもちになるようなこともあった。
だけど、むしろ少しでも書こうという気持ちになった。
こういうの、現実逃避っていうのかな。
おとなになるってそういうことだと思う。かなしいことだ。

これはあまり健康的な書き方ではない気もするけれど、しかしわたしに健康を語る資格などないだろう。

とにかく、今日はかなり短くいこうと思う。これはほとんど日記なのだ。

1.　Stable Diffusionのモデル選択（をする前のあれこれ）

前回、Stable Diffusionで使用可能なControlNetという機能をつかって、絵を作っていこう、といった。

Stable Diffusionには「モデル」というものがたくさん、存在する。
生成AIにおける「モデル」とは、ものすごーく簡単にいってしまえば、"絵のタッチ"みたいなものだ。それぞれに得手不得手がある。まず絵本の目指すタッチを得意としていそうな「モデル」を決めなければいけない。

本日の結論としては、現時点では"Realistic Vision V2.0"というモデルを使っていこうかな、と考えている。かなり適当なプロンプト（これはAIに対する"わたしの注文"部分のこと）でも、わるくないタッチで絵を作ってくれる。

昨日作ったこの洞窟壁画が、ControlNet（scribble）を通すと……

こんなのができる。
AIへの注文は"oil painting, a fish in a room, table, crescent moon shaped object on wall"といったシンプルなもの。

すごいよね！！
ただこの画像そのままではぜんぜんいやなので、まだまだ編集する必要がある。編集といっても、半分人力で消したり足したり（inpaintという機能）、「似たようなのを作って」とお願いしたり（img2imgという機能）、この画像をもとに"設計図"を作って渡したり（cannyなどの機能）、このあたりのべんり機能を駆使して満足のいく絵をつくってもらうことになる。
がんばるぞー！

2.　余談

もともとは"Realism Engine"というモデルを使おうと思っていた。
あんまりプロンプト（注文）をがんばらなくても、けっこう好きなタッチを出してくれたからだ。

Realism Engineで出力したもの。
とてもかわいいと思う。

しかしちょっとした問題が発生した。
ControlNetという機能はちょっとややこしくて、おおきく2つのバージョンがある。くわしく説明するには、あまりにも時間が限られている。わたしは意地でもあと1時間以内にはこの文章を書きあげたいのだから。
やっぱりこれって、不健康な書き方だな。
ざっくりいうと、"Realism Engine"で使えるControlNetは思ったような精度がない。つまり、わたしの壁画をあんまりうまく"それっぽく"してくれないのだ。わたしが調べてみたかぎりでは。

厳密には最終的に"Realism Engine"に調整してもらう、という方法をとればおそらく解決なのだけど、"Realistic Vision"の方でも結構満足してしまった。というより、思っていたより気に入ってしまった。プロンプト（注文）の精度を少しがんばれば、自分の好きなタッチを再現しやすくもある。
これは結構めんどくさいことだな、と思っているのだけど。

"妥協案"だったはずの"Realistic Vision"でも
"Impressionism"と注文を増やしてあげれば、こんなに違ったタッチになる。

文体を決めるというのはすごく楽しく、得意（上手かどうかはおいておこう）な方だと思うのだけど、絵はむずかしいね。

画像生成AIというのはつまるところ、無限のくじ引きをする遊びなのだから、しばらくそれで"好きなタッチ"というのを探してみるのもおもしろそうだ。
まとまりも進展もあまりない文章になってしまった。でも日記っていうのは、こういうものでいいのかもしれない。いや、じつのところわからない。

今日はこちらは雨ふりで、わたしはとてもつかれました。
おやすみなさい。