ChatGPTで作った画像をComfyUIでアニメイラスト化する

読んだ。

【西川和久の不定期コラム】 生成AI画像とLLMの熱い関係？LLMを併用するいろいろな生成AI画像環境のご紹介

画像生成AIでいい感じの画像を作るためには語彙力が必要だが、それをLLMで補うという話である。それもLLMが組み込まれた画像生成WebUIなので、別サービスから手動でコピペしなくていい。

複数紹介されておりどれも良さそうだが、特にLumina-T2Xが気になる。というのも、t2iがComfyUIのNodeとして公開されたというのだ。時間があったら俺が最近作ったワークフローに組み込んで試したい。

そのワークフローが本題である。

これ

これが何かというと、DreamShaper XL Turbo workflowをベースに、フォルダに突っ込んだ大量の画像をバッチ処理で任意の画風にi2iするワークフローである。

これが

こうなる

何がしたかったか説明しよう。以前、こんなnoteを書いた。

画像生成においてLLMはプロンプトを膨らませるだけでなく、様々なバリエーションを勝手に考えさせることにも使える。そこで俺はChatGPTに世界各国の豊穣の女神の画像を作らせた。いい感じのができたら壁紙にしようと思って。

いい感じのできたが、一つ問題がある。ChatGPTで作れる横長の画像サイズは1792x1024で固定。これでは4kディスプレイの壁紙に使うには小さい。Stable Diffusionを使えばアップスケールできるが、それでも荒い部分が拡大されると見れたものではない。

そこでi2iで拡大することを考えた。これなら拡大に応じて書き込み量を増やすことができる。ついでに実写風からアニメ風に変換することもできるし。だが、AUTOMATIC1111でやるには限界があった。

それは俺がバリエーションのある形で大量の画像を作っていたことである。1枚を変換するだけなら、適切なプロンプトを入力し、i2iしてやればいい。しかし、俺が変換したいのは数百枚単位だ。いちいち画像に合わせてプロンプトを考えたくはない。

かといって全て共通のプロンプトにすると、適切なi2iにならない。例えば上の画像の場合、鳥が葉っぱになり、山が大木に変わったりした。別のだとピラミッドが山になったりと。何とか各画像に適切なプロンプトが自動で適用されるようにしたい。

この問題を解決したのが、あのワークフローである。画像からプロンプトを推定し、それに共通のプロンプトを追加して流し込んでやるのだ。