画像生成AIは創作活動にどう活用できるか

今回は、Stable Diffusionで生成したいい感じの画像を載せつつ、ボカロPとしての活動の中で画像生成AIを活用してわかってきた創作活動での活かし方について少し書いていこうと思います。

私は昨年グラフィックボードを購入したのを期にローカル環境でStable Diffusionを使えるようにしました。MV制作に使用するためそれなりに高画質な画像を生成しますが、1280×720pxくらいまでなら何十枚と生成しても苦にならないくらいすぐに出来上がります。PCのスペックは、グラフィックボードがRTX3060、CPUがIntel Core i7 第12世代、メモリが32GBとそこそこのゲーミングPCくらいです。

モデルは標準のものに加えいくつか追加しており、今回使用した画像はすべてpastel-mixを使っています。安定していい絵柄を出してくれるので重宝しています。

Future FunkのMVに使いたかったので、80年代のカラフルなネオン街のレトロフューチャーな雰囲気にしました。何故か後ろを向いた人ばかりが登場しますが、AI生成では破綻しやすい顔や手足といった細かいパーツが映らないのでクオリティが高く見えやすいという事情があります。

プロンプトはnight city,neon,backalley, 80s anime styleあたりの単語を足し引きしながら試しました。イメージと近い画像が出てきたらimg2imgの元画像にしてさらにブラッシュアップしていくとより良い画像が出やすいです。

pastel-mixを含め多くのモデルではプロンプトで指定しなくとも勝手に人物を入れてきてしまい、ネガティブプロンプトでもなかなか取り除けないのですが、今回は早い段階で風景だけのイラストも勝手に出してくれました。文字や他のイラストと組み合わせて映像やジャケットの素材に使えそうです。

都市名を入れるとより細かく雰囲気をコントロールできると聴きやってみたところ、「Tokyo」ではこんな画像が生成されました。鳥居のようで鳥居じゃない構造物や、和装のようで洋装にも見える服が生みだされています。こういうAI生成した謎のものにインスパイアされて新しいデザインを思いつくこともありそうです。

「Tokyo」以外では「Taipei」を入れると多少中国語のような看板と屋台のような雰囲気の画像が出ましたが、それ以外の「Hong Kong」「New York」「Paris」では何か描いてあるのか画像ばかりが出てしまいました。サイバーパンク、シティポップ、vaporwave、レトロフューチャーなどの文脈において80sとTokyoは結びつけられやすく、学習元に類似画像が多かったため精度が高いのかもしれません。

ここまで見ていただいたイラストは、色味は綺麗ですが破綻している部分が多くあります。プロンプトを研究すればより細かい物体も描けるようになるかもしれませんが、今の段階ではAIで画像を生成する際にこの問題を排除することは基本的に不可能だと考えたほうが良いと思います。また、いくつかの単語や画像でしか指示ができないので、大きな方向性を示すことはできるものの、細かいモチーフを狙ったとおりに仕込むのも苦手です。そのため、精緻でコンテクストを散りばめたような作品ではなく、やや抽象的で雰囲気が良いのが魅力になる作風を期待すると、AI臭さを感じにくく、クオリティが高くみえる画像を得やすくなります。

より良い作品にするには、得られた画像を加工するのもひとつの手です。生成AIは基本的にいきなり完成品を出してくれるものですが、自分の意図を反映させることが難しいので部分的に生成させて組み合わせることでより思った通りの作品に仕上がります。今回生成したイラストには看板がたくさん登場しますが、文字は崩壊してしまうのでそのような部分だけ書き足すだけで実在する店も架空の店も登場させることが可能です。

右側が生成した画像、左側が加工後の画像

また、プロンプトでうまく色味が調整できない場合、後から画像編集で整える方法があります。上野画像は制作中の映像の一部ですが、オレンジと青を基調としたイラストを1枚生成したかったものの、orangeやblueという単語が思ったように反映されなかったので映像編集ソフトのカラーグレーディング機能で色味を変えています。AIは写真家やイラストレーターのように色や光の具合を考慮して生成しているわけではなく、白飛びや黒つぶれ、不自然な配色をした画像も平気で出して来ることがあるので、おかしいと思ったら一度波形を見てみるとより良くできることがあります。

ボカロPとして活動していると、楽曲を発表する先はニコニコ動画をはじめとする動画サイトになります。そのため、ビジュアルは必要不可欠ですが、私は絵が全く描けないし頼める人もあまりいません。実写で映像を撮って編集することで解決することもありますが、マンガ・アニメ文化と近いボカロ楽曲の制作ではどうしてもイラストがほしいときがあります。以前であれば断念するしかありませんでしたが、今は生成AIを使いこなせれば一人でもかなり戦えるようになってきています。既に自分で描けるかイラストレーターに頼れる場合でも、様々な絵柄に対応できたり何百枚も試行回数を重ねたりできるといった側面は人にない武器になるでしょう。すべてを解決する銀の弾丸にはなれませんが、アイデアと使い方次第で創作活動の良いパートナーになりうる存在だとわかってきたので、今後も上手く活用する方法を探っていきたいと思います。

追記：noteのサムネイルも迷うことが多いですが、そういうちょっとした画像の調達にも便利です。