stable diffusion : お絵描きAIは「Japanese KAWAII」を描けるのか?
こんにちはteftefです。今回は8月23日に公開されたお絵描きAI、stable diffusion を使用してお絵描きした感想と使用感を話していきます。このstable diffusionはmidjourneyと違って、少し導入が厄介なので、はじめはそれを少し説明してから実際にプロンプトを入力してでてきた結果とその考察、またmidjourneyとの違いを書いていきたいと思います。
導入法
まず、stable diffusionの導入法について軽く説明していきたいと思います。
こちらの記事を見ていただければ、とても丁寧に詳しく書かれています！
https://note.com/npaka/n/ndd549d2ce556
注意点として、stable diffusion のパイプラインを通すときに、させるときにエラーを吐く場合があります。エラー内容としては、403 : forbidden となって、ユーザーの閲覧権限がないと怒られてしまいます。その場合は多分2.ライセンスの確認にてagreeしてないので、
こちらにアクセスして、注意事項及び規約に同意をしましょう。
stable diffusion の実行
それではpromptに書かせたいキーワードを入れて絵を描いていきましょう。今回のお題は「kawaii」です。
A girl with cat ears standing on a meadow at dusk, long yellowgreen hair, white frill dress, big blue eyes, pixiv fanbox
とりあえず、いいかんじに体の特徴と周囲の状況を描いて、最後にpixiv fanboxを付けるといいとネットに書いてあったんで、脳死で追加。
結果、なかなかいい！かわいいのか？(個人的には好き)しかしやはりmidjourney同様に顔のパーツが微妙すぎる… 土砂崩れまではいかないけど、割と崩れてる…
改善をしていきます。
浴衣を推したい！！
A girl with brown hair wearing a japanease yukata,dramatic lighting,Kyoto animation,hq,wall paper,artstation
おおーーー、かわいい！！
今度は京アニを指定しました。またwall paper , high quality , artistationを指定して、画風をより詳細にしました。今回は顔のパーツが崩れていない！もしかしてこの京アニと浴衣をベースにしていけばいい感じに書けるのでは！？というわけで、これらをもとにいろいろ生成してみる。
A girl with brown hair wearing a japanease yukata,full body,dramatic lighting,japanease KAWAII,sword art online concept art,Kyoto animation,hq,wall paper,artstation
A girl with black short hair wearing a japanease blue yukata,full body,dramatic lighting,Kyoto animation,hq,wall paper,artstation,kawaii anime girl
うん…、なんというか…浮世絵！？
かわいいから遠のいた気がする。これらの共通点は「kawaii」、「KAWAII」を要素として入れたことが「日本要素」を増やして結果的に、日本画風になってしまったと考えられる。
もう少し浴衣を掘り下げます。
a kawaii young girl with cat ears on her lightbrown short hair, beautiful face, blue top yukata, black mini skirt,geta, long magic wand, whole body, arknights, dolls frontline, genshin impact, pixiv, 4K
a kawaii young girl with lightbrown short hair, beautiful face,yukata, geta, long magic AK-47, whole body, arknights, dolls frontline, genshin impact, pixiv, 4k
Genshin impact とかarknightsなど固有名詞を大量に入れてみたり,AKを持たせてみたりしたが、やっぱり一番最初のシンプル浴衣少女うまく生成できた気がする。
ちなみに浴衣つながりでこんなものも書かせてみました
hakurei reimu,Kyoto animation,16:9,dramatic lighting,hq,wall paper,artstation
なんか渋い顔してる霊夢が出てきましたww。博麗霊夢＝赤白というのはちゃんとあってる、あと和服なのも正解。頭のリボンも加点。
セーラー服をではどうか
続いて、学生服をテーマに書かせていきます。そういえば少し前からプロンプトに「beautiful face」を入れています。顔面崩壊を防いでいます。まずはセーラー服を指定、和の要素を少し入れ、参照したい作品を書いて生成。
a kawaii young girl with brown long hair, beautiful face,light blue ribbon,sailor suit,black short skirt, geta,AK-47, whole body, arknights, dolls frontline, genshin impact, pixiv, 4k
うーん確かにセーラー服なんだけど、リボンの位置はそこじゃないかな。でも悪くない、ぱっと見かわいい！
a kawaii young girl with brown long hair, whole body, beautiful face,sailor suit,black short skirt, geta,AK-47, whole body, arknights, genshin impact, pixiv
「a kawaii young girl」これすごくいいと思う。とてもいいものができてきた。もう一工夫加えたい。
a kawaii young girl with brown long hair wearing sailor-style uniform, full body, beautiful face,black short skirt, geta,AK-47, whole body, arknights, genshin impact, pixiv
お！これは、あたりじゃないか！？
セーラー服の書き方を「sailor suit」から「sailor-style uniform」に変えて、「a kawaii young girl」の後に文としてくっつけた。
この驚いてる感じと少し赤い頬が何とも言えないかわいらしさを演出している。これをベースにしていく。
a kawaii young girl with brown long hair wearing wore blazers, full body, beautiful face,black short skirt, geta,AK-47, whole body, arknights, genshin impact, pixiv
a kawaii young girl with brown long hair wearing sailor-style school uniform, full body, beautiful face,black short skirt,magic wand, whole body, arknights, genshin impact, pixiv
a kawaii young girl with brown long hair wearing school uniform,hq, full body,beautiful face,black short skirt,magic wand, whole body,arcnights, genshin impact, pixiv
black skirt,nijisanji style,Genshin impact, beautiful face,thick coating painting, full body,black short skirt, whole body, pixiv,flower blooming,a kawaii young girl with brown long hair wearing sailor school uniform
少々顔が乱れているところはあるが、どれもいい出来ではないか?
とりあえずこの構文で書けばいい感じのJKを生成することができた。よく見てみると洋服のしわや影が良く表現されている。しかし手の指の本数や口元、瞳孔などはまだまだ改善の余地がある。JKはこのくらいにして、続いて背景にこだわってみる。
瞳孔の改善、背景
今回はこちらの記事を参考にプロンプトを描いてみました。
https://zenn.dev/kuluna/articles/1c005c9b7475ec
それでは、セーラー服から普通の白いドレスに戻す。「black pupil」を追加して、瞳孔をはっきり描かせる。また「新海誠」がどうやらいいらしいのでとりあえず追加。背景に「flower blooming」を追加して華やかに。また、stable diffusionは画像生成に乱数がか大きく影響していて、その乱数次第でシードが変わり、参照する画像が変わると予想した。そこで同じお題で複数枚生成してみた。
a kawaii young girl with brown long hair wearing white long dress,black pupil,Genshin impact styl,makoto Shinkai,beautiful face,thick coating painting, full body, whole body, pixiv,flower blooming
ちなみにこれは連続して6枚生成したものである。割とちゃんと顔がしっかりしたものが出てきている。ここまで出来たらあとは加筆修正すれば十分ではないだろうか。「かわいい」の生成率も上がり、十分絵としてみていられる。最後に少し実験。「black pupil」を抜いたらどうなるか。
a kawaii young girl with brown long hair wearing white long dress,Genshin impact styl,makoto Shinkai,beautiful face,thick coating painting, full body, whole body, pixiv,flower blooming
あんまり変わらないなww、むしろこっちのほうがいい
今度は顔のパーツをより詳細に
「blue eyes」、「pink lips」を追加。
a kawaii young girl with brown long hair wearing white long dress,Genshin impact styl,black pupil,blue eyes,pink lips,makoto Shinkai,beautiful face,thick coating painting, full body, whole body, pixiv,flower blooming
追加要素がうまく反映されているが、またまた瞳孔がない！！
考察
midjourneyとの違い
正直このstable diffusionはアニメ調の人間の顔を描くのに長けている気がする。例えばこれは知人に提供していただいた絵である。お題はどちらも
「a kawaii young girl with brown long hair wearing school uniform, beautiful face, full body,black short skirt, geta, whole body, arknights, pixiv,makoto Shinkai style」
に設定した。
このように下の絵はアニメ調です。上の絵は偏見ですがアメリカの絵本にありそう（笑）。生成時間は両方とも30秒～60秒なので変わらない。しいて言うならmidjourneyは有料であるくらい。
AIはかわいいを理解しているのか
かわいいの定義は人によって異なる。またそれは文化によっても番うだろう。体型を重視する人もいれば、顔を重視する人も、さらにはパーツを重視する人もいるだろう。それでは日本の「かわいい」、「Japanese KAWAII」は何が重要なのだろうか。主が思うに「Japanese KAWAII」は比較的おおきな目、低いくて小さい鼻、すっとした唇がバランスをとって存在している顔だろう。特にこの大きな目という現実離れした要素が最も重要ではないだろうか。目が小さいと私たちはそれを「かわいい」と呼ばず、「美しい」と呼ぶだろう。日本の漫画やアニメにある大きな目とそれを中心とした顔のパーツの配置が「japanese KAWAII」ではないだろうか。
さて、AIはこの「かわいい」を理解しているか？と言われればおそらく理解していないだろう。「かわいい」は人の感覚であり、言葉で説明することが難しい。しかしおそらくAIは人間が定義した「かわいい」の画像をもとに特徴をつかんでいる。それをもとに「かわいい」を出力する。前にも述べたが、CNNの中間レイヤーで何をやっているかを認識することは困難である。なぜならそれはただの数字の並びであり、私たちはそれに意味付けをしていない。いつの日かそのような中間層を理解することができ(つまり機械学習語をマスターするようなもの)、それを自由に扱うことができるときが来ると、私たちは「かわいい」を数値的に表現できる。また同時に私たちの感情も数値としてあらわされる時代が来るのかもしれない。
(teftef)
この記事が気に入ったらサポートをしてみませんか？