NovelAI : お絵描きAIは「Japanese KAWAII」を描けるのか？その５

2022年10月12日 21:47

　こんにちは、こんばんはteftefです。今回も NovelAI を使ってみた感想と Prompt の工夫点について書いていきます。Prompt はそれぞれの絵の説明についています。作品集なので今回もてきぱき行きます。そして NovelAI はこちらのリンクから。

誓い

{masterpiece},strong sunlight,shiney light,gradient bangs,blue to light blue gradient hair ,white background,blue eyes,official art,looking at viewer, wind lift, gown, silver long hair,wear a veil,flower hairclip,A girl, Petals fall,upperbody,strong lighting, glowing glow,luxurious church,Stained Glass, praying, fold hands in front of her chest ,holding cross with both hands ,small breasts

　修道女をイメージしました。ほんとは手に十字架を握らせて祈りのポーズをとらせたかったんですが、これがなかなか難しくて…
結局、衣装や背景のどこかに十字架が書かれています。花びらの散り方、ステンドグラスから光が漏れている様子はとてもうまく書かれていると思います。個人的に一番下（4番目）の絵で表情がむすっとしてるのが好きです（笑）。
　Promptの解説としては、まず "{masterpiece}" などの定番を書き、 "shiney lighting" 等で光の設定をしました。続いて目、髪の毛の色を決め、向きをと体の位置を決めます。そしたら大まかな衣装を書き、装飾品、十字架のように細かいものを書きました。最後に背景や手の位置を決めてほしいように少し微調整しています。

猫耳シスター

{masterpiece},strong sunlight,shiney light,gradient bangs,blue to light blue gradient hair ,white background, light blue eye,odd eye,official art,looking at viewer, wind lift,Hair blowing in the wind,right to left wind, gown,silver long hair,cat ears,Monastic Dress,flower hairclip,A girl, Petals fall,upperbody,strong lighting, glowing glow,luxurious church,Stained Glass, in the church,praying, fold hands in front of her chest ,holding cross with both hands ,{Candles},small breasts

{masterpiece},strong sunlight,shiney light,gradient bangs,blue to light blue gradient hair,white dress ,white background,blue eyes,official art,looking at viewer, wind lift,Hair blowing in the wind,right to left wind, gown,silver long hair,cat ears,Monastic Dress,flower hairclip,A girl, Petals fall,upperbody,strong lighting, glowing glow,luxurious church,Stained Glass, in the church,praying, fold hands in front of her chest ,holding cross with both hands ,Candles,midiam breasts

{masterpiece},strong sunlight,shiney light,gradient bangs,blue to light blue gradient hair ,white background,blue left eye ,yellow right eye,official art,looking at viewer, wind lift,Hair blowing in the wind,right to left wind, gown,silver long hair,cat ears,Monastic Dress,flower hairclip,A girl, Petals fall,upperbody,strong lighting, glowing glow,luxurious church,Stained Glass, in the church,praying, fold hands in front of her chest ,holding cross with both hands ,{Candles},small breasts

　先ほどのシスターに猫耳を付けました。基本的な Prompt は一緒です。教会ということでキャンドルを強調しました。ちなみにこの Prompt は "Monastic Dress" を付け足すことで、両手で十字架を持っているかのように生成されました。

猫耳シスター（オッドアイ）

{masterpiece},strong sunlight,shiney light,gradient bangs,blue to light blue gradient hair ,white background, light blue eye,odd eye,heterochromia,official art,looking at viewer, wind lift,Hair blowing in the wind,right to left wind, gown,silver long hair,cat ears,Monastic Dress,flower hairclip,A girl, Petals fall,upperbody,strong lighting, glowing glow,luxurious church,Stained Glass, blue sky, in the church,praying, fold hands in front of her chest ,{Candles},small breasts

　オッドアイバージョンもおいておきます。正直、左右の目の色が違いすぎて、調和してないように感じます。ちなみにオッドアイは "heterochromia" で指定しています。

夜空にみとれて

{{masterpiece}},{high quality},strong sunlight,shiney light, {aerial fireworks},gradient background,gradient bangs,bsilver to light blue gradient hair,long hair,tie up hair , upper body,A girl, shrine night sky,{starry} sky,pink flower pattern yukata,pink fabric yukata, Look at the face from the side, looking up, fireworks,blush,dumbstruck,Hands down,:o,

{masterpiece},high quality,strong sunlight,shiney light,gradient bangs,blue to light blue gradient hair,long hair,tie up hair , upper body,A girl, shrine night sky, starry sky,pink flower pattern yukata, Look at the face from the side, looking up, fireworks,blush,dumbstruck,

{{masterpiece}},{high quality},strong sunlight,shiney light, {fireworks},gradient background,gradient bangs,bsilver to light blue gradient hair,long hair,tie up hair , upper body,A girl, shrine night sky,{starry} sky,pink flower pattern yukata,pink fabric yukata, Look at the face from the side, looking up, fireworks,blush,dumbstruck,Hands down,:o,

{masterpiece},{high quality},strong sunlight,shiney light,gradient background,gradient bangs,blue to light blue gradient hair,long hair,tie up hair , upper body,A girl, shrine night sky, starry sky,pink flower pattern yukata,pink fabric yukata, Look at the face from the side, looking up, {fireworks},blush,dumbstruck,Hands down,:o,

　花火に見とれている様子を出力させてみました。まず横を向かせることが意外と難しいです。 " Look at the face from the side" だけなのですが横を向いてくれるのは五分五分です。また浴衣の柄は『ピンク生地+花柄』を指定したのですが、なぜか青くなることが多いです。口をぽか～んと開けている様子は ":o" で表現しています。

失敗例

　ここまではいいんです。問題は "Fireworks" で、これがまあ大変でした。 "Fireworks" には『打ち上げ花火』と『手持ち花火』の2つの意味があるんです。なので生成した絵の中にはこのように手に何か持っていることが多いです。

工夫点

　様々な工夫をしました。まずNG Word に ”hand,rise hand" を入れて手を移さないが角にしようとしましたが、なかなか反映されず。続いて"holding , wand " で持っているものを制限。これもなかなかうまくいかず。最後に "sparkler , Fireworks" を NG にした結果、花火がぼやけてこのような感じになってしましました…

　最終的に落ち着いたのがこちら
Prompt :
『{{masterpiece}},{high quality},strong sunlight,shiney light, {fireworks},gradient background,gradient bangs,bsilver to light blue gradient hair,long hair,tie up hair , upper body,A girl, shrine night sky,{starry} sky,pink flower pattern yukata,pink fabric yukata, Look at the face from the side, looking up, fireworks,blush,dumbstruck,Hands down,:o,』

NG : fat,2 girl,hands up ,hand,rise hand,holding,wand,sparkler

　何かいい方法は他にもあるかもしれません、いい感じの Prompt を探せればと思います。

感想と考察

言葉と文化について

　今回の画像生成で再認識したことで、日本語の表現と英語の表現の範囲は異なるものであるということがあります。そしてAIは制作された文化圏によって理解(?)する言葉のニュアンスが違ってくるということです。英語の文章を日本語の文章に翻訳するときに、その表現に対応する言葉がないということが数多くあります。それをうまく翻訳するのがいわゆるプロの方々なのですが、あれはその人の生きてきた経験が非常に重要になります。その人が生きてきた文化圏の常識がそのまま反映さていると思います。

今回の場合

　今回の例ですが、「浴衣+夜空+花火」の場合、この花火は打ち上げ花火と想像がつきますよね。しかしこれはAIからしたら常識ではないのです。つまりAIは学んでいないことに関しては生まれたての赤ん坊同様なのです。今回は英語の文化圏の方々が開発した AI なので「 yukata + star night +Fireworks 」の「Fireworks」は手持ちと打ち上げの半々の微妙な結果になってしまったのです。よく見るとどの失敗画像をちゃんと"手"に花火を持たせてますよね。つまり花火→手持ち→持つという概念は学習しているのです。

アドバイス

　なので Deepl とか Google 翻訳に日本語の文章を突っ込んで、結果をそのまま貼って絵を生成しようとしても思ったようにはいかない場合もあります。どうしてもある程度、意訳をしなければいけません。同じニュアンスを表すけれど、違った言葉を入れるとより強調される気がします。ぜひいろいろと生成して試してみてください。

最後に

　今回はここまでです。今回も Prompt を入力するときの手順や工夫を書いてみました、次回は少し学術的なことを書こうかなと思います。そうですね… CycleGAN→Diffusion modelの順番にしようかなと思います。最後まで読んでいただきありがとうございました。最後に少し宣伝です。主のteftefが運営を行っている discord サーバーを載せます。このサーバーでは Midjourney や Stble Diffusion のプロンプトを共有したり、研究したりしています。ぜひ参加してお絵描きAIを探ってみてはいかがでしょう。(teftef)