【stable diffusion】photorealistic系modelでアニメキャラをi2iしてみた【AIコスプレイヤー】

はじめまして！
stable diffusionで主に写実的な絵を作成しているken(仮名)と申します。

今回はstable diffusionのi2i(Image to Image)という機能を使用し、有名アニメキャラの実写化が可能か検証してみました。

なお、この検証にはgoogle画像検索からテキトーに拾ってきた画像を無断で使用しておりますが、原作の権利を侵害する意図は全く御座いません。利用に問題がありましたら速やかに該当箇所を削除致しますのでご連絡頂けますと幸いです。

■検証方法
検証環境：stable diffusion automatic1111(ローカル)
使用model：SD1.5をベースに様々なmodelをマージしたmodel ※1
画像サイズ：基本640*896 (元画像が横長の場合は896*640に)
検証手順：
1.対象アニメキャラの画像を「img2img」タブにドロップ
2.「InterrogateDeepBooru」でプロンプトへ変換
3.品質アップのプロンプトを詰め込んだstyleを適用 ※2
4.「Generate」で複数枚画像生成
5.出力された画像から破綻の少ないものを結果として発表

※1 自分用に色々混ぜて少しずつ調整した非公開modelです。
※2 ポジに「masterpiece, best quality,……」、ネガに「worst quality, low quality,……」のようなお決まりのやつです。

その他ルール
・キャラLoRA等は一切使用しない
・変換したプロンプトに追加・削除は行わない
・遠景の描画は崩れがちなので全身画像は適当なサイズにトリミング
・生成結果には公開できないものも当然多数出力される為、
　僕の独断と偏見で選別したもののみを発表

といった感じで検証を行っていきます。

因みに、今回使用するphotorealistic系modelがどのような画像を生成できるのかというと、普段僕が作成している画像が

参考画像

こんな感じのポートレートです。だいぶ写実的に描けてると思います。果たしてAIでアニメキャラをそのまま実写化することが可能なのか？早速検証結果を発表していきたいと思います。

■検証対象その1「ドラえもん」

まずは代表的な国民的アニメドラえもんの登場キャラクターたちから
・元画像

ドラえもん

・生成結果

いきなりi2i実験失敗に終わってしまいました。ネコ型ロボットが普通に可愛い女性へと変貌。なんとなく青色の部分は継承された模様ですが。鈴がハートになったけど6枚目が一番近いかな。

お次は
・元画像

のび太

・生成結果

眼鏡は？
青い球はドラえもん？
1枚目に眼鏡かけて成長させたら似てるかもって感じでしたね。

そして
・元画像

ジャイアン

・生成結果

見切れ

お前のものは俺のもの！俺のものも俺のもの！

全体的に似てますね。

さらに
・元画像

しずか

・生成結果

髪型は合ってた。服のピンク色が何故かプレゼントに変換されてしまう。個人的には2枚目が好みです。

・元画像

スネ夫

・生成結果

スネ夫はイケメンだった。

続きまして
・元画像

ドラミ

・生成結果

まあ、ドラえもんの結果を見ればこうなることは予想は出来ましたが。
リボンがちゃんと反映されてますね。これだけで写真集が一冊作れそうな可愛さ。

最後に集合写真
・元画像

ドラえもんズ

・生成結果(ここは横長で生成)

しずかちゃん？

下のほうにドラえもんの面影が

丸いのは鈴？

のびずか

with 亀仙人

複数人描こうとした場合、専用のツールを使用しないと特徴が混ざってしまうのはよくあります。のび太単体では出なかった眼鏡が何故かここでは大量に。禿頭はドラえもんの要素なのかな。

という訳でドラえもんシリーズはここまで。
人間はなんとなく似るけどドラえもんとドラミちゃんはi2iでは無理でしたね。t2iでプロンプトにネコ型ロボットの特徴を入れていけば近いものが出来るかもしれませんが。

■検証対象その2「サザエさん」

2つ目の検証アニメはドラえもんと双璧をなす国民的長寿アニメ「サザエさん」のキャラクターたちから。
まずは主人公
・元画像

サザエ

・生成結果

あの髪型の再現はやはり無理でした。そもそもあれどうなってんの？ってかんじですからね……

お次は
・元画像

波平

・生成結果

若返りすぎ。元画像をトリミングしたため和服をTシャツに思われてしまって若く表現されたのかもしれないです。和服にしたら年齢上がるかも。

お次は
・元画像

フネ

・生成結果

波平よりさらに若い。でも割烹着っぽいのは再現してる。4枚目男になってるけど。

続いて
・元画像

カツオ

・生成結果

波平より年上なんですが……
バットと帽子はどこへ？
アメリカの医療系ドラマに出てきそう。

そして
・元画像

ワカメ

・生成結果

変換されたプロンプトの時点で「1boy,」となってたので普通に男性になりました。髪型の雰囲気は似てる。

突然ですがここでクイズです
先に生成結果を見てから、元のキャラクターが誰なのか当ててみてください。

ヒントはサザエさんに登場するキャラクターです。

・生成結果

クイズです

私は

いったい

誰でしょう？

正解は・・・

「タマ」でしたー。
・元画像

タマ

続きましてタラちゃん
・元画像

タラ夫

・生成結果

20年後？
青い襟を蝶ネクタイと認識してしまいました。

最後は集合写真
・元画像

サザエさん一家

・生成結果

サザエの手にあるのはもしかしてタマ？

1人足りない

惜しい。右下がワカメなら

劇場版実写サザエさんのポスター

禿キャラが必ず1人以上いる波平の存在感。

予定ではもう1作品くらいやるつもりでしたが、2作品で結構な分量になってしまったので、残りはまたの機会にしたいと思います。

今回の検証対象は特殊な衣装を着ていないキャラだった(ロボット以外は)ため、比較的似せやすい方だったというのもありますが、プロンプトを変えずに出力した割にはそこそこ似ていたのかなと思います。工夫をすればもう少し近づけられそうですがやはり、LoRAを使わず毎回同じ顔にするのは難しいので「同一人物によるアニメキャラのコスプレ」といったコンセプトで写真集的なものを作ろうとした場合、ある程度学習させる必要があるのかなという結論に至りました。

おまけ画像

文章より画像の面積のほうが多い記事ですが最後までご覧いただきありがとうございました。ここから先は有料記事となりますが、サポートしてくださる方へのささやかなお礼として「ドラミちゃん」のコスプレをした女性の画像を37枚程置いておきます。まだまだ雑なところもある作品ですがご堪能していただけたら幸いです。