「plat-diffusion」を使ってみた

皆さんこんにちは。
昨年はAIの画像生成やチャットが凄まじい技術革新を起こした年でしたね。
と、いうわけで。
普段何をやっても長続きしない私ではありますが、今年はAIの力を借りてどこまでできるかやってみようかなと(…と言っても次の記事がいつになるかわからないですが)
まあ、何はともあれ今日はサクッとこのnoteで使うアイコンを生成しましょう。
本日使うのはこちら「plat-diffusion」
https://huggingface.co/p1atdev/plat-diffusion
Plat Diffusion はWaifu Diffusion v1.4 Anime Epoch 1をベースにniji・journey で生成した画像を微調整したモデルらしいですね。

ありがたいことにDiffusersがあるのでgoogle colaboratoryで簡単に生成してみましょう。

# ライブラリのインストール
!pip install --upgrade diffusers transformers scipy
from diffusers import StableDiffusionPipeline
import torch

#パイプライン構築
model_id = "p1atdev/plat-diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float32) #どうやらfloat16はだめらしい
pipe = pipe.to("cuda")

#生成
prompt = "masterpiece, best quality, 1girl, Anime style, simple background"
negative_prompt = "nsfw, 3d, worst quality, low quality, deleted, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry"
image = pipe(prompt, negative_prompt=negative_prompt, height=512, width=512).images[0]  
image.save("image.png")
# 表示
from IPython.display import Image,display
display(Image('image.png'))

で、１発で生成されたものがこちらです。

prompt = "masterpiece, best quality, 1girl, Anime style, simple background"
negative_prompt = "nsfw, 3d, worst quality, low quality, deleted, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry"

いやー凄いですね。。ちょっと前髪と眉毛のところがおかしいですが１発でこれは凄い。ただもう少しデフォルメの効いたコミカルな感じにしたいのでプロンプトを変えてもう少し出してみます。

prompt = " Parker, face, green hair, ponytail hair, orange hair ornament, masterpiece, orange eyes, Anime style, best quality, 1girl, smile, simple background"
negative_prompt = "nsfw, 3d, worst quality, low quality, deleted, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry"

試行錯誤しつつ20～30枚？ほどで理想的な感じになったのでしばらくこれで行こうと思います。

そして、こちらのモデルのちょっと面白いところがこれです。

prompt = "manga style, panel layout, best quality, 1girl, shirt, pant, simple background, in the room"
negative_prompt = "nsfw, 3d, worst quality, low quality, deleted, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry"

プロンプトにmanga style, panel layoutを入れると漫画のコマ割り風の画像が出せます。
あくまでコマ割り風なので実用性があるかはわかりませんがアイデア出しにはなるかもしれないなーという感じでした。
すごい時代になりましたね。

というわけで今回はこの辺で。