MultiDiffusionを使ってAI画像生成によるパノラマ画像を作成する方法

MultiDiffusionという下記のページを参考にパノラマ画像を生成してみました。表紙絵は、promptに"the photo of Mt.Fuji"として作成しました。富士山が2つ見えますね。

今回、使用したコードは、上記を参考にしております。

!pip install diffusers
!pip install transformers

import torch
from diffusers import StableDiffusionPanoramaPipeline, DDIMScheduler

model_ckpt = "stabilityai/stable-diffusion-2-base"
scheduler = DDIMScheduler.from_pretrained(model_ckpt, subfolder="scheduler")
pipe = StableDiffusionPanoramaPipeline.from_pretrained(
     model_ckpt, scheduler=scheduler, torch_dtype=torch.float16
)

pipe = pipe.to("cuda")


H = 512
W = 2048

prompt = "a photo of the beautiful seashore"
image = pipe(prompt, height=H, width=W).images[0]
image

上記コードで、promptには、お好きな言葉を書いてみてください。

実行結果は、下記になります。結構1枚あたりの処理時間が長くかかりました。なんか物理的にあり得ないような構図になっていますが、写真にはなっているようです。

a photo of the beautiful seashore

下記は、富士山ですが、富士山が4つ見えますね。そして、写っている木は、新緑の季節と紅葉の季節が混在したように見えます。

a photo of Mt.Fuji