PLATEAUを用いた生成AIの構図補正手法

画像生成AIの構図やアングル指定は難しい

「アップ」だとか「望遠」だとか「俯瞰」だとかそういうのってプロンプトにするの難しい

下図のような人物配置はどうやる？
“Place the girl at the bottom right”とか？

右下を指定して生成したイラスト

うーん右下にいかないですねえ

こういう画像を生成したい場合どうする？

プロンプトのみで生成してみよう

“A girl looking down on the ruined city from the top of a building, red hair, back ground is grassland”

近しいけど距離感が違う！

とまあプロンプトだけだと、思った構図が出るまでプロンプトを調整したりしながらガチャを回すしかないわけです。
これはめんどくさいし、時間も無駄ですね

そこで……

PLATEAUで構図を作ってI2Iで補正してみた

PLATEAUとは

PLATEAU (プラトー）は、国土交通省が主導する日本全国の3D都市モデルの設備・オープンデータ化プロジェクトです。

つまり、現実の日本の町並みを3Dデータとして無料で公開されているというわけです。
しかも自由に使っていいよという太っ腹

使い方のチュートリアルも公式サイトにあるので簡単に使えるようになってます。

今回はチュートリアルに沿って、UnityにPLATEAUのデータをインポートして使います。

以降で補正の流れを紹介します。

1. PLATEAU Unity SDKで好きな都市をUnityにインポート

2.Unityちゃんを任意の場所に配置

3.カメラで撮りたい画角を指定

4.撮影

5.撮影した画像とプロンプトを生成AIに入れる

本手法で様々なモデルで生成してみた

下図より、意図した通りの構図で画像が生成されていることがわかるかと思います。

このようにI2Iで補正する方法は元々ありましたが、補正するための画像を用意するコストがありました。

それをPLATEAUのようなオープンデータを活用することにより、誰でも簡単に補正用の画像を用意することができます。