AIを利用して、PBRテクスチャ作成に挑戦してみた話①

はじめに

忙しい皆様のために先に結論です。満足度は30％で、もう少し工夫が必要そうです。

PBR（Physically-Based Rendering）テスクチャとは、光の拡散、法線、凹凸情報などが物理的に正しいテクスチャの事を言います。AI技術を利用すれば、立体構造が簡単に作れるのですが、テクスチャのような微細構造まで再現できるようなものはありませんでした。しかし Marigold のような詳細まで生成してしまう手法が現れたので、試してみる事にしました。

テクスチャ生成

まずは簡単な壁テクスチャを生成します。Stable Diffusion の tiling 機能を利用すると、シームレスなテクスチャは簡単に生成できます。

AI生成の石壁テクスチャ

次に、立体情報を得るために、Marigold を利用します。

Marigold 深度マップ

確認

Blender 上で確認します。

深度マップ確認 ①

深度マップ確認 ②

確かに、かなり正しく立体を再現しています。しかし、

深度マップ ③

工夫

テクスチャはシームレスでも、深度マップの境界が不連続になってしまいます。インペイントなどでしばらく試行錯誤してみましたが、tiling 機能は text2img でしか有効にならないようで、仕方なく ControlNet を利用して生成しました。

txt2img + tiling + ControlNet 

Blender で確認

シームレスになりましたが、Marigold そのままにはかないません。

Blender で確認

まとめ

手を加えれば実用的なものが作成できそうですが、まだボタン一つというわけにはいかなそうですね。