
BlenderでDepthを作成してStable Diffusionでテクスチャを作成して手軽にシーンをつくろう
自分のメモのために残します~
Bldenderで適当にモデリングをする
メイドインアビスをイメージして深い穴があるロケーションを作成してみました。なんでもOK!

Blenderから深度情報を得る
View Layer→Passes→ZをON

Rander→Rander Image
compositing→Use Nodesにチェック→ノードを以下のようにつなぐ

Render Image→Color Depth 16→Compression 0%でsave

Stable Diffusionで深度情報を元にテクスチャをつくる
Stable DiffusionでControlNet→EnableをON→Processorをnone→Modelをdepth

こんなプロンプトで作成してみました。

Blenderに作成した画像をカメラ投影で貼り付ける
Blender→全てのオブジェクトをEdit Modeで選択→X-RayをON→UV→Project from View

New Material→imageをノード接続→モデルの上でctrl+LでLink Materialするとすべてのオブジェクトにテクスチャが適用されます。

ノードのSpecularを0→RenderのView TransformをStandard

以上で完成です。
参考動画