Marigoldの深度推定をとりあえずやってみる

写真内の奥行きを推定する「Marigold」、言語に頼らず画像理解する「Large Vision Model」、数分間の高品質ビデオ作成する「Vchitect」など重要論文6本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge

画像から深度推定するMarigold
Stable Diffusionベース

Hugging Faceですぐに試せる

Marigold Depth Estimation - a Hugging Face Space by toshas

画像をMidjourneyで生成

Marigoldで深度画像を生成

深度画像をダウンロード

Blenderで可視化してみる

デプスマップから頂点を移動させる方法

mieki256's diary

他にも試す

Stable Diffusionベースの単眼深度推定Marigoldをとりあえずやってみる

素材はMidjourneyで適当に生成し、HuggingFaceのMarigoldで深度画像を生成、Blenderでディスプレイする pic.twitter.com/DFNg5N7Lpy

— Kousei Ikeda / 池田 航成 (@ikekou) January 4, 2024

当たり前だが深度の変化が連続的な画像だとより良い感じだ pic.twitter.com/EwG8roxwv1

— Kousei Ikeda / 池田 航成 (@ikekou) January 4, 2024