【中級】Marigold（AI深度マップ生成）を使う

2024年4月3日 19:16

想定する読者

AI深度マップ生成を利用して Blender で使いたい人
Blender の基本的な操作ができる人

はじめに

Marigold（Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation）という手法を使うと、任意の画像からAIで深度マップを作成する事ができます。このソフトウェアを利用し、Blender から読み込む事で、写真やAI生成画像から3Dを作成する事ができます。2024年現在ではもっとも精度のよい深度マップ作成手法です。

はじめる

公式のリポジトリはこちら

webUI を利用されている人であれば、ControlNet の depth プリプロセッサから利用する事ができます。

ただし、webUI 付属のものは詳細オプションを利用できませんので、解像度を上げたい場合は、公式レポジトリのものをコマンドラインで使う必要があります。

下記に各種AIソフトウェアのインストールをまとめています。

コマンドライン利用できる状態であれば、

 python run.py ^
--denoise_steps 4 ^
--ensemble_size 5 ^
--processing_res 0 ^
--resample_method bicubic ^
--input_rgb_dir "%~1" ^
--output_dir "%userprofile%\Desktop"

オプションで、より高品質な深度マップを作成できます。上記インストール方法では、ドラッグ＆ドロップで利用できるバッチファイル例を載せていますので、任意の画像フォルダをドラッグ＆ドロップするだけで、デスクトップに深度マップが作成できるようになります。