【すべてローカル】画像生成AI技術をBlenderで利用する①【中級】

はじめに

Stable Diffusion等の生成AI技術をBlenderに応用する基本についての記事です。（その①）

前提

入門〜中級向けを想定した記事になります。

利用するソフトウェアは以下になります。すべてローカルで動作するオープンソースのWindowsソフトウェアで、これらが導入済みである事を想定しています。※ 導入方法は下記にまとめています。もちろん、公式に導入方法の説明はありますが、より詳細に解説しています。

■ Blender（無料で利用できるオープンソースの3DCGソフト）

blender.org - Home of the Blender project - Free and Open 3D Creation Software

■ Stable Diffusion webUI（AI画像生成）

■ Instant Mesh（画像→3DメッシュAI生成）
※ システムメモリは32GB以上、GPUメモリは12GB以上は最低限必要かもしれません。

■ Marigold（画像→深度マップAI生成）
※ Stable Diffusion webUI forgeのControlNetではデフォルトで利用できる深度マップモデルですが、現在はメンテされず（？）壊れているのか利用できないようです。筆者環境だけかもしれません。

概要

テクスチャ生成

Stable Diffusion webUIを利用して、3Dオブジェクトに貼り付けるテクスチャをAIで生成します。

カラー・拡散マップ（タイル）

凹凸・バンプマップ

凹凸表現

Marigoldで生成した深度マップ（凹凸）を利用して表面を3D化できます。

Adaptive Subdivision

Displacementモディファイア

静止画像から3Dモデル生成

Instant Meshを利用して、AI生成画像をさらにAIで3D化します。

Instant Mesh gradio demo

②へつづく。