生成AIによる3Dモデルの作成は可能か？

生成AIとは

人工知能の一種で、テキストや画像などをもとに新しいコンテンツを生成する能力を持つAIのことです。

3Dモデリングの分野でも、生成AIを使って3Dモデルを作成することが可能です。

ただし、現時点ではまだ実用に耐えるレベルとは言い難く、生成された3Dモデルは粗いものが多いです。

また、生成AIの種類や性能によって、生成できる3Dモデルの形や質が異なります³。

そこで、以下では、現在利用可能な主な生成AIの種類と特徴、そして3Dモデルの作成方法について紹介します。

生成AIの種類と特徴

Shap-E

   - OpenAIが2023年5月に発表した3Dオブジェクト生成AI
   - テキストや画像を入力することで、誰でも簡単に3次元データを生成できる
   - 生成された3Dデータはダウンロードできるので、ローカルに落として編集することも可能
   - Hugging FaceのWebアプリ⁴ として無料で使用できる

DreamFusion

   - Google ResearchとUC Berkeleyの研究チームが2022年9月に発表した、テキストから3Dモデルを生成するAI
   - 事前学習したtext-to-2Dの拡散モデルを使って、text-to-3Dを実現する
   - 現在のところ、モデルやAPIは提供されていない

Stable DreamFusion

   - 「DreamFusion」の論文を元に作られた、Stable Diffusionモデルを使った「DreamFusion」のPytorch実装
   - まだ多くの機能は実装中だが、テキストからの3Dオブジェクトの生成をいち早く体験できる
   - Githubからアクセスできる

Latent-NeRF

   - 「stable-dreamfusion」と「text2mesh」をベースに、シェイプガイドによる3Dモデル生成と、テクスチャ生成を可能にしたAI
   - Githubからアクセスできる

Score Jacobian Chaining

   - テキストから3Dを生成する手法
   - 3Dデータへを必要とせずに、画像の事前学習済み2D 拡散生成モデルを放射輝度フィールドの3D生成モデルに変換する
   - Githubからアクセスできる

Point-E

   - OpenAIが2022年12月に発表した、画像やテキストから3Dポイントクラウドを生成するAIモデル
   - 他の3D生成AIと比べ、圧倒的に高速に3D生成できる
   - Githubからアクセスできる

Imagine 3D

   - 「Luma AI」が提供する、テキストから3Dを生成するWebサービス
   - 現在α版で、利用するにはwaitlistに登録して待つ必要がある
   - Webサイトからアクセスできる

Magic3D

   - NVIDIAが2022年11月に発表した、テキストから3Dを生成するAI
   - 参照画像をベースにした3D生成も可能
   - Googleの「DreamFusion」に比べて「2倍速く、8倍の解像度で」生成できるとして話題となった
   - 論文画像からもその解像度の高さが伺い知れる「Magic3D」
   - 残念ながらコードは公開されていないようだ

GET3D

   - NVIDIAが開発した2D画像から3Dモデルを生成するAIモデル
   - 車、バイク、椅子などのジャンルごとの2D画像を学習させることで、それっぽい3Dモデルを生成できるようになる

Motion Diffusion

   - テキストから人物のモーションを生成することができるAIモデル
   - UnityやUEのヒューマノイドモデルのモーションとして利用することもできる

Text2Light

   - テキストから4kの「HDRパノラマ」を画像を生成することができるAIモデル
   - UE4やUnityなどのゲームエンジンで利用できる

まとめ

生成AIは、テキストや画像などをもとに新しいコンテンツを生成する能力を持つAIのことです。

3Dモデリングの分野でも、生成AIを使って3Dモデルを作成することが可能です。

ただし、現時点ではまだ実用に耐えるレベルとは言い難く、生成された3Dモデルは粗いものが多いです。

また、生成AIの種類や性能によって、生成できる3Dモデルの形や質が異なります。


現在利用可能な主な生成AIの種類と特徴は以下の通りです。

Shap-E
テキストや画像から簡単に3次元データを生成できるWebアプリ

DreamFusion
テキストから高品質な3Dモデルを生成するAI（まだ公開されていない）

Stable DreamFusion
「DreamFusion」のPytorch実装

Latent-NeRF
シェイプガイドとテクスチャ生成を可能にしたAI

Score Jacobian Chaining
テキストから3Dを生成する手法

Point-E
画像やテキストから高速に3Dポイントクラウドを生成するAIモデル

Imagine 3D
テキストから3Dを生成するWebサービス（α版）

Magic3D
テキストから高解像度の3Dを生成するAI（まだ公開されていない）

GET3D
2D画像から3Dモデルを生成するAIモデル

Motion Diffusion
テキストから人物のモーションを生成するAIモデル

Text2Light
テキストから4kのHDRパノラマ画像を生成するAIモデル