見出し画像

最近話題になった 3Dモデル生成AI まとめ

npaka

最近話題になった「3Dモデル生成AI」をまとめました。

1. DreamFusion

「DreamFusion」は、Google ResearchとUC Berkeleyの研究チームが発表した、テキストから3Dを生成するAIです。事前学習したtext-to-2Dの拡散モデルを使って、text-to-3Dを実現します。
現在のところ、モデルやAPIは提供されていません。

2. Stable DreamFusion

「Stable Dreamfusion」は、「DreamFusion」の論文を元に作られた、Stable Diffusionモデルを使った「DreamFusion」のPytorch実装です。
まだ多くの機能は実装中ですが、テキストからの3Dオブジェクトの生成をいち早く体験できます。

3. Latent-NeRF

「Latent-NeRF」は、「stable-dreamfusion」と「text2mesh」をベースに、シェイプガイドによる3Dモデル生成と、テクスチャ生成を可能にしたAIです。

4. Score Jacobian Chaining

「Score Jacobian Chaining」(SJC)は、テキストから3Dを生成する手法です。3Dデータへを必要とせずに、画像の事前学習済み2D 拡散生成モデルを放射輝度フィールドの3D生成モデルに変換します。

5. Point-E

「Point-E」は、画像やテキストから3Dポイントクラウドを生成するAIモデルです。他の3D生成AIと比べ、圧倒的に高速に3D生成できます。

6. Imagine 3D

「Imagine 3D」は、「Luma AI」が提供する、テキストから3Dを生成するWebサービスです。現在α版で、利用するにはwaitlistに登録して待つ必要があります。

7. Magic3D

「Magic3D」は、NVIDIAが発表したテキストから3Dを生成するAIです。参照画像をベースにした3D生成も可能です。

8. GET3D

「NVIDIA GET3D」は、NVIDIAが開発した2D画像から3Dモデルを生成するAIモデルです。車、バイク、椅子などのジャンルごとの2D画像を学習させることで、それっぽい3Dモデルを生成できるようになります。

9. Motion Diffusion

「Motion Diffusion Model」は、テキストから人物のモーションを生成することができるAIモデルです。UnityやUEのヒューマノイドモデルのモーションとして利用することもできます。

10. Text2Light

「Text2Light」は、テキストから4kの「HDRパノラマ」を画像を生成することができるAIモデルです。

11. Luma AI

「Luma AI」は、「Luma AI」が提供する、iPhone上でNeRFの学習とレンダリングを行うiPhoneアプリで、従来の3Dスキャンアプリと比べて、かなりの高精度で現実世界の物体を3Dモデル化できると話題になっています。現在ベータ提供中になります。

関連



この記事が気に入ったらサポートをしてみませんか？