![見出し画像](https://assets.st-note.com/production/uploads/images/90458422/rectangle_large_type_2_548189e17e01fc4f77931c6dcd8ff490.png?width=1200)
最近話題になった 3Dモデル生成AI まとめ
最近話題になった「3Dモデル生成AI」をまとめました。
1. DreamFusion
「DreamFusion」は、Google ResearchとUC Berkeleyの研究チームが発表した、テキストから3Dを生成するAIです。事前学習したtext-to-2Dの拡散モデルを使って、text-to-3Dを実現します。
現在のところ、モデルやAPIは提供されていません。
文章から“3Dモデル”をAIが生成 米Googleなどが「DreamFusion」を開発 https://t.co/a4t95j2XlG 3Dやマルチビューの訓練データを必要とせず、事前に訓練された2D拡散モデル(2D画像のみで訓練)だけを用いてテキストから3Dオブジェクトを合成する。 pic.twitter.com/73vBV627zp
— Seamless (@shiropen2) October 4, 2022
2. Stable DreamFusion
「Stable Dreamfusion」は、「DreamFusion」の論文を元に作られた、Stable Diffusionモデルを使った「DreamFusion」のPytorch実装です。
まだ多くの機能は実装中ですが、テキストからの3Dオブジェクトの生成をいち早く体験できます。
Stable-DreamFusionを試してみた。150エポック、2時間ほど。https://t.co/BMiI8wtczq pic.twitter.com/BiTAGLjfQs
— 布留川英一 / Hidekazu Furukawa (@npaka123) October 7, 2022
3. Latent-NeRF
「Latent-NeRF」は、「stable-dreamfusion」と「text2mesh」をベースに、シェイプガイドによる3Dモデル生成と、テクスチャ生成を可能にしたAIです。
Latent-Nerfでシェイプガイド付きで"a lego man"を5000ステップ。Colab ProのA100で40分。
— 布留川英一 / Hidekazu Furukawa (@npaka123) November 28, 2022
Stable-DreamFusionでできなかった人型もできた。 pic.twitter.com/fVPlqtd40d
4. Score Jacobian Chaining
「Score Jacobian Chaining」(SJC)は、テキストから3Dを生成する手法です。3Dデータへを必要とせずに、画像の事前学習済み2D 拡散生成モデルを放射輝度フィールドの3D生成モデルに変換します。
sjcで人型の3D生成を試す。Colab Pro(A100)で10000ステップで28分。 pic.twitter.com/DShQfBNBg5
— 布留川英一 / Hidekazu Furukawa (@npaka123) December 4, 2022
5. Point-E
「Point-E」は、画像やテキストから3Dポイントクラウドを生成するAIモデルです。他の3D生成AIと比べ、圧倒的に高速に3D生成できます。
![](https://assets.st-note.com/img/1671576115727-fuLbIINlx8.png?width=1200)
6. Imagine 3D
「Imagine 3D」は、「Luma AI」が提供する、テキストから3Dを生成するWebサービスです。現在α版で、利用するにはwaitlistに登録して待つ必要があります。
✨ Introducing Imagine 3D: a new way to create 3D with text!
— Luma AI (@LumaLabsAI) December 14, 2022
Our mission is to build the next generation of 3D and Imagine will be a big part of it. Today Imagine is in early access and as we improve we will bring it to everyone https://t.co/VIdilw7kpa pic.twitter.com/v6Yi0mwZsY
7. Magic3D
「Magic3D」は、NVIDIAが発表したテキストから3Dを生成するAIです。参照画像をベースにした3D生成も可能です。
Magic3D: High-Resolution Text-to-3D Content Creation
— AK (@_akhaliq) November 21, 2022
abs: https://t.co/rQPxoj1tkC
project page: https://t.co/bxsIImhJFt pic.twitter.com/BX9raoyb1l
8. GET3D
「NVIDIA GET3D」は、NVIDIAが開発した2D画像から3Dモデルを生成するAIモデルです。車、バイク、椅子などのジャンルごとの2D画像を学習させることで、それっぽい3Dモデルを生成できるようになります。
NVIDIA GET3D is a generative #AI model that can be used to populate virtual worlds with 3D objects and characters. #GTC22
— NVIDIA AI Developer (@NVIDIAAIDev) September 23, 2022
Learn more: https://t.co/j6BxjicyTp pic.twitter.com/EtuvvD3q6u
9. Motion Diffusion
「Motion Diffusion Model」は、テキストから人物のモーションを生成することができるAIモデルです。UnityやUEのヒューマノイドモデルのモーションとして利用することもできます。
Motion Diffusion Model のでテキストから生成したモーションをUnity x VRMで再生してみる。 pic.twitter.com/oLG6bKfbUN
— 布留川英一 / Hidekazu Furukawa (@npaka123) October 9, 2022
10. Text2Light
「Text2Light」は、テキストから4kの「HDRパノラマ」を画像を生成することができるAIモデルです。
testing Text2Light with UE4
— hakubunchan (@hakubunchan) October 5, 2022
text to image for HDR Panorama#ai #aiart #ue4 #ue5 #text2Art #stablediffusion #midjourney #dalle2 #NFT #HDR #VR https://t.co/4E4QLpBkPS pic.twitter.com/AKe9GNKWdZ
11. Luma AI
「Luma AI」は、「Luma AI」が提供する、iPhone上でNeRFの学習とレンダリングを行うiPhoneアプリで、従来の3Dスキャンアプリと比べて、かなりの高精度で現実世界の物体を3Dモデル化できると話題になっています。現在ベータ提供中になります。
Capture with #LumaAI
— MATSUZAKI (@marvo737) October 31, 2022
↓
Edit in #Blender
↓
Auto Rigging with #Mixamo pic.twitter.com/RC6yCSM9J3
関連
この記事が気に入ったらサポートをしてみませんか?