3D生成 AIについて - 3D生成AIの可能性を探る
3D生成AI、使えるようになってきた？
近年、3Dモデル生成におけるAI技術の急速な発展により、建築やプロダクトデザインの分野でも注目を集めています。この技術を活用することで、高品質な3Dモデルをより短時間で作成できる可能性があります。
InstantMeshとTripo SR
3D生成AIの中でも、特に注目を集めている2つのサービスがあります。中国のテンセントが開発したInstantMeshとStability AIがTripo AIと提携して開発したTripoSRです。この2つを比較しつつ3D生成AIの実験を行ってみました。
簡単にまとめると以下の表のような特徴があります。
InstantMesh
InstantMeshは中国のテンセントが開発したLRM/Instant3Dの基本設計に基づく、一枚の画像から3Dメッシュ（頂点、辺、面の集合）が短時間で生成できる、フィードフォワードフレームワークです。 オープンソースのため、コードやモデルの重みなどを自分でトレーニングすることも可能です。
Tripo SR
TripoSRは、Stability AIとTripo AIが共同開発した高速な3Dオブジェクト生成モデルです。単一の画像から1秒以内に高品質な3Dモデルを生成でき、エンターテインメントやゲーム、工業デザイン、建築分野での利用が期待されています。こちらもオープンソースです。
比較実験
InstantMeshとTripoSRに同じ画像を読み込ませて生成された3Dモデルを比較しました。
「クッションがあるソファ」など、複数のオブジェクトが合わさっているものは精度が低くなる。背面の推測が少なくてすむ画像は、TripoSRの方が精度が出やすい。
InstantMeshでは元画像で見えていない4本目のテーブル脚も生成されるが、TripoSRでは生成されない。
机の例と同じようにInstantMeshでは元画像で見えていない建物の裏面も、そのまま使えるものではないものの、TripoSRに比べるとはるかに精度の高いものが生成された。
InstantMeshでは多少生成されたが、TripoSRでは全く使い物にならない。
机や建物の例では元画像で見えていない部分の精度はInstantMeshが高かったが、元画像で見えている部分の精度はTripoSRのほうが上。
利用例
InstantMeshやTripoSRで生成された3Dモデルはobjを始めとした汎用的な形式で保存できるため、RhinoやBlenderなどの3Dソフトウェアで開くことができます。これにより、生成されたモデルを編集したり、他のデザインツールと組み合わせたりすることが可能です。
生成AIで作った家具を即座にモデリング
モデリングが少し難しそうな家具も生成AIを活用すれば…
フリー素材にはないが、使用頻度が高いシーン
フリーモデルを使って空間にモデルを配置
生成した流動的な形のテーブルとソファを、事前に用意した部屋の3Dモデルに配置したいと思います
最近の3D生成AI事情
3D生成AIの分野では日々新しい研究成果が発表されており、大手企業も積極的に参入しています。AutodeskやAdobeといった業界大手が、3D生成AIの研究開発に力を入れていることからも、この分野の将来性と可能性の高さがうかがえます。
CSM
Users called us out when we said our model took 30s but it really took a couple minutes. Well now it actually takes 30 seconds.
— Common Sense Machines (@CSM_ai) May 17, 2024
Live on: https://t.co/LE3mktzCwu pic.twitter.com/pOStanngns
画像から3Dモデルを生成
CSM_aiのimage-to-3D機能に新モデルがリリースされ、3D生成精度が大幅に向上しました。
以前のモデルでは、入力画像とは多少異なる3DCGが生成されることがありましたが、新モデルではそのような問題が解消され、入力画像に非常に近い3DCGを出力できるようになりました。
CAT3D
🌟 Create anything in 3D! 🌟 Introducing CAT3D: a new method that generates high-fidelity 3D scenes from any number of real or generated images in one minute, powered by multi-view diffusion models.
— Ruiqi Gao (@RuiqiGao) May 17, 2024
w/ lovely coauthors @holynski_, @poolio and an amazing team! pic.twitter.com/uIsanD8rJ6
多視点からの3Dモデル生成
CAT3Dは、複数の画像から高品質な3Dモデルを生成するフレームワークです。マルチビューディフュージョンモデルを使用し、入力画像を基に新しい視点の画像を生成します。
これらの画像は3D再構築パイプラインに通され、最終的にインタラクティブな3D表現が得られます。
Coin3D
Coin3D
— AK (@_akhaliq) May 15, 2024
Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning
As humans, we aspire to create media content that is both freely willed and readily controlled. Thanks to the prominent development of generative techniques, we now can easily utilize pic.twitter.com/4OYNYuLlJ2
簡単な操作で3Dモデルを作成
COIN3Dは、浙江大学が開発したインタラクティブな3Dモデル生成フレームワークです。ユーザーは基本形状を組み合わせて粗いプロキシを作成し、それを基に詳細な3Dオブジェクトを生成・編集できます。リアルタイムでプレビューが可能です。
Autodesk Bernini
Autodesk Research Project Bernini is new experimental generative AI that can quickly generate multiple functional 3D shapes from a variety of inputs including text, 2D images, or voxels.
— Autodesk (@autodesk) May 8, 2024
Watch for future updates as we continue to develop cutting-edge AI: https://t.co/J3nGRM40yF. pic.twitter.com/p6BhKMa2pk
AutodeskのResearch Project Bernini: 生成AIによる3D形状作成
Autodeskの「Bernini」プロジェクトは、2D画像やテキストなどから3D形状を生成するAIモデルを開発しています。このモデルは、設計と製造のワークフローを改善し、リアルで機能的な3D形状を迅速に生成します。現在は実験段階であり、建築やプロダクトデザインなど多分野での活用が期待されています。
MeshLRM
高品質メッシュ再構築のための新しい手法
MeshLRMは、4つの入力画像から1秒未満で高品質な3Dメッシュを再構築する技術です。NeRFベースの大規模再構築モデルにより、エンドツーエンドでメッシュ抽出とレンダリングを行います。低解像度から高解像度まで順次トレーニングし、高速かつ高品質な再構築を実現します。Sparse-view入力や単一画像からの3D生成も可能です。
Craftsman
まとめ
3D生成AIの技術は着実に進歩しています。精度と生成速度が向上すれば、デザインプロセスも大きく変わりそうです。是非デモを触って、3D生成AIの現在地を確認してみてください。
ご案内
生成AIを活用することにご興味のある方は、ぜひご相談ください。画像生成AI活用に関するコンサルティングや、ワークショップも承っています。DMや問い合わせまでどうぞ。
画像生成AI講習の概要資料を作りました！
— NUNOI Shoichiro / NOI STUDIO (@sho_noi) March 17, 2024
大手不動産会社や設計事務所で何度か開催させてもらってます。
何ができるか知りたい方DMください！
資料送ります！ pic.twitter.com/PT4NIBsW0I
この記事が気に入ったらサポートをしてみませんか？