3D生成AI Meshyでクルマの3Dモデルを作ってみた(Text→3D, 2D→3D)
3D生成AIであるMeshyという商用サービスでクルマの3Dモデルをテキストまたは画像から生成してみました。
以前の記事ではOne-2-3-45という1ショット画像から3Dモデルを作る手法を試しましたが、ここでは商用サービスの実力を見てみたいと思います。
Meshyとは?
3D生成AIの商用サービスです。現在のところ、3Dテクスチャ生成、2D画像→3D、テキスト→3Dの3つのサービスがあるようです。
3Dの生成スピードが速く、だいたい1~2分程度で作れます。インターフェースも直観的。さすが商用サービスです。
商用サービスなので利用には費用がかかります。初期登録で200クレジットがついてきます。3Dモデル生成は1回あたり10-20クレジット程度。ちょっとお試しレベルであれば無料で行けます。
クレジットがなくなってしまった場合は$4(約600円)=200クレジットで購入できます。
技術の点では、NeRFや3D拡散モデルの良いとこどりをしているようです。詳しくはこちらをご覧ください。
Text→3Dを試す(1回目)
Meshyの設定画面
Text to 3Dを選ぶとこのような設定画面が出てきます。Objectで作りたい物体を指定して、Styleで物体の詳細スタイルを指定。Negative Promptの設定もできます。Stable Diffusionなどの画像生成AIと似てますね。
Art Styleの設定もできます。アニメ調とか指定できるようですね。今回はデフォルトのRealisticのままにしてみます。
プロンプトの準備
前回の記事でDALL-E3で作った画像を引っ張り出してきて、どんなプロンプトにするか考えます。
ChatGPTに画像を表すプロンプトを聞いてみます。とりあえず、このプロンプトを使ってみることにします。
3Dモデル生成
さっそくプロンプトを入力して生成してみます。
2分ほど待つと3Dモデルが生成されました!
しかし、窓がなくなっていたり、ボディにも穴が開いていたりとあまり品質は良くなさそうです。
こちらでインタラクティブに表示できます。
Text→3Dを試す(2回目)
気を取り直して再TRYします。プロンプトが細かすぎたのがダメだったかなと思い、プロンプトをシンプルなものに変更しました。
これで生成してみるとこんな感じ。クルマっぽい形にはなりましたが、ホイールのところが壊れています。なかなか前途多難です。
こちらでインタラクティブに表示できます。
テキストから3Dモデルを作れるのは手軽ですが、ちょっとコントロールが難しいです。
2D画像から3Dモデル生成
続いて2D画像から3Dモデルを作ってみます。前回の記事でも同じ画像でTRYしていますので、もしよければ比較してみてください。
Meshyの設定画面
いたって簡単です。画像をUploadしてGenerateを押すだけ。
3Dモデル生成
1分ほどで3Dモデルが出来上がります。速いですね。さすが商用サービスです。
見た感じ結構よさげです。入力した2D画像はフロント側からのものですが、画像では見えていないはずのリア側もそれっぽく生成してくれています。
こちらでインタラクティブに表示できます。
一見よさそうに見えますが、よく見るとフロント左側のホイールが二重に見えていておかしいです。どうやらテクスチャと3D形状の位置がずれているようです。
リア右側のホイールも同じような傾向。3D形状を生成した後で、2D画像の画角に合うようにテクスチャを貼っているのかもしれません。
フロントやルーフの部分が結構波打っているのも気になります。
メッシュを見てみる
形状データをダウンロードして、MeshLabでメッシュを見てみます。
やはり結構波打っています。テクスチャを貼った状態だとそこまで目立たないのですが、メッシュにすると3D形状のいびつさが目につきます。
現在の課題
テキストから3D形状は作れるのは手軽ですが、形状自体が壊れてしまいがちなのと、コントロールが難しいという感じがします。
まだまだMidjourneyやDALL-E3のように誰でも素晴らしい画像を作れる、という状態には程遠いです。
2D画像から大まかな3D形状は作れるものの、ディテールは飛んでしまいます。このあたりは商用サービスであっても同様の課題があります。
全体的な雰囲気を見るだけであればよいですが、実際にクルマの設計に使えるかといえば難しいでしょう。
今回利用したMeshyは様々な形状に対応した汎用モデルですので、クルマ用にチューニングしたモデルであれば、もっと良い結果が出るような気がします。
今後の3Dデータの増加やアルゴリズムの改善に期待したいところです。
この記事が気に入ったらサポートをしてみませんか?