生成AI（DALL-E3）を活用して3Dプリンター用の3Dデータを作成する方法

やりたいこと

生成AIで生成したイメージ画像を3Dデータに変換し、3Dプリンターで出力することができる3Dデータを作ること
最新の生成AI技術を駆使して、2Dのイメージ画像から立体的な3Dデータを作成し、実際に3Dプリンターで物体を出力する。これにより、単なる画像が現実の物体として形になる瞬間を目の当たりにすることが目的です。

結果

• シンプルな物体の3Dデータ作成であれば有効活用できそう。

• 3Dプリンター用のデータ作成にはいくつかの課題がありました。特に、車のような複雑なオブジェクトは一枚の画像では表現しきれない部分が多く、正確な3Dモデルを作成するには、各部位の細かいデザインを調整する必要がありました。

• 一方で、細かい部分を調整するためのツールや複数の角度からの画像を使うことで、より精度の高い3Dデータを生成する可能性が見えました。

使ったもの

• chatGPT: テキストベースでの3Dモデル要件定義

• DALL-E3: イメージ画像の生成

• One-2-3-45(3Dモデリング): 生成されたイメージ画像から3Dデータの作成

やってみたこと

シンプルな椅子の3Dデータを生成する

まずは、シンプルな椅子のイメージから始めました。
GPT4VのDALL-E3を使って椅子のイメージ画像を生成しました。

次に、One-2-3-45(3Dモデリング)にDALL-E3で生成した画像をアップロードしました。

1枚の画像を基に8方向から見たイメージを生成しました。

生成されたイメージの8方向からのビューを基に、OBJファイル形式の3Dデータが作成されました

出力したOBJファイルは以下となります。

_tmp_gradio_586387fd24aca47ce3761e1282fa691a14d9d968_mesh.obj

2.31 MB

ファイルダウンロードについて

ダウンロード

車の3Dデータを生成する

次に、より複雑な車のイメージに挑戦しました
GPT4VのDALL-E3を使って椅子のイメージ画像を生成しました。

One-2-3-45(3Dモデリング)にDALL-E3で生成した画像をアップロードしました。

1枚の画像を基に8方向から見たイメージを生成しました。

生成されたイメージの8方向からのビューを基に、OBJファイル形式の3Dデータが作成されました

ここではDALL-E3で生成した一枚の画像をもとに、8方向のビューを推測しましたが、一枚の画像からは3Dデータとしての全体像を理解するには不十分でした。そのため、初期の試みでは完全な3Dモデルを生成することはできませんでした。
細部のチューニングや、車の上部や背面など、見えない部分のデザインについてはさらなる工夫が必要です。しかし、より多角的な画像を用いることで、One-2-3-45のようなツールを活用し、リアルで正確な3Dデータの生成が可能となりそうです。

以上のプロセスを通じて、AIと3Dプリンティング技術の融合が新しい創造物を生み出すことの可能性を確信しました。
今後もこの技術の進化とともに、想像力の限界をさらに押し広げていくことができると感じております。