3D生成AIサービスの現在地
GenerativeAIをゲーム開発に活用する方法Tipsのマガジンゲーム開発AI Lab. Witchpotに含まれる記事です
ゲームづくりを前提に書かれています
このnoteでは観測範囲で試すことのできるサービスを実際に使用した結果などを比較していきます
追記1
「見た目以外のモデル詳細も知りたい」とのコメントを頂いたので、詳細をこちら↓にまとめました！興味がありましたら合わせてご覧ください！
追記2
日本時間8/22にCSMが有料サブスクリプションプランが追加されました
CSMでは使用可能な学習モデルが選択可能でこの記事でCSMの項目で紹介している3Dモデルは現在の有料プランに相当する学習モデルを使用して生成されています
要約
純粋な3D生成ではCSMが最もクオリティが高そう
ただしメッシュはぼこぼこになることが多く後処理が必用
「Swordのみ」など生成可能なオブジェクトタイプを限定した3D生成は高クオリティで生成可能
現状生成した3Dモデルはそのままは使えませんが画像生成AIと組み合わせることでゲームステージ作りは出来そうです
CSM Cube
純粋な3D生成AIとしては現状最もクオリティが高いと思われるサービスです
Image to 3Dで画像を放り込むと3Dモデルがglb形式でダウンロードできる状態で生成されます
2023年8月現在は無料で使えますがサーバー負荷の関係か同時に2モデルまで生成可能で生成に数時間かかることが多いです
キャラクター
Midjourneyで作ったキャラクターを画像を入力として作っていきます
肩の防具などが体の一部になって張り付いてしまいます。なのでなるべくそういうのは無いシンプルな形状の方が良さそうです。（画像はInpaintで修正しました）
少年たち。見た目似た画像をインプットにしてもきれいに生成される時とされないときがあり、どういう要素が良い結果に繋がるかはガチャ感があり不明です
その他のキャラクターたち
自然物系
・ヤシの木
動画右のリアル調のヤシの木は見ての通り上部が生成されていません
おそらく細かい隙間がある画像は難しいんじゃないかと思われます
動画左のようにローポリ系の画像を使うと綺麗に出ました
・普通の木
・岩
岩についてはメッシュ形状としてはかなり使えそうなものが生成されます
テクスチャが意図しない色になることは多いです
人工物
家の生成は特定角度から見ると良い形状になりますが、全体形状としては破綻していることが多いです
柵
ヤシの木でもあったように隙間という概念が難しいのか消えてしまうことがあるようです
2023/09/15追記
CSMのモデル新しい物が出ていたので比較しました
v1.1ではロボットの胸部分が凹んでいたり、戦車の後部の形状がおかしくなっていたりしましたがv1.2では明らかな形状不良が出にくくなってきているようです
v1.2の家でも同様でした。時々だめなのもあるようですが形状精度が極端に悪くなる確率が下がっているようです
Meshy.ai
Meshy ai は2023年9月18日時点でAI TexturingとText to 3D機能があります
現在のCSMで作った3DモデルのテクスチャがいまいちになりやすいのでCSMを自動テクスチャにかけてみました
結構色々なパターンを作れるのが面白いですね
追記
Artefacts.ai
CSMのあとにこのサービスを発見しました
2023年8/23時点ではImage to 3Dのみクレジット制（1生成8クレジット消費でデフォルト20クレジット）を試すことができます
キャラクター
テクスチャの忠実さはCSMよりありますが形状としては全体にぐちゃぐちゃになってしまっています
ヤシの木
後ろ側の葉部分がぐちゃぐちゃになってしまっていますが前側みた形状はまずまず
Artefacts.aiの感想
UIを見る限り3D to 3Dがあるので作った3Dモデルを編集してアップデートしていけるようにしていく思想だと思います。生成後の編集は当面必要だと思うので今後が楽しみです
One-2-3-45
One-2-3-45は2023年8月現在デモ版が試せます。
オープンソースになる予定のようですがまだコードは公開されていません
どういった入力でもCSMと比較するとまだクオリティが低いですがオープンソースになると発展の形が変わってくるかもしれません
岩
各方向からの画像は結構きれいに出来ており3Dになったときにクオリティが落ちてしまっている印象です。クオリティが上がってくることを期待したいです
キャラクター
岩と同じく今後に期待です
DreamGaussian
2023年/9月/30日 追記
Gaussian Spalattingベースの3D生成システムです
コードが公開されています
生成した結果はこちら
入力画像に忠実ですがCSMと比較するとクオリティは劣るかもしれません
3DFY
カテゴリー選択＋テキストプロンプトで生成するタイプ
生成クオリティはかなり高いです
クレジット制で無料の範囲で4モデルくらいはつくれます
Swords
Shields
他の3D生成AIだとUVはかなりぐちゃぐちゃになりますが、このサービスはかなりきれいに出来ており実用レベルに近いです
裏のシステムは分からないため予想になりますが純粋にメッシュを生成しているかどうかは怪しい気がしています
カテゴリーを選択する感じからもあまり完全自動生成かどうかは微妙だなと感じています
KaedimというAIと人力とを混ぜたサービスもあったりするのでそれと似た感じなのかもしれません
プロンプトにあわせてプリセットから選択したりテクスチャが画像生成されたりしてるのではないかと…
この方向性も楽しみですが、クリエイター自身が思い描いたものをつくれるかどうかがカテゴリー数に依存してしまうため、そのシステムがどうなるかたのしみです
まとめ
ここまで実際に触ったサービスを中心に紹介しましたがこの他にも
・人型キャラクターのみ生成するサービス
・NVIDIA:Get3D,Google: Dream Fusion, OpenAI: Point-E など大手のプロジェクト
・その他各種オープンソースから派生しているようなプロジェクト
・3Dデザインツールのsplineのサービス
・NeRFで有名なLumaのサービス
など色々なプロジェクトが立ち上がっており注目していきたいです
また、現状のクオリティでそのまま生成した3Dを使用することは難しいですが、こちら↓のnoteで解説したような画像生成AIとの組み合わせで利用することが出来ます
来たるハイクオリティ3D生成AIの登場に向けて様々活用の検証をして発信していこうと思いますのでTwitterなどフォロー頂ければと思います。
筆者が代表の株式会社Witchpotではゲーム開発に生成AIを導入するシステム・サービスを開発提供しています
生成AIをゲーム開発に使う方法を幅広く検証・開発しています
ゲーム開発会社さんやゲームデベロッパーの方、とりあえず話だけ聞いてみたいでも、なんでもサポートしますのでお気軽にご連絡ください
Twitter: @nakashun_t
email: nakajima.shuntaro@witchpot.com
コミュニティ紹介
Witchpotが出すサービスを中心にゲーム開発に生成AIを活かす方法を共有するDiscordコミュニティを作っています！
興味がある方はぜひご参加ください！
アクティブにしていきたいと思っていますので是非気軽にコミュニケーションとって頂ければです
※以下、有料エリアにコンテンツはありません
購入いただけたら有料ツールの検証やサービス開発に活かして行きたいと思います
もし余裕がある方いらっしゃったらお願いします！
ここから先は
¥ 300
サポートは開発・勉強用に使用させていただきます。