マガジンのカバー画像

最新AI研究&検証

48
本
最新AIの最前線に立つ技術、理論、応用を深掘りするマガジンです。検証結果や研究の記事をまとめています。
運営しているクリエイター
SUTO💡

#3DCG

画像から高品質かつ効率的な3Dメッシュを生成する「Unique3D」を試してみる

Unique3DとはUnique3Dは、任意の画像から高品質の3Dメッシュを効率的に生成するフレームワークで、マルチビューの拡散モデルを使用して複数のビュー画像を作成し、解像度を段階的に向上させているモノとのこと。 ISOMERアルゴリズムを用いて瞬時に一貫性のあるメッシュを再構築するこで30秒以内に詳細で正確な3Dモデルを生成できるのが売りとなっているらしくちょっと話題になってたのでいじってみたいなと思いました！ ちなみに、このUnique3Dはわずか8個のRTX4090

SUTO💡

2D to 3D animationができるAI「DreamGaussian4D」で遊んでみる

DreamGaussian4DとはDreamGaussian4Dは静止画像やビデオから4Dガウススプラッティング生成(ガウス関数を用いてオブジェクトの形状や動きをスムーズに補完し、高品質な3Dモデルを生成)をしてしまう技術です。 簡単に言ってしまうと、2D画像からあっという間に3Dのアニメーションデータが出力できますって感じでしょうか。 Python、CUDA、PyTorch、xformers、simple-knnなどの技術を使用しているようです。 🌐プロジェクトページ類早

SUTO💡

新しく見つけた2D-to-3Dの「CraftsMan」を試してみる

ということで今回はまた新しく見つけた2D-to3DのCraftsManを触ってみたいと思います！ CraftsManの最大の特徴は、二段階プロセスで行う高速かつ高精度な3Dメッシュ生成で、多様なMVモデルが選べるところらしいです。 CraftsManとはざっくりですがこのCraftsManのことをまとめて言うと、二段階のテキスト/画像から3Dメッシュを生成するモデルのことです。 特徴と呼ばれる「二段階プロセス」の内容は下記。 ①3Dネイティブ拡散を使用し、約5秒で滑らかな

SUTO💡

一枚の画像から多角視点の複数の高解像度の画像を生成する「Era3D」を試してみる

今回試してみる「Era3D」は一枚の画像から多角視点の複数の高解像度の画像を生成してくれます。 同時にノーマルマップも合わせて生成してくれるという優れもの。 いままで一枚の画像から3Dデータを生成するというものはいくつかありました。こちらは画像の出力です。どんなものか気になりますね！ Era3Dの特徴Era3Dは、単一画像から高解像度のマルチビュー画像を生成する新しい手法とのこと。調べてみると特に以下の2つの技術革新がありました。 カメラ予測モジュール：ディフュージョン

SUTO💡

Adobeが開発中の3Dapp「Project Neo」とFireFlyを連携しクイックにイメージ通りの画像を作る

Photoshop や Illustrator で使い慣れたコントロールとコマンドを使用して、簡単なひねり、回転、微調整などで、かわいらしいアイコンや、ユニークな立体形状を数分で作成できると話題のAdobeが開発中の「Project Neo」。 まだbeta版ですが、使えるようでしたのでいじってみました！ 早速なにか作ってみましょうか！ UIはこのような感じ。 たしかにPhotoshopやIllustratorぽい画面。 でもインストール型ではなくてSaaSでした。

SUTO💡

任意のオブジェクトイメージをいろんな角度やシチュエーションで再生成できる「🌈CustomNet」を試してみる

画像のオブジェクトイメージを保持しながら、いろんなアングルや位置での背景をコントロールできることで話題になっている「CustomNet」。 今回はこちらのモデルを試してみたいと思います。 プロジェクトページ類はこちら。 こちらがUIです。 今回はこちらの三毛猫の招き猫の画像で試してみようとおもいます。 いいですね〜 これも雑コラが捗りそうです！！ 動画はこちらから。 ボタンぽちぽちするだけであっという間にできちゃうのは便利ですね！使用感も良いです。 こういうところ

SUTO💡

新しく発表されていた2D-to-3Dの「InstantMesh」を試してみる

一枚の写真から3Dのメッシュモデル（立体的なネットワーク構造）を生成するためのフレームワーク「InstantMesh」がすごそうだったので試してみました。 3Dを作るフレームワークは他にもいくつかあって、過去にこんな感じで試しています。 さて今回はどんな感じでしょうね？？ プロジェクト類は以下から。 普通、3Dモデルを作る時は複数の画像やデータを基にして詳細を加えていく必要がありますが、InstantMeshは一枚の画像から短時間（約10秒）でメッシュを生成することが

SUTO💡

「LGM」という2D-to-3Dもあったらしいので試して「TripoSR」と比較してみた☁️

前回、2D-to-3DのTripoSRを試してましたが、LGMという2D-to-3Dのも2月上旬に話題になっていたらしく、今更ですが触ってみました。 普通にデモがHugging Faceにあったのでここからサクッと試してみようと思います！ 早速アクセス！ これも使いやすそうです！ それではTripoSRで試した黒猫ちゃんで試してみたいと思います。 TripoSRを試した時の記事はこちら↓ 左側に画像を入れて、一旦promptはなしでそのままジェネレート。 これもあ

SUTO💡

2D-to-3Dの「TripoSR」が話題になったので試してARで召喚してみたよ🐱

Tripo × Stability AI が公開した3D生成AIモデル「TripoSR」。 これが精度よく単一画像からの3Dオブジェクト生成をしてくれると話題になってたので早速試してみようと思います。 詳しくはweelさんの記事がとても分かりやすかったので貼っておきます！ インストール後の画面はこんな感じでした。 それではまずStable Diffusion Web UIで黒猫ちゃんを呼んで入れてみる。 すぐ3D化できちゃいます。まじの１秒です。 茶色い猫でも試して

SUTO💡

生成AI画像からデプスをとって３D化して楽しむやつを試してみた記録

なんとなく生成した画像を３D化するのってどうやるんだろう～と思いいろいろやり方を調べてざっくり作ってみた記録です🌳 参考にさせていただいたのはmieki256's Homepageさんのこの記事です。 すごくわかりやすく書いてあって素晴らしい記事です！ありがたや〜！ まずはAI生成からとりあえずイラストを用意しようかということで、chatGPTのDALL-E３さんにいい感じの森の画像を作ってもらいました。 記事に従い、出来上がった画像をA1111のControlNetに

SUTO💡