マガジンのカバー画像

Catch up on AI

388
本
海外のAI関連のキャッチアップした情報をできる限り、noteでまとめていきます。
運営しているクリエイター
Yoshihiro Tanaka | taziku

#3D

スマホ1台でマークシートを採点するAI 他 / Catch up on AI 2024.5.19

Pick upこういった発想がすぐに形にできる世界へなりつつある。専用機などは便利ですがいずれ本当に特殊なものになっていく可能性。 Catch up on AIトランシーバー型生成AIハード Photoshop x 生成AI クリエイターと生成AIの可能性 アニメ可能な衣服を生成LayGA 暗闇でもロボットが動くためにDarkGS WEBやBLOGを自動で音声化 物を持った手を3D化HOLD CAT3Dの日常使いのシーン 行政での生成AI利活用検証から見えた1

Yoshihiro T…

GPT-4o x Media2FaceでAIに表情をつける 他 / Catch up on AI 2024.5.17

Pick up音声対話が高速になったGPT-4oを利用して、さらにそれにアバターをつけたデモ動画。ここにキャラクター性が加わればさらに拡がっていく可能性。 Catch up on AI複数の参照画像からポートレートを生成 Photoshopでリファレンスで着せ替え 手先が人間並みのヒューマノイド 画像1枚から1分以内に3DCGを生成 CAT3D 絵画やイラストから3Dシーンを生成Toon3 リアルタイムでノーマルマップを生成 DSINE SLAMから3DGS G

Yoshihiro T…

高品質な3Dスキャナーアプリ「Doly」他 / Catch up on AI 2024.5.16

Pick up段ボールを土台にスマートフォン一台でかなり高精度な3Dスキャンが可能なiOSアプリ。ここまでざっくりとした環境でこの精度は素晴らしい！ Catch up on AI動画のインペイントを簡単に Replacer 3DCGからの生成AI動画生成 MixedRealityのショールーム OpenAIのスライドにFrontier models coming soonの文字 3つのガイドを駆使 BEHAVIOR Vision Suite 簡単な3DCGをベース

Yoshihiro T…

感情表現が得意なアバター生成 EMOPortraits 他 / Catch up on AI 2024.5.2

Pick up非常に感情豊かなアバターが生成できるEMOPortraits。公開はもう少し先ですが、期待ができそうなクオリティです。 EMOPortraits: Emotion-enhanced Multimodal One-shot Head Avatars Project：https://neeek2303.github.io/EMOPortraits/ arXiv：https://arxiv.org/abs/2404.19110 Dateset：2024年6月までに公

Yoshihiro T…

LLMのアリーナデータ推移をアニメに　他 / Catch up on AI 2024.4.29

Pick up生成AIの歴史を1分の動画にまとめたアニメーション。GPT4がやはり優位。だが、近年はかなり肉薄するところまで様々なLLMが迫ってきた。 Catch up on AIClaude3でp5js実験 「誰かのパイを失うまで奪うゲーム」をテーマにしたショートフィルム OpenAIで情報漏洩 時速6kmで走行できるヒューマノイド AIタウンを1クリックで AIモーションキャプチャで服だけを動かす img2imgをサイネージに ARで呼び出した3Dアニメー

Yoshihiro T…

レイヤーごとの3D着衣アバター TELA　他 / Catch up on AI 2024.4.28

Pick upプロンプトから服を着た3DCGアバターを生成できるフレームワーク。人と服を分けて生成することで柔軟性が生まれている。 TELA: Text to Layer-wise 3D Clothed Human Generation Project：https://jtdong.com/tela_layer/ arXiv：https://arxiv.org/abs/2404.16748 Code：https://github.com/DongJT1996/TELA C

Yoshihiro T…

顔画像1枚で、同一人物を再現 Arc2Face　他 / Catch up on AI 2024.3.30

Pick up一貫性のあるキャラクターの再現は、生成AI当初からの課題ですが、Arc2Faceは1枚の画像からキャラクター性を保ち、多様なバリエーションを生成できるフレームワーク。 ローカル版がリリースされておりWindows、Mac、Linuxで1クリックで利用可能。 Arc2Face-A Foundation Model of Human Faces https://pinokio.computer/item?uri=https://github.com/cockta

Yoshihiro T…

Transformers.jsとDepth Anythingで2D画像を3Dへ 他 / Catch up on AI 2024.3.7

Pick up機械学習モデルをJavaScript環境で動作させることができるTransformers.jsとDepth Anythingを利用して制作された、2D画像を3Dへ変換するフレームワーク。 これがブラウザでできるのは色々と可能性を感じます。 https://x.com/taziku_co/status/1765545934317146165?s=20 オンラインデモ Painting: https://conze.pt/app/ai-image-depth/

Yoshihiro T…

2枚の写真から3Dシーンを構築「DUSt3R」　他 / Catch up on AI 2024.3.3

Pick up3Dシーンを生成するために今まで様々な角度からの入力画像が必要でしたが、DUSt3Rは最小2枚の画像から3Dシーンが生成できる新しいフレームワーク。 DUSt3R: Geometric 3D Vision Made Easy Project：https://dust3r.europe.naverlabs.com Code：https://github.com/naver/dust3r Catch up on AI不動産内覧写真から3Dシーンを生成 https

Yoshihiro T…

生成AIでimg-to-3Dプリント　他 / Catch up on AI 2024.2.8

Pick up生成AIで生成されるものというのはコストが掛かっていなさすぎて価値を見いだせないという人間の心理的な側面がありますが、フィジカルなものに落とし込むことで、それらを多少緩和できるような気がする面白い例。 Catch up on AIわずか7秒で生成可能！3D生成AI LGM Vision Pro x リアルタイム生成AI Google Bard→Geminiへ Gemini Advancedでは、Ultra 1.0も提供 3DCG x AIの新ワークフロー

Yoshihiro T…

DomoAIで古いホームビデオをアニメに　他 / Catch up on AI 2024.2.6

Pick up古いホームビデオをアニメにした例。クリエイティブとしてはあまり意味がないように見えるが、本人にとっては特別なものになるし、ある一点の使い方においてはとても有益な使い方だと思う。 Catch up on AIMicrosoftがAI連携メディアを支援 オブジェクトの置き換え生成や移動が可能「DragonDiffusion」 3Dプリンタ x 3DCG生成AI Apple Vision Proの目を変える 画像から音楽を生成「Image-to-Music

Yoshihiro T…

3Dシーンで動的流体シミレーションGaussian Splashing (GSP)　他 / Catch up on AI 2024.1.31

Pick up3Dガウシアン・スプラフティングスで生成された3Dシーン上で、液体の流体シミュレーションが可能な技術。今まで見るだけだった、空間に対して様々な事象を反映することが可能です。 Gaussian Splashing: Dynamic Fluid Synthesis with Gaussian Splatting Project：https://amysteriouscat.github.io/GaussianSplashing/ arXiv：https://arx

Yoshihiro T…

NeRFがさらに進化 Zip-NeRFとCamPの両方のコードをリリース　他 / Catch up on AI 2024.1.21

Pick upNeRF特有の細かな破片がクリアに。従来NeRFでカメラ位置推測に利用されているCOLMAPより、遥かに優れておりかなりきれいな3Dシーンが生成可能。 CamP and Zip-NeRF Blog：https://radiancefields.com/camp-and-zipnerf-released/ Code：https://github.com/jonbarron/camp_zipnerf Catch up on AIControlnetやOpenpo

Yoshihiro T…

四角い箱から自由に3Dを生成 Text-to-3D with Blocks　他 / Catch up on AI 2024.1.12

Pick up3Dの制作は慣れないととてもむずかしいものです。ただtext-to-3Dではある一定の品質の3DCGは創れたとしても思い描くものを創るのはかなり困難、そんな中発表されたText-to-3D with Blocks。 まだサービス化はされていないようですが、実装されたらとても便利そう！ Catch up on AI矢印で生成AI動画を制御できるDragNUWAのComfyUI対応版が登場 様々な入力を正確に理解するモデル「LEGO」 映像を4K/8K/16

Yoshihiro T…