マガジンのカバー画像

Catch up on AI

388
本
海外のAI関連のキャッチアップした情報をできる限り、noteでまとめていきます。
運営しているクリエイター
Yoshihiro Tanaka | taziku

#ロボット

GPT-4o x Media2FaceでAIに表情をつける 他 / Catch up on AI 2024.5.17

Pick up音声対話が高速になったGPT-4oを利用して、さらにそれにアバターをつけたデモ動画。ここにキャラクター性が加わればさらに拡がっていく可能性。 Catch up on AI複数の参照画像からポートレートを生成 Photoshopでリファレンスで着せ替え 手先が人間並みのヒューマノイド 画像1枚から1分以内に3DCGを生成 CAT3D 絵画やイラストから3Dシーンを生成Toon3 リアルタイムでノーマルマップを生成 DSINE SLAMから3DGS G

Yoshihiro T…

生成AIでスケッチから現実に3DCGを創造 他 / Catch up on AI 2024.5.13

Pick up適切に生成AIを選定利用すれば、3DCGの技術が無くてもここまでのことが可能に！ Catch up on AICGをセグメントしてAIレンダリング VRから全ての家具を削除 An Empty Room is All We Want 参照画像を簡単に利用 AnifusionでIPAdapter 自由自在なヘビ型ロボ MIRRAX-150 3DCG x 生成AIレンダリング テキストを検出し視覚化 VimTS Adobe Neo x 生成AI わずか

Yoshihiro T…

AIでボーンを一致させる「Cyanpuppet」他 / Catch up on AI 2024.5.12

Pick up頭身が異なってもボーンをAIで自動ちょうせし、自然なモーションキャプチャ→動きを実現。 Cyanpuppet https://cyanpuppets.myshopify.com/ Catch up on AIリアルタイムアニメ変換サイネージ ChatGPTの静かな変化 Chick-fil-Aの配送ロボットカート AIに大きな波がおきる1ヶ月 キーフレームを活用した中割アニメ 恐竜を現実世界に iPhone VFXアプリで リップシンクや顔の表情も

Yoshihiro T…

生成AIの中割の進化の歴史　他 / Catch up on AI 2024.5.10

Pick up多くの生成AIの研究者などの一つの目標に中割りがある。様々なアプローチが日々試行錯誤されていますが、その進化の歴史をまとめたスレッド Catch up on AI音楽とアニメを生成AIで ボケた画像からシャープな3Dシーンを構築 アップルがクラウドでAI提供 ヒューマノイドのパルクール学習 ChatGPT Assistants APIがビジョンをサポート サッカーの選手を検知しながら平面へ ElevenLabsで楽曲生成 Stability AI

Yoshihiro T…

XでGrokが利用可能に　他 / Catch up on AI 2024.5.8

Pick up突然機能が追加され、X上で利用できるようになったAI Grok。リアルタイムに全TweetをRAG的に利用ができるということで昨日のニュースを参照して回答を生成可能。これは他の生成AIには無い魅力。 利用は現在プレミアムユーザーのみとなっています。 Catch up on AILlama3ハッカソン開催 UIをリアルタイムで生成 Adobe FireFlyでポテト文字 生成AIのライティングを操作IC-Light 中国のヒューマノイド工場 映画と現

Yoshihiro T…

漫画も生成できるStoryDiffusionデモ　他 / Catch up on AI 2024.5.4

Pick up同一キャラクターで様々なシーンをプロンプトで制御できるStoryDiffusionのデモが公開。replicate上でデモを試すことが可能です。 story-diffusion Project: https://storydiffusion.github.io arXiv: https://arxiv.org/abs/2405.01434 Code: https://github.com/HVision-NKU/StoryDiffusion Demo:http

Yoshihiro T…

オープンソースの動画理解LLM PLLaVA　他 / Catch up on AI 2024.4.30

Pick up動画を理解するLLM。時系列にそって的確に解説できている。今後LLMは動画へ。 PLLAVA: PARAMETER-FREE LLAVA EXTENSION FROM IMAGES TO VIDEOS FOR VIDEO DENSE CAPTIONING Project：https://pllava.github.io arXiv：https://arxiv.org/abs/2404.16994 Code：https://github.com/magic-re

Yoshihiro T…

レイヤーごとの3D着衣アバター TELA　他 / Catch up on AI 2024.4.28

Pick upプロンプトから服を着た3DCGアバターを生成できるフレームワーク。人と服を分けて生成することで柔軟性が生まれている。 TELA: Text to Layer-wise 3D Clothed Human Generation Project：https://jtdong.com/tela_layer/ arXiv：https://arxiv.org/abs/2404.16748 Code：https://github.com/DongJT1996/TELA C

Yoshihiro T…

画像から顔の一貫性を保持する ConsistentID　他 / Catch up on AI 2024.4.27

Pick up画像1枚からの顔を表現する技術はどんどん進化。データセットも専用のものも用意されかなり高度に。 ConsistentID:Portrait Generation with Multimodal Fine-Grained Identity Preserving Project：https://ssugarwh.github.io/consistentid.github.io/ arXiv：https://arxiv.org/abs/2404.16771 Code

Yoshihiro T…

2024ヒューマノイド一覧　他 / Catch up on AI 2024.4.21

Pick up最近一気に情報やデモがリリースされているヒューマノイド。2024年に発表されているヒューマノイドの一覧表。 ここから本当に生活に溶け込んでくるか注目です。 Catch up on AI画像からピクセルアート変換をClaude 3で WebGPUで10秒→1.25秒へ Segment Anything Model をWEBで 商品開発に特化した生成AI Pietra XRのコントローラーとしてのスマホ 動画生成の課題を一つ克服 Ctrl-Adapter

Yoshihiro T…

Sora × クリエイターで創られたTEDの40年後 他 / Catch up on AI 2024.4.20

Pick upとんでもない映像がリリース。OpenAIの動画生成AI　Soraを利用してクリエイターが創った動画がすごいクオリティ。リリースされれば文字通り世界は変る。 Catch up on AI生成AIを駆使したダンスムービー 乗り物としてのロボット SR-02 文字のイメージからアニメを生成 Dynamic Typography AI事業者ガイドラインを発表 LLaMa 3をgroqで超高速の推論を可能 非常に精巧な手を再現 clonerobotics 最

Yoshihiro T…

AI 3DジェネレーターをSplineがリリース　他 / Catch up on AI 2024.4.17

Pick upエディタとエクスポートにも対応した3DCG生成AIが登場。テキストからも画像からも生成が可能。かなり高い精度。メタバースやVR・ARがさらに発展していく可能性を感じます。 AI 3D Generation V1 https://spline.design/ai-gener Catch up on AIStability AI Developer Platform APIでSD3が解禁 およそ2秒で3DCGを生成 Splatter Image Boston

Yoshihiro T…

歩く、起き上がるを学習させた椅子ロボット 他 / Catch up on AI 2024.4.13

Pick upアニメの中で見たものを現実に創れる。そんな世の中になりつつある。空想に現実が追いついてきた。 Body Design and Gait Generation of Chair-Type Asymmetrical Tripedal Low-rigidity Robot Project：https://shin0805.github.io/chair-type-tripedal-robot/ arXiv：https://arxiv.org/abs/2404.059

Yoshihiro T…

精度の高いインペイントを実現 BrushNet　他 / Catch up on AI 2024.3.29

Pick upインペイントの精度を一段引き上げてくれるモデル BrushNet。全く違和感がなく、マスクした部分を保管しながら生成してくれます。 BrushNet : A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion Project：https://tencentarc.github.io/BrushNet/ arXiv：https://arxiv.org/abs/240

Yoshihiro T…