Catch up on AI

LLMのアリーナデータ推移をアニメに　他 / Catch up on AI 2024.4.29

Pick up生成AIの歴史を1分の動画にまとめたアニメーション。GPT4がやはり優位。だが、近年はかなり肉薄するところまで様々なLLMが迫ってきた。 Catch up on AIClaude3でp5js実験「誰かのパイを失うまで奪うゲーム」をテーマにしたショートフィルム OpenAIで情報漏洩時速6kmで走行できるヒューマノイド AIタウンを1クリックで AIモーションキャプチャで服だけを動かす img2imgをサイネージに ARで呼び出した3Dアニメー

レイヤーごとの3D着衣アバター TELA　他 / Catch up on AI 2024.4.28

Pick upプロンプトから服を着た3DCGアバターを生成できるフレームワーク。人と服を分けて生成することで柔軟性が生まれている。 TELA: Text to Layer-wise 3D Clothed Human Generation Project：https://jtdong.com/tela_layer/ arXiv：https://arxiv.org/abs/2404.16748 Code：https://github.com/DongJT1996/TELA C

画像から顔の一貫性を保持する ConsistentID　他 / Catch up on AI 2024.4.27

Pick up画像1枚からの顔を表現する技術はどんどん進化。データセットも専用のものも用意されかなり高度に。 ConsistentID:Portrait Generation with Multimodal Fine-Grained Identity Preserving Project：https://ssugarwh.github.io/consistentid.github.io/ arXiv：https://arxiv.org/abs/2404.16771 Code

キャラクター性を維持して動画を生成 ID-Animator 他 / Catch up on AI 2024.4.24

Pick up動画でも、画像1枚指定するだけで、キャラクター性を維持して一貫性の高い動画が生成できるフレームワークがID-Animatorが発表 ID-Animator: Zero-Shot Identity-Preserving Human Video Generation Project：https://id-animator.github.io arXiv：https://arxiv.org/abs/2404.15275 Code：https://github.com

道路の異常を検出をYOLO v8で実現　他 / Catch up on AI 2024.4.23

Pick upYOLO v8のライセンスは「GNU Affero General Public License v3.0」。条件のもと商用でも無料で利用することが可能。これが大企業ではなく、個人エンジニアレベルで実現する可能性があるのは素晴らしい進歩だと思う。 Catch up on AIAIリアルタイムフェイスチェンジャー川崎重工のヒューマノイドの歴史を辿るレストランでのウェイタードローン活用スケッチ+リアルタイム生成AI Hyper-SD 最大8倍！動

動く物体を検知してセグメントできる「FlowSAM」　他 / Catch up on AI 2024.4.22

Pick up動画の中から、動きがあるもののみを検知して、セグメントできるフレームワーク。的確にかつある一定の閾値の動きのあるもののみ検出している。 Moving Object Segmentation:All You Need Is SAM (and Flow) Project：https://robots.ox.ac.uk/~vgg/research/flowsam/ arXiv：https://arxiv.org/abs/2404.12389 Code：https:/

2024ヒューマノイド一覧　他 / Catch up on AI 2024.4.21

Pick up最近一気に情報やデモがリリースされているヒューマノイド。2024年に発表されているヒューマノイドの一覧表。ここから本当に生活に溶け込んでくるか注目です。 Catch up on AI画像からピクセルアート変換をClaude 3で WebGPUで10秒→1.25秒へ Segment Anything Model をWEBで商品開発に特化した生成AI Pietra XRのコントローラーとしてのスマホ動画生成の課題を一つ克服 Ctrl-Adapter

Sora × クリエイターで創られたTEDの40年後他 / Catch up on AI 2024.4.20

Pick upとんでもない映像がリリース。OpenAIの動画生成AI　Soraを利用してクリエイターが創った動画がすごいクオリティ。リリースされれば文字通り世界は変る。 Catch up on AI生成AIを駆使したダンスムービー乗り物としてのロボット SR-02 文字のイメージからアニメを生成 Dynamic Typography AI事業者ガイドラインを発表 LLaMa 3をgroqで超高速の推論を可能非常に精巧な手を再現 clonerobotics 最

わずか数分でリアルなVFXを実現 Simulon 他 / Catch up on AI 2024.4.19

Pick upVFXも技術の発展でどんどん手軽で、このクオリティの映像表現がアプリケーションでできてしまうのは驚きだ。道具はますます発展し、ここから本当に何を創るか？が勝負になってくる。 Catch up on AIOpenPoseを用いたライブポージングリアルタイム生成AI影絵 AI動画サービス GoEnhanceがアップデート「AIと著作権に関する考え方について」令和6年4月版が公開未来のコミュニケーションの形「みらいの婚活」 SD3によるアニメ絵の生成

一枚の画像と音声データから喋るアバターを生成「VASA-1」他 / Catch up on AI 2024.4.18

Pick up1枚の画像と音声データでこの滑らかさはすごい。4090でも生成可能なようです。コード・デモの公開が待ち遠しい。 VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real Time Project：https://microsoft.com/en-us/research/project/vasa-1/ arXiv：https://arxiv.org/abs/2404.10667 Catch up

AI 3DジェネレーターをSplineがリリース　他 / Catch up on AI 2024.4.17

Pick upエディタとエクスポートにも対応した3DCG生成AIが登場。テキストからも画像からも生成が可能。かなり高い精度。メタバースやVR・ARがさらに発展していく可能性を感じます。 AI 3D Generation V1 https://spline.design/ai-gener Catch up on AIStability AI Developer Platform APIでSD3が解禁およそ2秒で3DCGを生成 Splatter Image Boston

OpenAI Sora x Adobeが実現する可能性　他 / Catch up on AI 2024.4.16

Pick upAdobeが発表した、Adobe Premiere Pro でOpenAI Soraが利用できる未来を描くデモが動画の未来を変える。こうなると必要なのは想像力。どれだけ面白い表現を考えることができるかに尽きる。 Catch up on AIAdobe Premiereの生成AI機能の全貌整合性高い3DCGを生成 InstantMesh AIトイレ掃除ロボ https://x.com/taziku_co/status/178007217188656747

ブレイクダンスも回転するボールもトラッキング「SpatialTracker」他 / Catch up on AI 2024.4.15

Pick up回転する物体も、遮蔽物で見えなくなる物体も任意の面を正確に捉えてトラッキングできる「SpatialTracker」がすごい。ここまで精度が高いとあらゆる対象の検知・解析に利用できそう。 SpatialTracker: Tracking Any 2D Pixels in 3D Space Project：https://henry123-boy.github.io/SpaTracker/ arXiv：https://arxiv.org/abs/2404.04

StabilityAI CosXLを利用した画像エディタが凄い　他 / Catch up on AI 2024.4.14

Pick upインペイントで範囲指定せずに凄まじい精度で画像編集が可能。素晴らしい精度。 CosXL Edit images with just prompt, an unofficial demo for CosXL and CosXL Edit from Stability AI https://pinokio.computer/item?uri=https://github.com/cocktailpeanutlabs/cosxl Catch up on AICla

2024年4月の記事一覧

LLMのアリーナデータ推移をアニメに 他 / Catch up on AI 2024.4.29

レイヤーごとの3D着衣アバター TELA 他 / Catch up on AI 2024.4.28

画像から顔の一貫性を保持する ConsistentID 他 / Catch up on AI 2024.4.27

キャラクター性を維持して動画を生成 ID-Animator 他 / Catch up on AI 2024.4.24

道路の異常を検出をYOLO v8で実現 他 / Catch up on AI 2024.4.23

動く物体を検知してセグメントできる「FlowSAM」 他 / Catch up on AI 2024.4.22

2024ヒューマノイド一覧 他 / Catch up on AI 2024.4.21

Sora × クリエイターで創られたTEDの40年後 他 / Catch up on AI 2024.4.20