マガジンのカバー画像

Catch up on AI

388
本
海外のAI関連のキャッチアップした情報をできる限り、noteでまとめていきます。
運営しているクリエイター
Yoshihiro Tanaka | taziku

#LLM

スクショ→コードのオープンソースがGPT-4oに対応 他 / Catch up on AI 2024.5.18

Pick upScreenshot-to-codeが、GPT-4oに対応！ Screenshot-to-code Project：https://screenshottocode.com Code：https://github.com/abi/screenshot-to-code Catch up on AIWebGPUで動作するLLM Moondream 生成AIでRPGの1シーンを再現 AGIまでの距離は？How Far Are We From AGI Sora

Yoshihiro T…

高品質な3Dスキャナーアプリ「Doly」他 / Catch up on AI 2024.5.16

Pick up段ボールを土台にスマートフォン一台でかなり高精度な3Dスキャンが可能なiOSアプリ。ここまでざっくりとした環境でこの精度は素晴らしい！ Catch up on AI動画のインペイントを簡単に Replacer 3DCGからの生成AI動画生成 MixedRealityのショールーム OpenAIのスライドにFrontier models coming soonの文字 3つのガイドを駆使 BEHAVIOR Vision Suite 簡単な3DCGをベース

Yoshihiro T…

超高速で音声対話が可能なGPT-4o（Omni）がリリース　他 / Catch up on AI 2024.5.14

Pick up世界中がGPT-4o（Omni）の話題沸騰の1日。多くのデモや話題がX上でも Catch up on AIGPT-4o同士でミュージカル GPT-4oはテキストも描ける GPT-4oはAzure OpenAIでも GPT4-oでAI家庭教師 GrokにGPT4-oについて聞いてみた 仮想ライトフィールド IC-Light + IPAdapter さらに精度が高く高速にcreate_xyz x GPT-4o 3DGSでも試着を実現 Gaussian

Yoshihiro T…

Midjourneyのスタイル集 Midjourney Style Reference Codes　他 / Catch up on AI 2024.5.11

Pick upsref コードを実際の見本に合わせて一覧でまとめられたサイト。様々な表現を試してみたい方はこれは便利！ Midjourney sref Codes https://aiiqportal.com/midjourney-style-reference-codes/ Catch up on AI空飛ぶバイクをアニメに 生成AIでシンプルな塗りを実現 ブラウザでLLM Phi-3 WebGP 3DGSをプロンプトでコントロール DGE Appleデバイスに

Yoshihiro T…

XでGrokが利用可能に　他 / Catch up on AI 2024.5.8

Pick up突然機能が追加され、X上で利用できるようになったAI Grok。リアルタイムに全TweetをRAG的に利用ができるということで昨日のニュースを参照して回答を生成可能。これは他の生成AIには無い魅力。 利用は現在プレミアムユーザーのみとなっています。 Catch up on AILlama3ハッカソン開催 UIをリアルタイムで生成 Adobe FireFlyでポテト文字 生成AIのライティングを操作IC-Light 中国のヒューマノイド工場 映画と現

Yoshihiro T…

パワーポイントx生成AIで生成されたAI動画　他 / Catch up on AI 2024.5.7

Pick upPPTをベースにリアルタイムに動画を生成し続けるデモ。だれでも手軽に使えるソフトウェアがインターフェイスになるのはとても良さそう！ Catch up on AIClarity AI アップスケーラーが ComfyUI で利用可能 URLからマーケティングプランを生成 コンテンツとスタイルを分けて考えるB-LoRA 商品撮影 x リアルタイム生成AI マウスに追従したインタラクティブ生成 ロゴマークを生成に特化したAI 2Dを深度マップで3D化 生

Yoshihiro T…

1枚の画像から30秒以内に3Dシーンを生成 Invisible Stitch 他 / Catch up on AI 2024.5.3

Pick up解像度はまだ低いが、その速度は可能性を感じる。将来は1枚の画像から様々な3Dシーンが生成される様になるかもしれない。 Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting Project: https://research.paulengstler.com/invisible-stitch Code: https://github.com/paulengstler/invisib

Yoshihiro T…

感情表現が得意なアバター生成 EMOPortraits 他 / Catch up on AI 2024.5.2

Pick up非常に感情豊かなアバターが生成できるEMOPortraits。公開はもう少し先ですが、期待ができそうなクオリティです。 EMOPortraits: Emotion-enhanced Multimodal One-shot Head Avatars Project：https://neeek2303.github.io/EMOPortraits/ arXiv：https://arxiv.org/abs/2404.19110 Dateset：2024年6月までに公

Yoshihiro T…

オープンソースの動画理解LLM PLLaVA　他 / Catch up on AI 2024.4.30

Pick up動画を理解するLLM。時系列にそって的確に解説できている。今後LLMは動画へ。 PLLAVA: PARAMETER-FREE LLAVA EXTENSION FROM IMAGES TO VIDEOS FOR VIDEO DENSE CAPTIONING Project：https://pllava.github.io arXiv：https://arxiv.org/abs/2404.16994 Code：https://github.com/magic-re

Yoshihiro T…

LLMのアリーナデータ推移をアニメに　他 / Catch up on AI 2024.4.29

Pick up生成AIの歴史を1分の動画にまとめたアニメーション。GPT4がやはり優位。だが、近年はかなり肉薄するところまで様々なLLMが迫ってきた。 Catch up on AIClaude3でp5js実験 「誰かのパイを失うまで奪うゲーム」をテーマにしたショートフィルム OpenAIで情報漏洩 時速6kmで走行できるヒューマノイド AIタウンを1クリックで AIモーションキャプチャで服だけを動かす img2imgをサイネージに ARで呼び出した3Dアニメー

Yoshihiro T…

レイヤーごとの3D着衣アバター TELA　他 / Catch up on AI 2024.4.28

Pick upプロンプトから服を着た3DCGアバターを生成できるフレームワーク。人と服を分けて生成することで柔軟性が生まれている。 TELA: Text to Layer-wise 3D Clothed Human Generation Project：https://jtdong.com/tela_layer/ arXiv：https://arxiv.org/abs/2404.16748 Code：https://github.com/DongJT1996/TELA C

Yoshihiro T…

画像から顔の一貫性を保持する ConsistentID　他 / Catch up on AI 2024.4.27

Pick up画像1枚からの顔を表現する技術はどんどん進化。データセットも専用のものも用意されかなり高度に。 ConsistentID:Portrait Generation with Multimodal Fine-Grained Identity Preserving Project：https://ssugarwh.github.io/consistentid.github.io/ arXiv：https://arxiv.org/abs/2404.16771 Code

Yoshihiro T…

キャラクター性を維持して動画を生成 ID-Animator 他 / Catch up on AI 2024.4.24

Pick up動画でも、画像1枚指定するだけで、キャラクター性を維持して一貫性の高い動画が生成できるフレームワークがID-Animatorが発表 ID-Animator: Zero-Shot Identity-Preserving Human Video Generation Project：https://id-animator.github.io arXiv：https://arxiv.org/abs/2404.15275 Code：https://github.com

Yoshihiro T…

2024ヒューマノイド一覧　他 / Catch up on AI 2024.4.21

Pick up最近一気に情報やデモがリリースされているヒューマノイド。2024年に発表されているヒューマノイドの一覧表。 ここから本当に生活に溶け込んでくるか注目です。 Catch up on AI画像からピクセルアート変換をClaude 3で WebGPUで10秒→1.25秒へ Segment Anything Model をWEBで 商品開発に特化した生成AI Pietra XRのコントローラーとしてのスマホ 動画生成の課題を一つ克服 Ctrl-Adapter

Yoshihiro T…