マガジンのカバー画像

Catch up on AI

388
海外のAI関連のキャッチアップした情報をできる限り、noteでまとめていきます。
運営しているクリエイター

#nerf

NeRFがさらに進化 Zip-NeRFとCamPの両方のコードをリリース 他 / Catch up on AI 2024.1.21

Pick upNeRF特有の細かな破片がクリアに。従来NeRFでカメラ位置推測に利用されているCOLMAPより、遥かに優れておりかなりきれいな3Dシーンが生成可能。 CamP and Zip-NeRF Blog:https://radiancefields.com/camp-and-zipnerf-released/ Code:https://github.com/jonbarron/camp_zipnerf Catch up on AIControlnetやOpenpo

300m2もの大規模フォトリアルなNeRFが簡単に「SMERF」他 / Catch up on AI 2023.12.19

Pick up300m2もの大規模なシーンに対応したフォトリアルなNeRFが構築できる技術「SMERF」 が登場。 Codeは、Coming Soonとなっていますが、これが手軽に生成ができるならこれは凄い進化だ! SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration Project:https://smerf-3d.github.io arXiv:

Tiktokを手掛けるByteDanceが音楽生成AI「StemGen」他 / Catch up on AI 2023.12.16

Pick upTiktokを手掛けるByteDanceがが音楽生成AI、StemGenのプロジェクトページを公開。多くのサンプルと原理が掲載されています。 大枠の仕組みとしては 1.入力された音楽クリップを分析 2.音楽を理解 3.モデルデータと合わせて音楽生成 music-to-musicとも言える生成AIが出現。まだデモやコードの公開はされていませんが、これがリリースされると大きく音楽生成AIも情勢が変わってきそうです。 音楽生成AI StemGen Projec

画像生成AIも進化 特定の概念のみをコントロールする技術 他 / Catch up on AI 2023.11.27

Pick up画像生成AIを普通に利用すると、様々な画像は比較的簡単にできるようになるが、生成した画像のベースを残しながら、特定の要素のみをコントロールするとなると非常に難しいのですが、Concept Slidersはそれらを解決してくれる可能性がある。 Concept Sliders page: https://sliders.baulab.info code: https://github.com/rohitgandikota/sliders paper:https:/

NeRFで構築されたオブジェクトを自由に動かす 他 / Catch up on AI 2023.11.25

Pick upNeRFで構築されたオブジェクトを物理法則に基づいて自由に動かす技術。 ここからさらに飛躍するとは全く思わなかった。最近のテクノロジーの進化のスピードは想像を絶するものがありますね。 Catch up on AIAIシンガーソングライターAnna Indianaが登場! 今考えうる、最高峰のAI動画ワークフロー ComfyUI + Stable Diffusion Videoのテスト Stable Video Diffusionが8GBのVRAMでも動作

時間の概念を加えた 4D Gaussian Splatting 他 / Catch up on AI 2023.10.19

Pick up画像から、自由視点の3D空間を生成できる3D Gaussian Splattingに時間という概念を加えた4D Gaussian Splatting。 時間という概念が加わることで様々な用途が生まれそうな技術。 project https://guanjunwu.github.io/4dgs/ code https://github.com/hustvl/4DGaussians Catch up on AI4K4D: Real-Time 4D 空間を動か

NeRF生成ができるLuma AIが、3D Gaussian Splattingに対応 他 / Catch up on AI 2023.10.4

Pick upLuma AIが、3D Gaussian Splattingに対応。WEBサービスで生成できるようになったことで、活用の範囲がさらに広がる。 それにしても生成AI分野は進化や対応スピードが早すぎる。 https://lumalabs.ai/ Catch up on AIChatGPTのGPT-4 Vで、写真からLightroomの設定を教えてもらう アニメの中間フレームを生成できる「AnimeInbet」 AnimateDiff で生成されたモノクロア

数枚の写真から、高精度なNeRFを作成するモデル「Preface」他 / Catch up on AI 2023.10.2

Pick up写真2枚からでも高品質なNeRFを生成できる「PreFace」。 計算時間も、素材もライトになってくれるとさらにNeRFが広がっていきそうな気がします。 Catch up on AI難しかったピクセルアートも DALL-E 3なら再現が簡単 Animatediff-cli-prompt-travel.で生成された、リアルな女性の動画 複数カメラからの動的シーンの高密度3D再構成技術「R3D3」 GPT-4V(ision)の研究資料 全166P 3D G

見切れてしまった写真の周囲を生成し直す技術「RealFill」他 / Catch up on AI 2023.9.30

Pick up生成ではなくて、いくつかの写真をもとに再構築する技術「RealFill」。いくつかの写真をベースにそのシーンで見切れてしまった部分を再構築される。 Catch up on AI「3Dの制作を全ての人の身近に」を掲げて展開するpolycam Stable Diffusion + ControlNetを使用した、コミック風のARエフェクト InstructPix2Pix を利用し、画像を取り込んでアニメーション化 3D Gaussian Splattingと

NeRFより、10倍高速な3D Gaussian Splatting「DreamGaussian」 他 / Catch up on AI 2023.9.29

Pick up3D Gaussian Splattingの技術を取り込んだ新しいtxt-to-3dとimg-to-3dが可能な生成AI「DreamGaussian」 かなり精度が上がった印象。3D生成AIも新しいステージに踏み込んだ感じがします。 Catch up on AIMetaがAI画像生成AI「Emu」を発表! アプリ上でのMetaの画像生成AI「Emu」のデモ 25枚の写真から、髪の毛やまつ毛を詳細に再現した3D Gaussian Splatting Ch

群馬県が2つのコンテストで生成AIの仕様を認める 他 / Catch up on AI 2023.8.13

Pick up今回は国、県などを含め生成AIに対しての動きが凄く早い。今までの行政ではありえないスピード感。何かが動いているのを感じる。 原文:https://tokyo-np.co.jp/article/269870 Catch up on AISDXL1.0でのLoRAのトレーニングチュートリアル動画 AIで現実世界のスケッチを3D生成 空撮や報道映像を使って報道でのNeRF活用実験 3Dの表面メッシュを最適化するための新手法「FlexiCubes」 生成AI

1枚の画像からダンスを生成可能な生成AI「DisCo」 他 / Catch up on AI 2023.7.28

Pick upReferenceとして1枚の画像を読み込ませるとその人間の顔、服装でダンスを生成できる「DisCo」。今まで一枚ずつ顔を変換して動きを変換してと作業していましたが、かなり高精度でダンスムービーを生成することが可能です。 DisCo: Disentangled Control for Referring Human Dance Generation in Real World Project:https://disco-dance.github.io/ind

画像から3Dモデルが生成可能な「CSM-Any Image to 3D」 他 / Catch up on AI 2023.6.29

Pick up1枚の画像から、3Dモデルの生成が生成できる、「CSM-Any Image to 3D」完璧ではないが、テクスチャーや細部の作り込みは今まで出ていた3D生成AIよりも数段上のクオリティと言えます。 3D生成AIは、ゲーム、ロボティクス、混合現実、VFX、eコマースなど、多くの分野に大きな影響を与えると言われています。3Dモデリングを扱う業界にとっては一つの革命的な技術だと思います。 Catch up on AIベンチマークでChatGPTを上回ったとされる、

ChatGPT CEO アルトマン x 慶応大生 同時通訳付きでテレ東BIZで公開 他 / Catch up on AI 2023.6.13

Pick upOpenAIのCEO、サム・アルトマンが慶応大学の学生たちと対話し、ChatGPTやAI技術、シリコンバレーでの仕事についての質問に答えました。 同時通訳付きでテレ東BIZ公開されました。 Catch up on AIAI×ブラックジャック新作はStable Diffusionで!! 誰しもが見た目や性別に縛られない時代になる。 https://twitter.com/taziku_co/status/1668434091350593536?s=20