- 運営しているクリエイター
#ai動画
超自然な動きが魅力な動画生成フレームワーク「DynamiCrafter」 他 / Catch up on AI 2024.2.5
Pick upDynamiCrafterは、テンセントが発表した新しいAIによる動画生成フレームワーク。花びらや花火など表現が難しい画像が、かなり自然な形で画像から動画を生成できています。 プロジェクトページでは様々なサンプルが、またHuggingFaceではデモも公開されています。 DynamiCrafter Project - https://doubiiu.github.io/projects/DynamiCrafter/ arXiv：https://arxiv.o
モーションの目的を指示可能な動画生成モデル「MotionDirector」他 / Catch up on AI 2024.2.3
Pick up外見とモーションを別々に学習し、それぞれを組み合わせることが可能な動画生成モデル。参考にする動画を入力し、モーションはそのままに、プロンプトを掛け合わせ動画の生成が可能です。 MotionDirector: Motion Customization of Text-to-Video Diffusion Models Project: https://showlab.github.io/MotionDirector/ arXiv: https://arxiv.o
映像から3Dシーンをリアルタイムに再構築「Gaussian-SLAM」他 / Catch up on AI 2023.12.18
Pick up3D Gaussianでも驚きでしたが、Gaussian-SLAMは映像から、リアルタイムに3Dシーンを生成する技術。 学習なしで、映像のみで3Dシーンの構築は凄まじい進化。 Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting Project：https://vladimiryugay.github.io/gaussian_slam/ Paper：https://ivi.fnwi
Tiktokを手掛けるByteDanceが音楽生成AI「StemGen」他 / Catch up on AI 2023.12.16
Pick upTiktokを手掛けるByteDanceがが音楽生成AI、StemGenのプロジェクトページを公開。多くのサンプルと原理が掲載されています。 大枠の仕組みとしては 1.入力された音楽クリップを分析 2.音楽を理解 3.モデルデータと合わせて音楽生成 music-to-musicとも言える生成AIが出現。まだデモやコードの公開はされていませんが、これがリリースされると大きく音楽生成AIも情勢が変わってきそうです。 音楽生成AI StemGen Projec