超自然な動きが魅力な動画生成フレームワーク「DynamiCrafter」 他 / Catch up on AI 2024.2.5
Pick up
DynamiCrafterは、テンセントが発表した新しいAIによる動画生成フレームワーク。花びらや花火など表現が難しい画像が、かなり自然な形で画像から動画を生成できています。
プロジェクトページでは様々なサンプルが、またHuggingFaceではデモも公開されています。
DynamiCrafter
Project - https://doubiiu.github.io/projects/DynamiCrafter/
arXiv：https://arxiv.org/abs/2310.12190
Code：https://github.com/Doubiiu/DynamiCrafter
Demo：https://huggingface.co/spaces/Doubiiu/DynamiCrafter
【SVDを超える動画生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 5, 2024
DynamiCrafterは、テンセントが発表した新しいAIによる動画生成フレームワーク。
風車がきちんと回る、花が咲く、電車が走るなど、かなり自然に意図通りに、画像から動画化できている。先行研究などと比べても、かなり精度が高い。
続く>>pic.twitter.com/9DAIGPt4nl
Catch up on AI
パワーのAIダンス動画
【エンタメの域に】@Pitophee さんが制作した、パワーのAIダンス動画。細部見るとAIってわかるけど色々とすごい。このサイズ感の顔で表情が崩れていなかったり、一貫性もかなり高い。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 5, 2024
vid2vidなことは間違いないと思うけど、元動画やワークフローが気になる！エンタメ感がするAIアニメダンス。 https://t.co/Pbl4hf64uK
Vision Pro x ロボット犬 Vision Bro→ビジョニキ
【Vision Pro x ロボット犬】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 5, 2024
ロンドンにもApple Vision Proが！自動運転との組み合わせではなく、ロボット犬との散歩。
ちなみに連日賑わせている、先駆者を、"Vision Bro"というらしい！日本だとすでにこのことからXでは、ビジョニキなんて言葉も！pic.twitter.com/CzjYPJfPFI
領域指定も方向も指定可能「Motion-I2V」
【領域指定も方向も指定可能】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 5, 2024
Motion-I2VにGen-2と同様のモーションブラシ機能を持たせることが可能。領域をペイントしてからブラシを使用して移動方向を描画することもサポート。
それに伴いProjectページもアップデートされています。
続く>>#画像生成AI #AI動画pic.twitter.com/Qb27LP1iFW
Vision Pro x 3DGS「MetalSplatter」
【Vision Pro x 3DGS】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 5, 2024
MetalSplatterは、オープンソース Swift/Metal ライブラリ。Vision Proで、3dガウシアンスプラッティングのVR表示を可能にします。
目の前に生成した空間が広がり、ハンドジェスチャーで操作できるのは未来感が合って良いですね！
続く>>pic.twitter.com/FNBUZBmvQX
Vision Pro x ディープフェイク
【Vision Pro x ディープフェイク】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 5, 2024
AIを利用して、見ている人の顔を変えるVision Proのアプリ。Vision Proが広がれば見た目は関係のない世界になるのかも。好きな姿を見せられるように逆ができると嬉しい！
新のメタバースは仮想空間上で無く、現実世界にあるのかも。pic.twitter.com/aXvsU19Fse
トレーニング無しでモデルをマージ「SegMoE」
【トレーニング無しでモデルをマージ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 5, 2024
SegMoEは、複数のSDモデルを、トレーニング無しでマージし新モデルを生成。
革新的な機能だが、まだ不完全で複数のスタイルに同時に適応はできるものの、マージ元のモデルほどの品質は出ず、メモリ消費・生成速度ともに増加。
続く>>#画像生成AI pic.twitter.com/0uFW02TMPE
3Dシーンが動き出す！VR-GS
【3Dシーンが動き出す！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 5, 2024
VR-GSは、3D Gaussian Splatsで生成された3Dシーンの中に入り込み、VR上で特定のオブジェクトを動かせるというもの。
石像がプルプル動くのは違和感ありますが、すごい技術。3DGSは多くの場合性的なものですが、新たな可能性に繋がりそう。
続く>> pic.twitter.com/mHCiZenldB
SVD1.1のハイクオリティ映像作品 [神滅]
【SVD1.1のハイクオリティ映像作品】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 5, 2024
[神滅] x Annihilationは、#midjourney6 と #svd #stablevideodiffusion を利用して生成され、 Premiere Proで編集された映像作品。
煙や炎、スケール感がとても良い！クオリティが一段上がっている。
CREATOR：@lepadphonepic.twitter.com/z0r6rmjaas
AIのNewsやアートワーク情報を更新中⚡
X（Twitter）ではAIの最新情報を発信中🐦
この記事が気に入ったらサポートをしてみませんか？