Google DeepMindの新技術 / Video-to-Audio (V2A)

Google DeepMindで開発中の技術が凄すぎます。
Video-to-Audio (V2A) は無音クリップに音を追加し、シーンの音響にマッチさせたり、画面上のアクションを伴ったりすることができるらしい。

We're sharing progress on our video-to-audio (V2A) generative technology. 🎥

It can add sound to silent clips that match the acoustics of the scene, accompany on-screen action, and more.

Here are 4 examples - turn your sound on. 🧵🔊 https://t.co/VHpJ2cBr24 pic.twitter.com/S5m159Ye62

— Google DeepMind (@GoogleDeepMind) June 17, 2024

Generating audio for video

★Video-to-Audio (V2A) のサンプル

✍️ Prompt for audio: “Wolf howling at the moon.” pic.twitter.com/chH1rmPw90

— Google DeepMind (@GoogleDeepMind) June 17, 2024

✍️ Prompt for audio: “A slow mellow harmonica plays as the sun goes down on the prairie.” pic.twitter.com/48wMRGzLBh

— Google DeepMind (@GoogleDeepMind) June 17, 2024

✍️ Prompt for audio: “A drummer on a stage at a concert surrounded by flashing lights and a cheering crowd.” pic.twitter.com/z0N8sbbsEU

— Google DeepMind (@GoogleDeepMind) June 17, 2024

映像づくりの概念が根本から変わってしまいますね。

video-to-audio (#V2A) は無音クリップに音を追加しシーンの音響にマッチさせたり、画面上のアクションを伴ったりすることができらしい。凄い技術。@GoogleDeepMind #GoogleDeepMindhttps://t.co/N51r0crSMf https://t.co/Vt4blaqfWQ

— GAUCHO (@slowbreath) June 18, 2024