自動で動画にあった効果音を生成する「FoleyCrafter」を試してみる

FoleyCrafterとは

また便利そうなAIツールを見つけてしまいました…！
FoleyCrafterは、動画のための高品質な効果音をテキストプロンプトから生成するフレームワークで、事前に学習されたテキストからオーディオモデルを使用しセマンティックアダプターで音を映像に適合させ正確な同期を行ってくれるとのこと。

もろもろいっぺんに勝手に動画の効果音を作ってくれるなんて超便利です。
早速試してみたいと思います！

🌐プロジェクトページ類

FoleyCrafter

FoleyCrafter: Bring Silent Videos to Life with Lifelike and Synchronized Sounds

FoleyCrafter - a Hugging Face Space by ymzhang319

早速試してみる

さて動画をあげるかな

音無しの動画をつくるにうってつけなEasyAnimateでサクッとお風呂で遊ぶペンギンの動画を作ってみました。

バスタブで泳ぐ 2 匹のかわいいペンギン

で、早速FoleyCrafterで音を生成してみます。

"水が入ったお風呂で遊ぶペンギン"の音を頼む

できあがったのがこれ！

効果音自動生成のFoleyCrafterをお試し中。
それっぽい音が自動でつく便利さ良き。 pic.twitter.com/detNu11mU7

— SUTO💡 (@st_e_ai) July 4, 2024

他にも試してみる

次は「雪道を歩く犬の行列」を作ってみたいと思います。
まずはEasyAnimateで動画を生成。

EasyAnimateの画面

それをそのままFoleyCrafterに持っていく。プロンプトもそのままコピペ。

FoleyCrafterの画面

で、出来上がり。２〜３分で作れちゃいます。

こちらは「雪道を歩く犬の行列」の効果音。 pic.twitter.com/5ruxb3BRCz

— SUTO💡 (@st_e_ai) July 4, 2024

まとめ

これはもう、プロンプトから一元化されたBGMや効果音、ナレーション付き動画生成ができるのも時間の問題ですね。
動画生成のハードルがだいぶ狭まってきました。
だれもが想像している映像を簡単に一言で作れてしまう世の中に突入です。
いま丁度Luma Dream Machineなどで高画質な動画を作るのが流行ってますが、MVやCMなども一瞬で高品質動画ができちゃう世界がもう目の前に迫ってきているのを感じます。

こういうものがオープンソースであるくらいだから、無料の波に乗ってクリエイターの民主化は一気にくるでしょうね。
いやー未来が楽しみです。今日はここまで〜！