
自動で動画にあった効果音を生成する「FoleyCrafter」を試してみる
FoleyCrafterとは
また便利そうなAIツールを見つけてしまいました…!
FoleyCrafterは、動画のための高品質な効果音をテキストプロンプトから生成するフレームワークで、事前に学習されたテキストからオーディオモデルを使用しセマンティックアダプターで音を映像に適合させ正確な同期を行ってくれるとのこと。
もろもろいっぺんに勝手に動画の効果音を作ってくれるなんて超便利です。
早速試してみたいと思います!
🌐プロジェクトページ類
早速試してみる

音無しの動画をつくるにうってつけなEasyAnimateでサクッとお風呂で遊ぶペンギンの動画を作ってみました。

で、早速FoleyCrafterで音を生成してみます。

できあがったのがこれ!
効果音自動生成のFoleyCrafterをお試し中。
— SUTO💡 (@st_e_ai) July 4, 2024
それっぽい音が自動でつく便利さ良き。 pic.twitter.com/detNu11mU7
他にも試してみる
次は「雪道を歩く犬の行列」を作ってみたいと思います。
まずはEasyAnimateで動画を生成。

それをそのままFoleyCrafterに持っていく。プロンプトもそのままコピペ。

で、出来上がり。2〜3分で作れちゃいます。
こちらは「雪道を歩く犬の行列」の効果音。 pic.twitter.com/5ruxb3BRCz
— SUTO💡 (@st_e_ai) July 4, 2024
まとめ
これはもう、プロンプトから一元化されたBGMや効果音、ナレーション付き動画生成ができるのも時間の問題ですね。
動画生成のハードルがだいぶ狭まってきました。
だれもが想像している映像を簡単に一言で作れてしまう世の中に突入です。
いま丁度Luma Dream Machineなどで高画質な動画を作るのが流行ってますが、MVやCMなども一瞬で高品質動画ができちゃう世界がもう目の前に迫ってきているのを感じます。
こういうものがオープンソースであるくらいだから、無料の波に乗ってクリエイターの民主化は一気にくるでしょうね。
いやー未来が楽しみです。今日はここまで〜!