見出し画像

自動で動画にあった効果音を生成する「FoleyCrafter」を試してみる

SUTO

FoleyCrafterとは

また便利そうなAIツールを見つけてしまいました…！
FoleyCrafterは、動画のための高品質な効果音をテキストプロンプトから生成するフレームワークで、事前に学習されたテキストからオーディオモデルを使用しセマンティックアダプターで音を映像に適合させ正確な同期を行ってくれるとのこと。

もろもろいっぺんに勝手に動画の効果音を作ってくれるなんて超便利です。
早速試してみたいと思います！


🌐プロジェクトページ類

早速試してみる

さて動画をあげるかな

音無しの動画をつくるにうってつけなEasyAnimateでサクッとお風呂で遊ぶペンギンの動画を作ってみました。

バスタブで泳ぐ 2 匹のかわいいペンギン

で、早速FoleyCrafterで音を生成してみます。

"水が入ったお風呂で遊ぶペンギン"の音を頼む

できあがったのがこれ！

他にも試してみる

次は「雪道を歩く犬の行列」を作ってみたいと思います。
まずはEasyAnimateで動画を生成。

EasyAnimateの画面

それをそのままFoleyCrafterに持っていく。プロンプトもそのままコピペ。

FoleyCrafterの画面

で、出来上がり。２〜３分で作れちゃいます。

まとめ

これはもう、プロンプトから一元化されたBGMや効果音、ナレーション付き動画生成ができるのも時間の問題ですね。
動画生成のハードルがだいぶ狭まってきました。
だれもが想像している映像を簡単に一言で作れてしまう世の中に突入です。
いま丁度Luma Dream Machineなどで高画質な動画を作るのが流行ってますが、MVやCMなども一瞬で高品質動画ができちゃう世界がもう目の前に迫ってきているのを感じます。

こういうものがオープンソースであるくらいだから、無料の波に乗ってクリエイターの民主化は一気にくるでしょうね。
いやー未来が楽しみです。今日はここまで〜！


いいなと思ったら応援しよう！