見出し画像

【ElevenLabs】「動画から効果音」を生成できるAIツールが無料公開！

AI-Bridge Lab こば

👋こんにちは！AI-Bridge Labのこばです！

6月はKlingを皮切りにLumaAIのDream MachineやRunway Gen-3など動画生成AIのリリースラッシュでSNSが大盛り上がりしていますね！
今後は広告にも生成された動画が使われるようになっていくことが予想されますし、ますます動画生成AIのニーズが高まってきそうです。

さて、今回の記事ではそんな動画クリエイターの方必見の「動画から効果音(SE)を生成することができる」ElevenLabsのアプリについて以下の3点を分かりやすく解説します！

  • アプリの概要

  • 使い方

  • 使い方のポイント


1.アプリの概要

今回のアプリは、ElevenLabsが発表した「テキストから効果音を生成する（text to sound effects）」機能のAPIをオンラインでデモするために作られた、無料のオープンソースアプリです。

このデモは、ElevenLabsの強力な効果音生成能力を示すために作られたものであり、アプリ自体はおまけとされています。
しかし、実際に触れてみるとめちゃくちゃ使いやすい上に、生成される効果音も高品質で、ツールとしてのクオリティが高かったです。

動画生成を行っている方には、Lumaなどのツールと併用することをおすすめします。ぜひ一度試してみてください！

↑こちらの動画のように要素を分析し、それぞれの効果音を作成できています。（滝、ギター、激しい演奏という感じでしょうか）

↑ElevenLabsの公式デモ映像。談笑するガヤの音まで作ってくれています。何度も色々な音を作ってくれるので複数DLしてトラック毎に合成するのもありかもしれません。

効果音生成の仕組み

このアプリはオープンソースのプロジェクトのため、仕組みとソースコードが公開されています。READMEによると以下のようなプロセスで効果音を生成しているようです。

  1. 動画から1秒間隔で4フレームを抽出（全てクライアント側で処理）

  2. フレームとプロンプトをGPT-4oに送信し、カスタムのテキストから音響効果を作成するプロンプトを生成

  3. 生成されたプロンプトを使用して、ElevenLabsのText to Sound Effects APIで音響効果を作成

  4. ffmpeg.wasmを使って、動画と音声をクライアント側で結合し、ダウンロード可能な1つのファイルを生成

静止画を複数枚ChatGPTのAPIに渡してプロンプト化し、そのテキストを元にElevenLabsから生成し、動画に結合。
ここまでのことを無料で何度でもやってくれるというのは、ちょっと親切すぎますね🥹 明言はされていないですが、プロモーション期間限定なのかもしれません。

仕組みの通り、動画全体を通してChatGPTが妥当な効果音プロンプトを作るようなので複数のカットに適した効果音を生成したい場合は、カット毎に生成する必要があります。

2.使い方

アプリページにアクセス

特に登録などは不要で、画面中央のエリアをクリックするか、そのまま動画ファイルをドロップします。

動画がドロップして数秒～数十秒待つと効果音が生成されます。
4種類のトラックが生成されますので、気に入ったものがあれば→のダウンロードボタンを押して動画と合成された状態でダウンロードできます。

動画と合成した状態でダウンロードするので少し時間がかかります。

違う動画を入力するかやり直す場合は、一度画面を更新すればリセットされた状態になります。

3.使い方のポイント

入力方法は動画のみのため、カットは単一で最初のフレームの要素にフォーカスした内容にすると成功しやすいです。

4.まとめ

この記事では、ElevenLabsが提供する「動画から効果音(SE)を生成する」無料アプリについて詳しく解説しました。このアプリは、動画生成AIが盛り上がりを見せる中、動画クリエイターにとって必見のツールです。

こちらのツールで効果音生成のコツを掴んだら、本格的にElevenLabsのText to SoundEffectにチャレンジしてみてはいかがでしょうか。

Google Deepmindが発表したvideo-to-audio (V2A)もあり、動画生成AI自体もサポートツールも充実しつつあります。AI動画の今後の展開がとても楽しみですね！

5.AIBridge Labについて

私たちAIBridge Labでは、企業や個人のAI活用を支援し、企業のDX実現をサポートしています。AIを活用したソリューションにご興味があればお気軽にメールやXのDMでご連絡ください！
ai_business@doerstokyo.jp

最後まで読んで頂きありがとうございました！
気に入って頂けましたら「スキ」や「フォロー」をしていただけると幸いです！ 😄
Xアカウントのフォローもぜひお願いします！

皆さまの温かいサポートのおかげで、活動を続けることができています。もしよろしければ、引き続き支援をお願いできますと幸いです。より質の高い記事投稿に励みます！