【AIは面白い】動画の背景音を削除して話している声だけを抽出する２【DeepFilterNet】

あけましておめでとうございます。
本年もよろしくお願いいたします。

昨年末の投稿の続きになりますが、fast-music-remover にDeepFilterNetが使われているということで、DeepFilterNetを直接使ってみました。

使用環境に DeepFilterNet を install すると、コマンドで使用できます。
deepfilter コマンドで引数にmp4の動画、mp3の音声、のパスを指定して実行すると、簡単に背景音、ノイズが除去されたクリアな音声データが作成されます。引数に渡すデータは動画データでも音声データでも作成されるのはノイズ除去された音声データです。

複数人のグループで、何かの報告をしている動画を使って試してみましたが、背景音が消えていて、ノイズも除去されています。
複数人の声は消えずに残っていました。

ノイズを除去するだけなら、DeepFilterNetを使うだけで良さそうです。
動画部分と音声部分の合成も含めるなら、fast-music-removerを使った方が楽でした。

ffmpegを使って手動で、動画画像と音声を分離して、ノイズ除去後、再度合成しても良いと思います。

---

サマークラウド株式会社の情報はこちらまで。
https://summercloud.jp