AIで画像からショート動画を作ろう

SadTalkerの紹介

SadTalkerという画像1枚から用意した音声をベースに動く動画を作成してくれるGitHubのプロジェクトを紹介していきます。今回作成するのは、次のようなショート動画を1枚の画像から作成してきます。

SadTalkerサンプル pic.twitter.com/jPi6Ti59tn

— 阿部雅之 (@7QjuW9P8SpP7PUM) April 10, 2024

SadTalkerのGitHubのプロジェクトは、こちらです。

テンセント、アントの人らが作ったGitHubプロジェクトとなります。

SadTalkerの使い方

GitHubプロジェクトのところに、Google Colabのコードがありますので、こちらを利用いたします。

Google Colaboratory

今回は、Google Colab A100で実行しました。5分強で出来上がる感じです。

今回は、上記のGoogle Colabを上から順番に実行していけば感覚的に問題なく作成されます。

コードに詳しい人なら、途中で選択画像のところで自身の好きな画像にしたり、自身で用意した音声ファイルを利用したりしてみると面白くなります。

所感は、１年前にnoteを書き始めた頃に似たようなコードを実行してみたことがありますが、だいぶ速度も速くなっており、コードも洗練されている感じがします。今後もますます洗練されていくのだと思います。