見出し画像

自分で踊った動画を使ってAIアバターでダンス動画を作った

エンジニアM168

ダンス動画をAIで簡単に作ることができる時代になりましたが、自分が気に入った振り付けのダンスをAIアバターに躍らせるのは、とても大変です。
私も過去に、動画を一枚ずつフレームに分解して、Stable Diffusion web UI(AUTOMATIC１１１１版)を使ってimage to imageでダンス動画を作ったことがあります。

今回は。Vid2DensePoseを使い私が実際に踊って撮影した動画を、DensePoseファイルに変換しました。
そしてMagic Animateを使って静止画を、ダンス動画に変換しました。
こちらの動画で、簡単にご紹介しています。

こちらがTikTokに、投稿した動画です。

今回ローカル環境で、Vid2DensePoseを使いました。
１分の動画を、DensePoseに変換できました。
でもMagic Animateをローカル環境で使うことができないので、ウェブで利用できるでもページを活用して５秒に満たない動画ですが、画像生成AIを使って作ったアバターを使い、ダンス動画を作ることができました。

Google Colabを使うかローカル環境でMagic Animateを使うことができたらよいのですが、費用の都合が付かないので、止むを得ずウェブで利用できるデモページで静止画から動画に変換しました。

ローカル環境でVid2DensePoseを使うと、１分の動画を変換することができました。
でも、Magic Animateは、ウェブのデモページの場合は、５秒未満の動画のみアップロードできます。

私も早く、VRAM12GB搭載したグラフィックボードを使えるようになりたいと思っています。

Amazonの欲しいものリストの中に、VRAMが１２GB以上のノートパソコンやタワー型のパソコンを加えています。
機材の応援をして頂ける人を、探しています。
またお仕事で動画の変換、静止画からダンス動画の制作をご依頼していただけるお客様も募集しています。

こちらのブログで、今回使った学習モデルなどをご紹介しています。

2024年3月25日追記
静止画の画素数を増やすと、動画の時に顔が崩れにくくなるようです。


この記事が気に入ったらサポートをしてみませんか？