MagicAnimateで自分の動画を使ってモナリザを踊らせよう

概要

モナリザを踊らせてみたので、シェアします。そのうち作者がシェアするらしいけど、待ちきれない人のために記事を書きます。

ソースはこちらに置きました
https://github.com/peisuke/MagicAnimateHandson/tree/main

やり方

データの準備

まずは踊った動画を取りましょう。スマホで適当に撮影して、Google Driveにアップロード！

DensePoseで姿勢推定

ここのソースコードをコピーして使うと良い。ちなみに、DumpActionをimportするとavが足りないと言われる。インストールしてあるのに。怒られてから、もっかいpip installすると動くみたい。直し方わからんけど、まぁいいや。

MagicAnimateで動画の作成

上で作成した動画と画像を使って、動画を作成してみよう。configs/prompts/animation.yamlに、入力データを指定するところがあるので、先程の動画のファイル名と好きなキャラの画像ファイル名を入れて実行する。samplesだったかどっかのディレクトリに出力される。

おわりに

Detectron2が中々に大変だった！