見出し画像

Duolando: 音楽と人間の動きに同期したダンスパートナーの動きを自動生成するAIモデル

葉加瀬あい🎈【動画 × Note】でAI技術解説🔥あいラボの詳細はプロフィール欄まで🎈__ᗢᘏᓗ

はじめに

どうも皆さん！料理は見た目より味重視のタイプの女、葉加瀬あいです！

今回は、Duolandoという音楽とリーダーの動きに同期したダンスパートナーの動きを自動生成するAIモデルについて詳しく見ていきましょう！

なお、私の記事を読む上での注意事項などをこちらで説明しておりますので、以下のプロフィール記事をご一読いただいた上で閲覧するようお願いいたします。

それでは、早速続きを解説していきたいと思います！


Duolandoとは

Duolandoは、GPT（Generative Pre-trained Transformer）ベースのモデルで、リードダンサーの動きと音楽リズムに同期したダンスパートナー（フォロワー）の反応する動きを自動的に予測・生成します。

このモデルは、S-Lab、NTUsg（Nanyang Technological University, Singapore）、Lexica、SenseTime、Shanghai AI Laboratoryの共同開発によるものです。

Duolandoの仕組み

Duolandoは、音楽、リーダーの動き、フォロワーの動きの協調情報を条件として、その後のトークン化された動きを自己回帰的に予測します。

さらに、オフポリシー強化学習戦略を用いて、未知の条件（音楽とリーダーの動き）に対しても安定した結果を生成できるようにモデルを強化しています。

ここで、自己回帰とは、過去の出力を入力として次の出力を予測する手法のことを指します。

また、オフポリシー強化学習とは、別のポリシー（行動選択戦略）で収集されたデータを用いて学習する手法のことを指します。

Duolandoの応用例

Duolandoを使えば、以下のようなことが可能になります。

  • 音楽に合わせて3D CGモデルが踊る

  • リードダンサーとフォロワーダンサーの3Dの動きを自動的に予測・生成する

  • ソロの男性ダンサーに仮想のダンスパートナーを追加したARデモを実現する

さらに、Duolandoを3D CGやAnimateDiffなどのAI技術と組み合わせることで、リアルなライブよりももっと臨場感のあるリアルなメタバースライブができる可能性があります！

例えば、このような感じでAIを使って全く別のテイストのリアルなキャラクターを作成することもできますので、すごく夢が広がりますよね！


Duolandoの特徴

Duolandoの開発には、大規模で多様なデュエットインタラクティブダンスのデータセットDD100が構築されました。

これは、約117分のプロダンサーのパフォーマンスを録画したものです。

既存のソロやグループダンス生成タスクとは異なり、デュエットダンスシナリオでは、2人の参加者間の相互作用の度合いが高まり、ポーズとポジションの両方で繊細な調整が必要となります。

また、Duolandoでは、人間が定義したデータに導かれながら、分布外のサンプリングから実行可能な軌道を探索することを可能にするオフポリシー強化学習戦略が考案されています。

これによってとてもリアルなダンスおつり出しているということですね！

以上が、Duolandoについての概要です。

Duolandoに関する詳細な情報は、以下のリンクからご確認ください。

プロジェクトページ: https://lisiyao21.github.io/projects/Duolando/


論文: https://arxiv.org/abs/2403.18811


コード: https://github.com/lisiyao21/Duolando

Duolandoの登場により、ダンスの世界がどのように変化していくのか、とても楽しみですね！

🎈おわりに

いかがだったでしょうか。以上で本稿の解説を終了します。
今後も生成AIに関する記事を投稿していく予定ですので、フォロー・いいね をいただけると非常に励みになります。

また、私のプロフィール記事に関しても是非一読ください。

また、私はこういった生成AI技術の解説以外にも、保護猫活動なども行っておりますので、日々の応援なども含め、少額でも下記のリンクからご支援いただけますと幸いです。

ここまでご覧いただきありがとうございました！充実した生成AIライフをお楽しみください！

🙌ご覧いただきありがとうございました！

この記事が参加している募集

AIとやってみた

24,457件

この記事が気に入ったらサポートをしてみませんか？