静止画と音声から生命を吹き込む、アリババEMOの技術革新

SORA話題の余韻の中、最近、アリババが開発した「EMO」という革命的な技術が注目を集めています。たった一枚の写真と音声ファイルがあれば、誰でも自分が話したり歌ったりする動画を生成できるようになりました。この技術は、表情の豊かさと自然な動きを特徴としており、音声の長さに応じたビデオを素早く作成できます。EMOの主な特徴と機能を見てみましょう。

音声駆動の人物ビデオ生成

• 概要: EMOは、一枚の参照画像と音声入力を用いて、表情の変化と頭部の動きを伴う人物ビデオを生成します。

• メカニズム: 音声ファイルと静止画から、話すまたは歌う動画を作り出し、ビデオ内の人物の表情や頭部の動きは、提供された参照画像に基づいています。

• まず、話題の動画見てみましょう

Alibaba presents EMO: Emote Portrait Alive

Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions

tackle the challenge of enhancing the realism and expressiveness in talking head video generation by focusing on the dynamic and nuanced… pic.twitter.com/pGw7389Saq

— AK (@_akhaliq) February 28, 2024

This is mind blowing.

This AI can make single image sing, talk, and rap from any audio file expressively! 🤯

Introducing EMO: Emote Portrait Alive by Alibaba.

10 wild examples: 🧵👇

1. AI Lady from Sora singing Dua Lipa pic.twitter.com/CWFJF9vy1M

— Min Choi (@minchoi) February 28, 2024

他の例はこちらの公式ページにてご参照

EMO

表情豊かな動的レンダリング

• 特徴: EMOは、ビデオ中の自然で表情豊かな顔の動きを作成し、音声の感情の微妙な違いを捉えて反映させます。

多様な頭部姿勢のサポート

• 動的性とリアリズム: 音声に基づいて多様な頭部姿勢の変化を生成し、ビデオのダイナミズムと真実性を高めます。

複数の言語とポートレートスタイルのサポート

• 汎用性: 特定の言語や音楽スタイルに限定されず、多様な言語の音声入力と様々な肖像スタイルをサポートします。

高速リズム同期

• 同期性: 高速な歌詞や話し言葉の音声に対応し、虚拟人物の動きが音声のリズムと同期します。

クロスアクター表現変換

• 多様性と応用性: 異なる演者間での表現変換を可能にし、キャラクター描写の多様性と応用シナリオを広げます。

参考資料

論文：https://arxiv.org/html/2402.17485v

結論

EMOは、単なる動画生成ツールを超え、個人やクリエイターが表現の新しい形を探求できるプラットフォームを提供します。この技術により、創造的な可能性が大幅に広がり、パーソナライズされたコンテンツの作成がこれまでになく簡単になります。革新的な「EMO」は、デジタルコミュニケーションの未来において重要な役割を果たすことでしょう。