1枚の写真で自己紹介ビデオやリップシンクMVが作れる「hedra」というサービス

LUMA Dream Machineは、被写体だけではなく背景やカメラワークまで動画にすることが出来るのでとても画期的ですが、今日ご紹介する「hedra」というサービスは、言葉や歌に合わせて被写体の口の動きが連動し、更に表情まで変化するという優れものです。
同様のサービスは、有料のものはいくつか知っていましたが、無料のもので精度が高いのはこれが初めてでした。

詳しい作り方は、Evita Rene G Studioのページで紹介しておりますので、そちらをご覧ください。

さて、どんな風に画像と音が連動するのか、まずはコチラの自己紹介をご覧ください。

香織が流ちょうな英語で自己紹介をしていますね。
英語を話すときは、口の開き方が日本語とは違うようで、少し外国人ぽい感じになるようです。

自己紹介は、テキストを打って英語の音声を生成して、香織の静止画とシンクロさせるのですが、その際に、いくつか、声を選ぶことが出来ます。
画面の左側のところに、名前がありますが、ここでは同じテキストを使って二人の声を生成して比べてみます。

Rachelの声

上記の加藤香織の自己紹介で使用した声がこれです。

Kawaii Aerisitaの声

こちらは、かなりハイな感じでちょっと騒がしいですが、楽しい声ですね。

歌に合わせてリップシンクさせる
今回、一番すごいなと思ったのがコレで、楽曲ファイルを自分で用意して、それを写真の香織に歌わせることが出来ます。

それがこれです。

可愛い顔を維持しながら歌っている動画が生成できました。

まじめな顔より、笑顔の方がうまくできるような気がしました。

しばらくはまりそうです。

6月になって雨が多いですが、海辺の爽やかな風景でちょっと癒されて下さい（笑）。