アバター動画生成AI「Hedra Character-1」（ヘドラキャラクターワン）のリップシンクが優秀＜画像が喋る＞

お疲れ様です。
ゆーまです。

「Hedra（ヘドラ）」という動画生成AIのリップシンクが優秀なので紹介します。

リップシンク（Lip Sync）とは、音声や音楽に合わせてキャラクターや人物の口の動きをシンクロさせる技術のことを指します。
これは、動画やアニメーションの制作において、キャラクターが実際に話しているように見せるための重要な技術です。

まずはこちらをご覧ください。

すべて1枚の画像から出来上がっている動画です。

Hedra Character-1とは

Hedra Character-1は、テキストや画像を入力するだけで自動的に動画を生成してくれるAIです。
複雑な編集作業を必要とせず、画像と喋らせたいスクリプトをインプットするだけで簡単にプロフェッショナルな動画を作成できます。

なお、特撮映画『ゴジラ対ヘドラ』などに登場する公害怪獣「ヘドラ（Hedorah）」とは何のつながりもないと思います。

ゴジラ対ヘドラ

Hedra Character-1の特徴

ヘドラの特徴は以下。

• 画像1枚から簡単な操作で動画生成が可能
  画像とテキストをアップロードするだけで、AIが自動的に動画を生成します。ユーザーは動画編集のスキルがなくても簡単に動画を作成できます。

• 機能が豊富
  動画の元となるテンプレート画像はもちろん、ヘドラ内で1から画像生成することも可能です。声（読み上げ音声）についてもいくつか用意されています。

• リップシンクが自然
  これまでの多くの生成サービスでは口だけが動くなど違和感のあるものが多かったですが、ヘドラでは口だけではなく、表情、首、肩まわりなども自然に動くため違和感の少ない動画生成が可能です。
  品質という点では申し分ないです。

Hedra Character-1の使い方

「Hedra（ヘドラ）」へアクセスし、Googleアカウントでアカウント作成します。

サインインできると以下の画面になります。

使い方は簡単で、以下の順番に入力、設定すればOK

1. 喋らせたいセリフを左上に入力

2. 声を左下のプルダウンから選択

3. 喋らせたい人物の画像をアップロード（またはプロンプトで画像を生成）

4. 右下にある「Generate video」ボタンをクリック

5. 数分待つと右側の枠に動画が完成

実際にやってみます。

上記手順で3パターン作りました。

1. 日本語で喋る

2. 英語

3. 犬

以下の動画が完成したものです。

Hedra Character-1のポイント

実際に使ってみてわかったことをまとめます。

• 日本語は精度が低い
  動画を見てもらえらばわかりますが日本語の精度は低いです。
  とくに漢字の部分が弱いように感じました。

• アップロードする動画は真正面が理想
  リップシンクの精度をあげるのであれば真正面を向いている人の画像がベターです。

• リアル人間以外も喋らせることができる
  動画ではイラストや犬もやってみましたが、成立しました。
  さすがに犬は不自然ですが、AIが口を含む顔さえ認識できれば喋ります。

ヘドラはまだベータ版。
これからの発展がとても楽しみです。