これすごい！英会話の勉強にもってこい。複数のキャラクターがとても自然に話しかけてくれる

これがあれば、Skypeレッスンとかに課金しなくてもいいですね。1日10分これで会話すればかなり上達しそう。

Voice-to-Voice Demo • Hume AI

筆者はAirbnbホストをやっているのですが、英語圏の海外に居住した経験はなく、拙い英語でホストをやっております。ので、これはかなり強い味方になりそうです。

Hume の EVI は、共感大言語モデル (eLLM) を活用した API であり、声の調子や単語の強調などを理解してエミュレートし、人間と AI の対話を最適化します。

フェイスto フェイスで会話できる

話相手のAIはライブチャットさながらで顔をみながら会話する事ができます。リアルすぎて本当に画面の向こうに人がいるのかと思いました。

AI を使用して感情の全領域をマッピング

従来の理論では 6 つの個別の感情が想定されていましたが、感情的な行動は高次元の連続空間によってよりよく説明できることがわかったそうです。

表現行動の高次元マップ

顔の表情の感情的な意味を判断するために、米国、中国、エチオピア、インド、南アフリカ、ベネズエラの 6 か国から 13,000 人以上がHumeの研究に参加しました。

Hume は、既存のデータベース、以前の研究、および広範な Web 検索から取得した 4,659 枚の顔の表情の画像から開始しました。5,833 人の参加者からなる最初のグループに、顔の表情を見て、その表情がどのような感情を伝えたと思うかを教えてもらうという実験をしました。

参加者にウェブカメラを使用して、見た表情を真似ている自分の写真を撮ってもらいました。これにより、参加者によって形成された 423,193 個の表情が、その表情が伝えていると感じた自己申告の感情でタグ付けされた、他に類を見ないほど大規模で多様な表情のセットにつながりました。これにより、感情を伝える根本的な顔の動きについてさらに理解できるようになりました。模倣手順により、これらの交絡的な影響から表現の評価を切り離すことが初めて可能になりました。

これは、模倣された画像内の個人のアイデンティティと人口統計が、模倣している根底にある表現に比べて実験的にランダム化されていたためです。

AIをトレーニングして表情を理解する

モデルは、文化を超えて共有される 28 種類の表情を区別できることがわかりました。 21 種類の顔の表情は 5 つの文化すべてで同じ主な意味を持ち、残りの 7 種類は 2 つ以上の文化でも同じ主な意味を持っていました。さまざまな表情に関連付けられた人々の感情や精神状態は、文化を超えて 63% 保存されていました 。
5 か国すべてで同じ 21 の感情概念 (または概念の組み合わせ) またはその最も直接的な翻訳を使用して表現された、同じ主要な意味を持つ 21 種類の異なる表情は、「怒り」、「退屈」、「平静」でした。 「集中」、「熟考・疑惑」、「混乱」、「失望」、「嫌悪」、「苦痛」、「恐怖」、「興味」、「喜び」、「愛・恋愛」、「痛み」、「悲しみ」 、「満足・満足」、「性欲」、「驚き（ネガティブ）」、「驚き（ポジティブ）」、「疲労」、「勝利」。