【生成AIニュース】『EchoMimic』『Anole』他

まいどです。
本日の生成AIニュース。

■EchoMimic

音声と画像でキャラクター動画を生成するAIです。
Ant Groupのオーディオ中心の仮想人間合成プロジェクト。
画像と音声をインプットすると、話し声や歌唱音声に基づいて動画を生成するそうです。
リンク先の動画を見ると分かりますが、リップシンク等がとても自然で、実際に体感するのが楽しそうです。
YouTube配信等でも、とても活躍してくれそうです。

EchoMimic: Lifelike Audio-Driven Portrait Animations

■Anole

テキストと画像のインターリーブ生成を実現した初のマルチモーダルLLMだとの事。

Anole: Open Autoregressive Multimodal Models for Image-Text Generation (without Diffusion)

■whisper-word-timestamps

単語レベルでタイムスタンプを取得できるAIが登場しました。

Whisper Timestamped - a Hugging Face Space by Xenova

■SemiKong

Aitomatic は、半導体業界向けに特別に設計された世界初のオープンソース AI 大規模言語モデル (LLM) である SemiKong を発表しました

Aitomatic’s SemiKong uses AI to reshape chipmaking processes

■MInference (milliontokens inference)

大規模な再トレーニングを行わずに、遅延を短縮する技術を開発との事。
今後の生成AI開発に、大きな変化をもたらすかもしれません。

MInference (Milliontokens Inference): A Training-Free Efficient Method for the Pre-Filling Stage of Long-Context LLMs Based on Dynamic Sparse AttentionMInference (Milliontokens Inference): A Training-Free Efficient Method for the Pre-Filling Stage of Long-Context LLMs Based on Dynamic Sparse Attention

では、本日は以上になります。
それでは、また。