記事一覧
Transformers.js によるブラウザ上で動く「日→英」音声翻訳の実装
Transformers.js の検証がてらローカルのブラウザで完結する音声翻訳を実装した。下記は実行結果であり、動画上マイク音声が入っていないが「日本語音声入力 → テキスト化 → 翻訳 → 英語音声出力」ができている ↓
Transformers.jsHugging Face 所属の @xenova 筆頭に開発が進む Transformers.js。
Python の Transforme
MotionGPT で作ったモーションを任意の 3D モデルに割り当てて動かす
MotionGPT でモーションを生成し、Blender 上で 3D モデルに適用して動かしてみた。
モーション生成概要
テキストからモーションを生成する技術。
行動を表すテキストを再現するようなモーションが得られる。
様々な手法
Motion Diffusion Model や text-to-motion 等様々な手法があり、Awesome-Video-Diffusion リポジトリに
Mac で StreamDiffusion やってみる
昨年末頃 100 fps 超えの超高速 Stable Diffusion（SD）として話題になった StreamDiffusion。
CUDA 前提のため Mac では厳しかろうと思われたが結論から言うと動かせた。
下記が実行結果で少々遅くカクツキあるが（GPU 利用で）3〜4 fps くらいで動く。
Web カメラで読み取った手の動作をリアルタイム変換している。
StreamDiffusio
LLM に「人格」を付与する研究やツールを調査した
LLM に特定の人格やキャラクターを付与する試み（以降「人格再現」と表現）についてリサーチする機会があり色々調べてたら結構まとまってきたのでメモ代わりに放出する。
そもそも人格再現して何が嬉しいの？（１） エンタメ領域への適用
最も分かりやすいところだとゲームやメタバース、デジタルなエンターテイメントへの適用が挙げられる。
ゲームに登場する NPC が独自の人格を持っていれば体験が豊かになるだ
二次元画像の口を音声に合わせてパクパクさせたい
まず結論から言うと、SadTalker を利用して音声に合わせパクパク（リップシンク）できた。
SadTalker はリップシンクのみならず、顔や表情も音声に連動できる（README の GIF 見ると分かりやすい）。
実際に使ってみた結果がコレ。織田信長がパクパクしとる！
パクパク動画の作り方手元に機械学習できる環境なくても問題なし。
リポジトリに実行環境（無料）への導線が 2 つ準備されて