けーきase

AIオタクの医学部生です。 AI関連では自然言語処理、音声処理、画像処理、マルチモーダ…

けーきase

AIオタクの医学部生です。 AI関連では自然言語処理、音声処理、画像処理、マルチモーダル 医学分野では脳の生理とか自由エネルギー理論とかに興味があります。

記事一覧

UnityとPythonでAIキャラと会話①

経緯WebGLでAIキャラとの会話アプリを作成したい! WebGLの開発はUnityでやる。(3Dでなんかできたら良いよね) AIの会話はPythonで(理由は後述) 文字起こし(Speech2Text,…

けーきase
1年前
3

WebGLでChatGPTと会話したかった記事

やりたいことUnityでWebGLの開発 音声入力でChatGPTに話しかける。 ChatGPTの返答を音声にする。 ChatGPTの返答は遅いので、句読点で区切る。 音声入力faster-whisper …

けーきase
1年前
1
UnityとPythonでAIキャラと会話①

UnityとPythonでAIキャラと会話①

経緯WebGLでAIキャラとの会話アプリを作成したい!

WebGLの開発はUnityでやる。(3Dでなんかできたら良いよね)

AIの会話はPythonで(理由は後述)

文字起こし(Speech2Text, Whisper系を使用)

AIで会話文生成(Text2Text, prompted ChatGPT, finetuned rinnaを使用)

AIで音声生成(Text2Speech,

もっとみる
WebGLでChatGPTと会話したかった記事

WebGLでChatGPTと会話したかった記事

やりたいことUnityでWebGLの開発

音声入力でChatGPTに話しかける。

ChatGPTの返答を音声にする。

ChatGPTの返答は遅いので、句読点で区切る。

音声入力faster-whisper の large-v2を使用

from faster_whisper import WhisperModelwhisper_model = WhisperModel("large-v2"

もっとみる