けーきase

AIオタクの医学部生です。 AI関連では自然言語処理、音声処理、画像処理、マルチモーダ…

けーきase

AIオタクの医学部生です。 AI関連では自然言語処理、音声処理、画像処理、マルチモーダル 医学分野では脳の生理とか自由エネルギー理論とかに興味があります。

UnityとPythonでAIキャラと会話①

経緯WebGLでAIキャラとの会話アプリを作成したい！ WebGLの開発はUnityでやる。(3Dでなんかできたら良いよね) AIの会話はPythonで(理由は後述) 文字起こし(Speech2Text, Whisper系を使用) AIで会話文生成(Text2Text, prompted ChatGPT, finetuned rinnaを使用) AIで音声生成(Text2Speech, Finetuned VITSを使用) Unity側でPythonから受け取った

けーきase

    • WebGLでChatGPTと会話したかった記事

      やりたいことUnityでWebGLの開発 音声入力でChatGPTに話しかける。 ChatGPTの返答を音声にする。 ChatGPTの返答は遅いので、句読点で区切る。 音声入力faster-whisper の large-v2を使用 from faster_whisper import WhisperModelwhisper_model = WhisperModel("large-v2",download_root="pretrained_models",compu

      けーきase

    UnityとPythonでAIキャラと会話①

    けーきase