AIアバターチャットボット

本

自分自身のアバターを作成し、ChatGPTで会話などができるAIアバターチャットボット作成プロジェクトです。いつかは自分自身をすべてAIで再現してみたい...

運営しているクリエイター: SeaGate

#FunctionCalling

スマートリモコンと連携し、「AIしげちゃん」で部屋の照明などを制御する

前回に引き続き、破損前の「AIしげちゃん」に実装していた、スマートリモコン（Nature Remo）と連携し、部屋の照明や家電製品を制御するスキルを復活中。前回の環境センサーの値を取得するスキルとほとんど同じだけど、GPTのFunction CallingでNature Remo Cloud APIを叩く関数を呼び出して、赤外線リモコンの信号毎に割り振られたシグナルIDをPOST。 [CeilingLightSkill.cs]using System.Collectio

「AIしげちゃん」でNature Remoの環境センサーの値を取得

前回に引き続き、破損前の「AIしげちゃん」にあった、Nature Remoの環境センサーの値を取得して、温湿度の値を答えるスキルを復活中。ただ、センサーの値を答えるだけでは芸がないので、温湿度の値から不快指数を計算して、少し盛った会話ができるようにしているw [SensorSkill.cs]using System.Collections.Generic;using System.Threading;using UnityEngine;using Cysharp.Thr

「AIしげちゃん」の天気予報機能

Unityプロジェクトを破損してしまって、ChatdollKit v0.6.6 で再構築中の「AIしげちゃん」ですが、破損前のバージョンで GPTのFunction Callingを使って実装していた、以下の機能を復活させているところです。気象庁の気象情報APIを利用し、指定した地域の天気予報を答える環境センサーと連携し、温湿度の値や不快指数等を答えるスマートリモコンと連携し、部屋の照明や家電製品を制御するまず始めは、ChatdollKitのサンプルにもあった

AIしげちゃん（スマホ版）Ver 2.4

2023.08.15 生成AI(GPT-3.5/4)と音声認識・合成(Google Cloud Speech)により、VRM形式の3Dアバターと音声対話できるスマホアプリ基本機能音声による質問を認識し、生成AIの回答を音声で話す生成AIの回答等に応じて3Dアバターの表情や動作が変わる追加機能生成AIの回答を音声だけでなくテキストウインドウでも表示気象庁の気象情報APIを利用し、指定した地域の天気予報等を答える環境センサーと連携し、温湿度の値や不快

スマホ版AIしげちゃんで照明のオン・オフ

2023.07.23 取り敢えず AIチャットボット（AIしげちゃん）の改造が終わりまして、ChatGPTのFunction callingを利用して、スマートリモコン（Nature Remo）経由で部屋の照明がオン・オフができるようになりました。今までは会話しかできませんでしたので、家の中の家電製品も操れるようになって、ちょっとだけ実用的になりましたかね。まあ、会話の部分に関してはChatGPTなので、今でも十分、GoogleアシスタントやAlexaよりは優秀です

AIしげちゃん改造中

2023.07.22 Android版AIしげちゃんを、ChatGPTのFunction callingを利用して、スマートリモコン（Nature Remo）経由で部屋の照明がオン・オフができるように改造中。

AIしげちゃん（スマホ版）Ver 2.0

2023.06.26 「しげちゃん」のアバターは、見ての通りw 自作なので、いろいろ設定を間違えているところもあって、騙しだまし動かしていたんだけど、BlendShapeの設定等を見直して、ようやくChatdollKitのサンプルで実装されていた機能がほぼ全て動くようになったので、Ver 2.0としてビルドした。回答内容によって顔の表情が変わったり、gpt-3.5-turbo-0613 の Function Callingによって、お天気の情報なんかも教えてくれるように