AIアバターチャットボット

本

自分自身のアバターを作成し、ChatGPTで会話などができるAIアバターチャットボット作成プロジェクトです。いつかは自分自身をすべてAIで再現してみたい...

運営しているクリエイター: SeaGate

#Android

AI〇〇部長（スマホ版）GPT-4 Turbo with Vision

新入社員研修に間に合わせるため、Windows用にやっつけで作った「AI〇〇部長」を Androidスマホ用に改造。機能追加に合わせて若干UIにも手を加えて整理しましたが、この辺りは、ChatdollKitがフレームワークとして柔軟にできているがおかげで簡単ですね。最新の「gpt-4-turbo（gpt-4-turbo-2024-04-09）」でもGPT-4 Vision APIが使用できるようになったので、モデルを「gpt-4-vision-preview」から変

AIしげちゃん2（スマホ版）Ver 1.1

ほぼ再構築が完了した「AIしげちゃん」ですが、Android用にビルドしようとするとエラーが出て、アプリが作成できなくなっていました。それで、しばらく原因を探っていたのですが、ようやくビルドできるようになり、うちのPixel 7aでも動作させることができました。もっとも、ChatdollKit v0.6.6に含まれる「ChatGPTContentSkill.cs」「ChatGPTRouter.cs」「ChatGPTServiceWebGL」を以下のように編集しただけ

AIしげちゃん 2

再構築中の「AIしげちゃん」ですが、概ね、元あった機能が復活できた。とは言え、前バージョンで追加した機能のいくつかは、既に ChatdollKit v0.6.6で実装されていたので、思ってたより早く復活できたんですが。で、改めて「AIしげちゃん 2」の機能紹介。基本機能音声による質問を認識し、ChatGPTの回答を音声で話す。 Google Cloud Speech to Text → OpenAI（ChatGPT 3.5 Turbo） → Google Cl

スマートリモコンと連携し、「AIしげちゃん」で部屋の照明などを制御する

前回に引き続き、破損前の「AIしげちゃん」に実装していた、スマートリモコン（Nature Remo）と連携し、部屋の照明や家電製品を制御するスキルを復活中。前回の環境センサーの値を取得するスキルとほとんど同じだけど、GPTのFunction CallingでNature Remo Cloud APIを叩く関数を呼び出して、赤外線リモコンの信号毎に割り振られたシグナルIDをPOST。 [CeilingLightSkill.cs]using System.Collectio

「AIしげちゃん」でNature Remoの環境センサーの値を取得

前回に引き続き、破損前の「AIしげちゃん」にあった、Nature Remoの環境センサーの値を取得して、温湿度の値を答えるスキルを復活中。ただ、センサーの値を答えるだけでは芸がないので、温湿度の値から不快指数を計算して、少し盛った会話ができるようにしているw [SensorSkill.cs]using System.Collections.Generic;using System.Threading;using UnityEngine;using Cysharp.Thr

「AIしげちゃん」の天気予報機能

Unityプロジェクトを破損してしまって、ChatdollKit v0.6.6 で再構築中の「AIしげちゃん」ですが、破損前のバージョンで GPTのFunction Callingを使って実装していた、以下の機能を復活させているところです。気象庁の気象情報APIを利用し、指定した地域の天気予報を答える環境センサーと連携し、温湿度の値や不快指数等を答えるスマートリモコンと連携し、部屋の照明や家電製品を制御するまず始めは、ChatdollKitのサンプルにもあった

「AIしげちゃん」再構築中

少し前、PCの調子が悪くなったので初期化して、バックアップしていたデータをリストアしたんだけど、最近、Unityのプロジェクトを開いてみたらいくつか破損しているのに気が付いた。バックアップデータ自体も破損していて、AIしげちゃんのソースコードが一部失われてしまった… デモ用として、思いつくままオリジナルのChatdollKitの改造を重ねていたので、当然、ドキュメントもなく。で、半ばあきらめかけていたんだけど、ChatdollKitがv0.6.6になって音声認識が速

こはれ03 Ver 2.5

2023.08.27 以前のバージョンでは、音声認識・合成にGoogle Cloud Speech APIを使用してたんだけど、落ち着いた大人の女性の声って感じだったので、音声認識・合成周りをMicrosoft Azureの音声サービスに変更した。今度は、アバターの外見より少し幼い感じの声になってしまったけど、妹設定としてはまあまあ良い感じになったんじゃないかなw

こはれ03 Ver 2.4

2023.08.20 いつも、おじさんばかりだと何なので、アバターを差し替えて、声を女性に。 ChatGPTのキャラクター設定を変更すれば、サブカルチャーに詳しくカワイイものが大好きな、妹設定の少女型のアンドロイドのAIチャットボットのできあがり。まあ、妹設定の割には、落ち着いた声だけどねw

AIしげちゃん（スマホ版）Ver 2.4+

2023.08.20 AIしげちゃん（スマホ版）Ver 2.4 をバージョンアップしたばかりだけど、いろいろ機能を増やしたせいでUIが混乱してしまったので、少し整理した。マイクボタンを押すと音声入力待機状態になったり、アイドル時に独り言を喋ったり、ポーズを取ったりするようにしたのは、簡単にデモができるようにするため。人に見せる時、取り敢えずサクッと「AIしげちゃん」が喋ったりしてくれないと間が持たないので、独り言を言う機能を専用のボタンに割り当てて、動作・表情はアバ

AIしげちゃん（スマホ版）Ver 2.4

2023.08.15 生成AI(GPT-3.5/4)と音声認識・合成(Google Cloud Speech)により、VRM形式の3Dアバターと音声対話できるスマホアプリ基本機能音声による質問を認識し、生成AIの回答を音声で話す生成AIの回答等に応じて3Dアバターの表情や動作が変わる追加機能生成AIの回答を音声だけでなくテキストウインドウでも表示気象庁の気象情報APIを利用し、指定した地域の天気予報等を答える環境センサーと連携し、温湿度の値や不快

スマホ版AIしげちゃんで照明のオン・オフ

2023.07.23 取り敢えず AIチャットボット（AIしげちゃん）の改造が終わりまして、ChatGPTのFunction callingを利用して、スマートリモコン（Nature Remo）経由で部屋の照明がオン・オフができるようになりました。今までは会話しかできませんでしたので、家の中の家電製品も操れるようになって、ちょっとだけ実用的になりましたかね。まあ、会話の部分に関してはChatGPTなので、今でも十分、GoogleアシスタントやAlexaよりは優秀です

AIしげちゃん改造中

2023.07.22 Android版AIしげちゃんを、ChatGPTのFunction callingを利用して、スマートリモコン（Nature Remo）経由で部屋の照明がオン・オフができるように改造中。

gpt-3.5-turbo-0613 Function Calling

2023.06.22 OpenAI APIがアップデートして、GPT-4、GPT-3.5の0613版がリリースされました。ユーザーの入力に応じて適切な外部の関数を呼び出すことができる仕組みで、ChatGPTが苦手なリアルタイムの情報等を、別のAPIに問い合わせた結果を元に答えさせることができるとのこと。で、ChatdollKitでも、gpt-3.5-turbo-0613 の Function Calling を利用して、外部の天気予報APIから指定した都市の天気を回