AIアバターチャットボット

本

自分自身のアバターを作成し、ChatGPTで会話などができるAIアバターチャットボット作成プロジェクトです。いつかは自分自身をすべてAIで再現してみたい...

運営しているクリエイター: SeaGate

こはれ03 Ver 2.5

2023.08.27 以前のバージョンでは、音声認識・合成にGoogle Cloud Speech APIを使用してたんだけど、落ち着いた大人の女性の声って感じだったので、音声認識・合成周りをMicrosoft Azureの音声サービスに変更した。今度は、アバターの外見より少し幼い感じの声になってしまったけど、妹設定としてはまあまあ良い感じになったんじゃないかなw

こはれ03 Ver 2.4

2023.08.20 いつも、おじさんばかりだと何なので、アバターを差し替えて、声を女性に。 ChatGPTのキャラクター設定を変更すれば、サブカルチャーに詳しくカワイイものが大好きな、妹設定の少女型のアンドロイドのAIチャットボットのできあがり。まあ、妹設定の割には、落ち着いた声だけどねw

AIしげちゃん（スマホ版）Ver 2.4+

2023.08.20 AIしげちゃん（スマホ版）Ver 2.4 をバージョンアップしたばかりだけど、いろいろ機能を増やしたせいでUIが混乱してしまったので、少し整理した。マイクボタンを押すと音声入力待機状態になったり、アイドル時に独り言を喋ったり、ポーズを取ったりするようにしたのは、簡単にデモができるようにするため。人に見せる時、取り敢えずサクッと「AIしげちゃん」が喋ったりしてくれないと間が持たないので、独り言を言う機能を専用のボタンに割り当てて、動作・表情はアバ

AIしげちゃん（VR版）Ver 2.4

2023.08.18 スマホ版 AIしげちゃんを Ver 2.4にしたので、しばらく放置していたMeta Quest 2版も、アイドル中に独り言を喋ったり、勝手にアクションをするようバージョンアップした。 Quest 2もAndroidなので、移植自体はそんなに難しくないんだけど、入力デバイスの扱いがスマホと違うので、よくわからなくて実装できなかった。ホントは、ボタンを押すと喋ったり、表情を変えたりとかしたかったんだけど。ちょっと勉強しないとね。。。

AIしげちゃん（スマホ版）Ver 2.4

2023.08.15 生成AI(GPT-3.5/4)と音声認識・合成(Google Cloud Speech)により、VRM形式の3Dアバターと音声対話できるスマホアプリ基本機能音声による質問を認識し、生成AIの回答を音声で話す生成AIの回答等に応じて3Dアバターの表情や動作が変わる追加機能生成AIの回答を音声だけでなくテキストウインドウでも表示気象庁の気象情報APIを利用し、指定した地域の天気予報等を答える環境センサーと連携し、温湿度の値や不快

AIしげちゃんに独り言機能追加

2023.07.30 「AIしげちゃん」に話しかける前のウェイクワード（iPhoneの「Hey Siri」とか、Googleの「OK Google」みたいな音声コマンド）の代わりに、スクリーンのタイトル部分をタッチすれば、リスニング状態に切り替わるようにした。いちいち「こんにちわ～」とか呼び掛けてから話すのは面倒くさいし、ちょっと恥ずかしいので... それから、こちらを参考に、「AIしげちゃん」がアイドル状態の時、独り言を喋る機能も追加した。こちらから話し掛けない限り

AIしげちゃんをGPT-4対応にしてみた

2023.07.29 少し前からGPT-4 APIが使えるようになってたんだけど、ようやく「AIしげちゃん」で試してみた。ついでに、気象データの取得先を気象庁の天気予報JSONに変更したり、仕事部屋に設置している環境センサーの値と不快指数を答えられるようにしたり、照明だけでなく扇風機やLEDテープライト等のオン・オフも制御できるようにしたので、ますます、しげちゃんはできる子になったなあw こうやって会話を見ると、GPT-4は3.5に比べて感情が豊かな気がする。ただ、

スマホ版AIしげちゃんで照明のオン・オフ

2023.07.23 取り敢えず AIチャットボット（AIしげちゃん）の改造が終わりまして、ChatGPTのFunction callingを利用して、スマートリモコン（Nature Remo）経由で部屋の照明がオン・オフができるようになりました。今までは会話しかできませんでしたので、家の中の家電製品も操れるようになって、ちょっとだけ実用的になりましたかね。まあ、会話の部分に関してはChatGPTなので、今でも十分、GoogleアシスタントやAlexaよりは優秀です

AIしげちゃん改造中

2023.07.22 Android版AIしげちゃんを、ChatGPTのFunction callingを利用して、スマートリモコン（Nature Remo）経由で部屋の照明がオン・オフができるように改造中。

AIしげちゃん（VR版）Ver 2.0

2023.06.29 AIしげちゃん（スマホ版）Ver 2.0ができたので、お約束通り、VR版（Meta Quest 2版）もバージョンアップして、VR空間の「しげちゃん」に会いに行ってきました。前回と違って表情や身振りもあるので、大きな空間でも多少は見栄えがします。でも、まあ、結局最後は「しげちゃん」をぶん投げるんですけどねw

しげちゃんのBlendShape見直し

2023.06.25 VRM形式のアバターのBlendShape（シェイプキー）を見直し中。初めに作った時は、目・鼻・口・上顎・下顎・舌のシェイプキーを分けて作っていなかったので、表情のアニメーション時に支障が出ることがあり、分けることにした。

AIしげちゃん（スマホ版）Ver 2.0

2023.06.26 「しげちゃん」のアバターは、見ての通りw 自作なので、いろいろ設定を間違えているところもあって、騙しだまし動かしていたんだけど、BlendShapeの設定等を見直して、ようやくChatdollKitのサンプルで実装されていた機能がほぼ全て動くようになったので、Ver 2.0としてビルドした。回答内容によって顔の表情が変わったり、gpt-3.5-turbo-0613 の Function Callingによって、お天気の情報なんかも教えてくれるように

gpt-3.5-turbo-0613 Function Calling

2023.06.22 OpenAI APIがアップデートして、GPT-4、GPT-3.5の0613版がリリースされました。ユーザーの入力に応じて適切な外部の関数を呼び出すことができる仕組みで、ChatGPTが苦手なリアルタイムの情報等を、別のAPIに問い合わせた結果を元に答えさせることができるとのこと。で、ChatdollKitでも、gpt-3.5-turbo-0613 の Function Calling を利用して、外部の天気予報APIから指定した都市の天気を回

Meta Quest 2 Touchコントローラーでつかんで投げる

2023.06.05 ハンドトラッキングで物をつかんで投げるのは難しそうなので、普通にTouchコントローラーで「AIしげちゃん VR」をつかんで投げてみました。順番が後先ですがw まあ、それだけと言えばそれだけですが、いずれは、「しげちゃん」と言葉（ChatGPT）以外でのコミュニケーションできるようにしたいなあ...