AIアバターチャットボット

本

自分自身のアバターを作成し、ChatGPTで会話などができるAIアバターチャットボット作成プロジェクトです。いつかは自分自身をすべてAIで再現してみたい...

運営しているクリエイター: SeaGate

#アバター

AI ミャクミャク（二次創作）

OpenAIから新モデル「GPT-4o mini」がリリースされたので、ChatdollKitベースのAIアバターチャットボットも「GPT-4o mini」に切り替えました。軽量・安価なので、このようなデモアプリには最適ですね！今回は、いつもの「AIしげちゃん」ではなく、以前、Blenderで作成した大阪・関西万博の公式キャラクター「ミャクミャク」（の二次創作物）で、「AIミャクミャク」に仕立ててみました。まあ、顔（？）が大きすぎて、手を動かすと、アチコチ貫通してしま

暑くなってきたので、「AIしげちゃん」が扇風機の電源をON/OFFできるようにした

同じネタをずっと引きずってますが、暑くなってきたので、「AIしげちゃん」から扇風機の電源をON/OFFできるようにしました。水冷のゲーミングPCを置いて、生成AIやらCGやらでブン回しているのに、僕の仕事部屋にはエアコンがないんです💦 あまりエアコンが好きではないので、自宅では未だエアコンをつけずに過ごしているエコ人間ですが、年々、夏の暑さがひどくなってきて、そろそろ人間もPCもヤバいよなあ... コードは以下のような感じ。ChatGPT の Function Cal

「AIしげちゃん」の目が見えるようになった

ChatdollKit が v0.7.4 にアップデートし、GPT-4o のビジョン機能等によってカメラ映像や画像ファイルの認識・分析ができるようにななりました。それで、スマホ版「AIしげちゃん」も ChatdollKit v0.7.4 ベースに乗せ換えて、UIまわりをカスタマイズ。スマートフォンのカメラで「AIしげちゃん」に映像を見せて、その内容をもとにテキストや音声で会話をすることができるようになりました。これで、「AIしげちゃん」も目が見えるようになりました

AI〇〇部長（スマホ版）GPT-4 Turbo with Vision

新入社員研修に間に合わせるため、Windows用にやっつけで作った「AI〇〇部長」を Androidスマホ用に改造。機能追加に合わせて若干UIにも手を加えて整理しましたが、この辺りは、ChatdollKitがフレームワークとして柔軟にできているがおかげで簡単ですね。最新の「gpt-4-turbo（gpt-4-turbo-2024-04-09）」でもGPT-4 Vision APIが使用できるようになったので、モデルを「gpt-4-vision-preview」から変

AI〇〇部長に新入社員研修で部門紹介をしてもらった

僕に代わって、AI〇〇部長に新入社員研修で部門紹介をしてもらった。機材トラブルで音声が出なかったけど、テロップを表示するようにしておいて良かった。新入社員からの質問にもいい感じで答えてくれる、頼れる部長さんw 動画はTeamsの画面共有の録画なのでガクガクしてるけど。

AI〇〇部長（新入社員研修用）

新入社員研修での部署紹介をAIにやってもらったらどうかと思って、「AIしげちゃん」をWindows用にビルドし直して、「AI〇〇部長」にプチ改造してみた。ちょうど、ChatdollKit がアップデートしていたので、「AI〇〇部長」も最新版の v0.7.2 ベースに乗せ換え。 ChatdollKit v0.7.2 が GPT-4 Vision API に対応したので、PC内の画像ファイルを選択するダイアログなどを追加し、選択した画像の解析結果を喋るようにしてみた。こ

AIしげちゃんでAnthropic Claude API のテスト

ChatdollKitが v0.7.0/0.7.1 にバージョンアップして、ChatGPT/Azure OpenAI Service、Anthropic Claude、Google Gemini Pro等のマルチLLMに対応しました。（作者のうえぞう様、ありがとうございます！）それで早速、Anthropic ClaudeのAPIキーを取得して、AIしげちゃんのLLMを GPT-3.5 Turbo から Claude-2.1に変更して試してみました。 Claude API

AIしげちゃん（MR版）テスト

先日、スマホ版「AIしげちゃん2」の再構築が完了しましたが、VRヘッドセットをQuest 3に買い替えたので、折角なので、スマホ版と同様、Unityプロジェクトが破損してしまったVR版も再構築することにしました。 Quest 3用ということで、カラーパススルー機能で、自分の部屋に「しげちゃん」を呼び出してみたいので、取り合えずサンプル通りにビルドして、作成したアプリが下の動画。VR版でなくMR版「AIしげちゃん」ですねw 以下のサイトを参考に、スマホ（Andoroid）版

AIしげちゃん2（スマホ版）Ver 1.1

ほぼ再構築が完了した「AIしげちゃん」ですが、Android用にビルドしようとするとエラーが出て、アプリが作成できなくなっていました。それで、しばらく原因を探っていたのですが、ようやくビルドできるようになり、うちのPixel 7aでも動作させることができました。もっとも、ChatdollKit v0.6.6に含まれる「ChatGPTContentSkill.cs」「ChatGPTRouter.cs」「ChatGPTServiceWebGL」を以下のように編集しただけ

AIしげちゃん 2

再構築中の「AIしげちゃん」ですが、概ね、元あった機能が復活できた。とは言え、前バージョンで追加した機能のいくつかは、既に ChatdollKit v0.6.6で実装されていたので、思ってたより早く復活できたんですが。で、改めて「AIしげちゃん 2」の機能紹介。基本機能音声による質問を認識し、ChatGPTの回答を音声で話す。 Google Cloud Speech to Text → OpenAI（ChatGPT 3.5 Turbo） → Google Cl

スマートリモコンと連携し、「AIしげちゃん」で部屋の照明などを制御する

前回に引き続き、破損前の「AIしげちゃん」に実装していた、スマートリモコン（Nature Remo）と連携し、部屋の照明や家電製品を制御するスキルを復活中。前回の環境センサーの値を取得するスキルとほとんど同じだけど、GPTのFunction CallingでNature Remo Cloud APIを叩く関数を呼び出して、赤外線リモコンの信号毎に割り振られたシグナルIDをPOST。 [CeilingLightSkill.cs]using System.Collectio

「AIしげちゃん」でNature Remoの環境センサーの値を取得

前回に引き続き、破損前の「AIしげちゃん」にあった、Nature Remoの環境センサーの値を取得して、温湿度の値を答えるスキルを復活中。ただ、センサーの値を答えるだけでは芸がないので、温湿度の値から不快指数を計算して、少し盛った会話ができるようにしているw [SensorSkill.cs]using System.Collections.Generic;using System.Threading;using UnityEngine;using Cysharp.Thr

「AIしげちゃん」の天気予報機能

Unityプロジェクトを破損してしまって、ChatdollKit v0.6.6 で再構築中の「AIしげちゃん」ですが、破損前のバージョンで GPTのFunction Callingを使って実装していた、以下の機能を復活させているところです。気象庁の気象情報APIを利用し、指定した地域の天気予報を答える環境センサーと連携し、温湿度の値や不快指数等を答えるスマートリモコンと連携し、部屋の照明や家電製品を制御するまず始めは、ChatdollKitのサンプルにもあった

「AIしげちゃん」再構築中

少し前、PCの調子が悪くなったので初期化して、バックアップしていたデータをリストアしたんだけど、最近、Unityのプロジェクトを開いてみたらいくつか破損しているのに気が付いた。バックアップデータ自体も破損していて、AIしげちゃんのソースコードが一部失われてしまった… デモ用として、思いつくままオリジナルのChatdollKitの改造を重ねていたので、当然、ドキュメントもなく。で、半ばあきらめかけていたんだけど、ChatdollKitがv0.6.6になって音声認識が速