AIアバターチャットボット

本

自分自身のアバターを作成し、ChatGPTで会話などができるAIアバターチャットボット作成プロジェクトです。いつかは自分自身をすべてAIで再現してみたい...

運営しているクリエイター: SeaGate

#音声認識

Difyによるスマホ用マルチモ－ダルAIエージェント（Dify版AIしげちゃん）

以前の記事では、DifyでLLM+RAG、外部APIとの連携を試していましたが、丁度、ChatdollKitがv0.7.5以降でDifyに対応したので、「AIしげちゃん」もDifyに対応することにしました。ただ、「AIしげちゃん」はChatdollKit v0.7.4をベースにUI周りなど触っているので、v0.7.4.6からDify関連のスクリプトを移植させていただきました。で、出来上がったのが「Dify版AIしげちゃん」（下の動画）です。 DifyのRAG機能（ナレッ

AI ミャクミャク（二次創作）

OpenAIから新モデル「GPT-4o mini」がリリースされたので、ChatdollKitベースのAIアバターチャットボットも「GPT-4o mini」に切り替えました。軽量・安価なので、このようなデモアプリには最適ですね！今回は、いつもの「AIしげちゃん」ではなく、以前、Blenderで作成した大阪・関西万博の公式キャラクター「ミャクミャク」（の二次創作物）で、「AIミャクミャク」に仕立ててみました。まあ、顔（？）が大きすぎて、手を動かすと、アチコチ貫通してしま

暑くなってきたので、「AIしげちゃん」が扇風機の電源をON/OFFできるようにした

同じネタをずっと引きずってますが、暑くなってきたので、「AIしげちゃん」から扇風機の電源をON/OFFできるようにしました。水冷のゲーミングPCを置いて、生成AIやらCGやらでブン回しているのに、僕の仕事部屋にはエアコンがないんです💦 あまりエアコンが好きではないので、自宅では未だエアコンをつけずに過ごしているエコ人間ですが、年々、夏の暑さがひどくなってきて、そろそろ人間もPCもヤバいよなあ... コードは以下のような感じ。ChatGPT の Function Cal

「AIしげちゃん」の目が見えるようになった

ChatdollKit が v0.7.4 にアップデートし、GPT-4o のビジョン機能等によってカメラ映像や画像ファイルの認識・分析ができるようにななりました。それで、スマホ版「AIしげちゃん」も ChatdollKit v0.7.4 ベースに乗せ換えて、UIまわりをカスタマイズ。スマートフォンのカメラで「AIしげちゃん」に映像を見せて、その内容をもとにテキストや音声で会話をすることができるようになりました。これで、「AIしげちゃん」も目が見えるようになりました

AIアバターとの音声会話によって、MR空間から現実空間を制御

とあるセミナーでXRと生成AIについて喋ることになったので、以前、Meta Quest 3のパススルー機能のテスト用に作った「AIしげちゃん（MR版）」のデモ動画を作成し直して、生成AIとXR、現実空間とデジタル空間（MR空間）が融合しているイメージのデモ動画にしてみました。前回のデモ動画では、MR空間内で「AIしげちゃん」と音声会話したり、Function callingで気象庁のAPIから指定した都市の天気予報を取得・回答させたりして、生成AIとXRが連動している様子

AI〇〇部長（スマホ版）GPT-4 Turbo with Vision

新入社員研修に間に合わせるため、Windows用にやっつけで作った「AI〇〇部長」を Androidスマホ用に改造。機能追加に合わせて若干UIにも手を加えて整理しましたが、この辺りは、ChatdollKitがフレームワークとして柔軟にできているがおかげで簡単ですね。最新の「gpt-4-turbo（gpt-4-turbo-2024-04-09）」でもGPT-4 Vision APIが使用できるようになったので、モデルを「gpt-4-vision-preview」から変

AI〇〇部長に新入社員研修で部門紹介をしてもらった

僕に代わって、AI〇〇部長に新入社員研修で部門紹介をしてもらった。機材トラブルで音声が出なかったけど、テロップを表示するようにしておいて良かった。新入社員からの質問にもいい感じで答えてくれる、頼れる部長さんw 動画はTeamsの画面共有の録画なのでガクガクしてるけど。

AI〇〇部長（新入社員研修用）

新入社員研修での部署紹介をAIにやってもらったらどうかと思って、「AIしげちゃん」をWindows用にビルドし直して、「AI〇〇部長」にプチ改造してみた。ちょうど、ChatdollKit がアップデートしていたので、「AI〇〇部長」も最新版の v0.7.2 ベースに乗せ換え。 ChatdollKit v0.7.2 が GPT-4 Vision API に対応したので、PC内の画像ファイルを選択するダイアログなどを追加し、選択した画像の解析結果を喋るようにしてみた。こ

AIしげちゃんでAnthropic Claude API のテスト

ChatdollKitが v0.7.0/0.7.1 にバージョンアップして、ChatGPT/Azure OpenAI Service、Anthropic Claude、Google Gemini Pro等のマルチLLMに対応しました。（作者のうえぞう様、ありがとうございます！）それで早速、Anthropic ClaudeのAPIキーを取得して、AIしげちゃんのLLMを GPT-3.5 Turbo から Claude-2.1に変更して試してみました。 Claude API

AIしげちゃん（MR版）テスト

先日、スマホ版「AIしげちゃん2」の再構築が完了しましたが、VRヘッドセットをQuest 3に買い替えたので、折角なので、スマホ版と同様、Unityプロジェクトが破損してしまったVR版も再構築することにしました。 Quest 3用ということで、カラーパススルー機能で、自分の部屋に「しげちゃん」を呼び出してみたいので、取り合えずサンプル通りにビルドして、作成したアプリが下の動画。VR版でなくMR版「AIしげちゃん」ですねw 以下のサイトを参考に、スマホ（Andoroid）版

AIしげちゃん2（スマホ版）Ver 1.1

ほぼ再構築が完了した「AIしげちゃん」ですが、Android用にビルドしようとするとエラーが出て、アプリが作成できなくなっていました。それで、しばらく原因を探っていたのですが、ようやくビルドできるようになり、うちのPixel 7aでも動作させることができました。もっとも、ChatdollKit v0.6.6に含まれる「ChatGPTContentSkill.cs」「ChatGPTRouter.cs」「ChatGPTServiceWebGL」を以下のように編集しただけ

AIしげちゃん 2

再構築中の「AIしげちゃん」ですが、概ね、元あった機能が復活できた。とは言え、前バージョンで追加した機能のいくつかは、既に ChatdollKit v0.6.6で実装されていたので、思ってたより早く復活できたんですが。で、改めて「AIしげちゃん 2」の機能紹介。基本機能音声による質問を認識し、ChatGPTの回答を音声で話す。 Google Cloud Speech to Text → OpenAI（ChatGPT 3.5 Turbo） → Google Cl

スマートリモコンと連携し、「AIしげちゃん」で部屋の照明などを制御する

前回に引き続き、破損前の「AIしげちゃん」に実装していた、スマートリモコン（Nature Remo）と連携し、部屋の照明や家電製品を制御するスキルを復活中。前回の環境センサーの値を取得するスキルとほとんど同じだけど、GPTのFunction CallingでNature Remo Cloud APIを叩く関数を呼び出して、赤外線リモコンの信号毎に割り振られたシグナルIDをPOST。 [CeilingLightSkill.cs]using System.Collectio

「AIしげちゃん」でNature Remoの環境センサーの値を取得

前回に引き続き、破損前の「AIしげちゃん」にあった、Nature Remoの環境センサーの値を取得して、温湿度の値を答えるスキルを復活中。ただ、センサーの値を答えるだけでは芸がないので、温湿度の値から不快指数を計算して、少し盛った会話ができるようにしているw [SensorSkill.cs]using System.Collections.Generic;using System.Threading;using UnityEngine;using Cysharp.Thr