マガジンのカバー画像

AIアバターチャットボット

40
自分自身のアバターを作成し、ChatGPTで会話などができるAIアバターチャットボット作成プロジェクトです。いつかは自分自身をすべてAIで再現してみたい...
運営しているクリエイター

#XR

AIアバターとの音声会話によって、MR空間から現実空間を制御

とあるセミナーでXRと生成AIについて喋ることになったので、以前、Meta Quest 3のパススルー機能のテスト用に作った「AIしげちゃん(MR版)」のデモ動画を作成し直して、生成AIとXR、現実空間とデジタル空間(MR空間)が融合しているイメージのデモ動画にしてみました。 前回のデモ動画では、MR空間内で「AIしげちゃん」と音声会話したり、Function callingで気象庁のAPIから指定した都市の天気予報を取得・回答させたりして、生成AIとXRが連動している様子

AIしげちゃん(MR版)テスト

先日、スマホ版「AIしげちゃん2」の再構築が完了しましたが、VRヘッドセットをQuest 3に買い替えたので、折角なので、スマホ版と同様、Unityプロジェクトが破損してしまったVR版も再構築することにしました。 Quest 3用ということで、カラーパススルー機能で、自分の部屋に「しげちゃん」を呼び出してみたいので、取り合えずサンプル通りにビルドして、作成したアプリが下の動画。VR版でなくMR版「AIしげちゃん」ですねw 以下のサイトを参考に、スマホ(Andoroid)版

AIしげちゃん(VR版)Ver 2.4

2023.08.18 スマホ版 AIしげちゃん を Ver 2.4にしたので、しばらく放置していたMeta Quest 2版も、アイドル中に独り言を喋ったり、勝手にアクションをするようバージョンアップした。 Quest 2もAndroidなので、移植自体はそんなに難しくないんだけど、入力デバイスの扱いがスマホと違うので、よくわからなくて実装できなかった。 ホントは、ボタンを押すと喋ったり、表情を変えたりとかしたかったんだけど。ちょっと勉強しないとね。。。

AIしげちゃん(VR版)Ver 2.0

2023.06.29 AIしげちゃん(スマホ版)Ver 2.0ができたので、お約束通り、VR版(Meta Quest 2版)もバージョンアップして、VR空間の「しげちゃん」に会いに行ってきました。 前回と違って表情や身振りもあるので、大きな空間でも多少は見栄えがします。でも、まあ、結局最後は「しげちゃん」をぶん投げるんですけどねw

Meta Quest 2でハンドトラッキングのテスト

2023.06.04 MetaからQuest 3の今秋発売が発表され、AppleからもXRデバイスの発表がありそうですね。 また、XR関連が少し盛り上がるかも知れないので、しばらく遠ざかっていた Meta Quest 2でのアプリ作成(と言うほどのものでないけれど)を思い出すため、XR開発の基礎を復習中。 Quest 2発売当時からはいろいろ変わっていて、開発環境の構築に手間取りましたが、その分、SDKもUnityも便利な機能が増えて開発がしやすくなりました。 前回の

AIしげちゃん VR

2023.05.28 この間からいろいろ試している、ChatdollKitベースのChatGPTによるAIチャットボット「AIしげちゃん」をMeta Quest 2用にビルドし直して、Quest 2単体でVR空間の「AIしげちゃん」と会話できるようにしました。 まあ、いろいろ苦労しましたが、とりあえず動いているのでデモ用としては満足w でも、「しげちゃん」はVRM形式のアバターとしてはいろいろ問題があるので、ちょっと作り直したいんですけどね。それと、スマホ用に作ってたの