AIを搭載したキャラクターと一緒にチェキを撮るシステム「フォトAI(あい)みくす」

コンセプト

このシステムは、コンセプトカフェやコラボカフェなどにおいて、AIを搭載した「推し」のキャラクターとチェキを撮影できるシステムの試作品です。
推しのキャラクターとおしゃべりしつつ一緒に写真を撮ることで、写真撮影をもっと面白く、ユニークなものにしたいと考えています。

コンカフェやコラボカフェでの運用を進めている、AIを搭載したキャラクターとチェキが撮れるシステムの試作品です(元アート作品なんだけど、システムだけ流用)。
突貫工事で仮のPVムービー作りました #東京AI祭 pic.twitter.com/gnUe8Epjwr

— よーへん((Θ･Θ))サイバネティックアバターVTuber (@Yohen_XR) March 24, 2024

システム

音声対話+簡易モーションキャプチャのシステムです。WhisperAPIとLLMによってAIキャラクターと体験者の間で会話を行い、簡易モーションキャプチャによって体験者は好きなポーズを取ることができます。その後音声認識によりAIキャラクターと写真を撮ります。
LLMはファインチューニングを行ったOpenAIをベースにしつつ、展示会場やクライアントの状況によって、rinnaなどのローカルLLM+RAGに切り替えることもあります。

今後の展開

裸眼立体視の大型ディスプレイでの駆動やコラボカフェでの展開を検討しています。