Difyによるスマホ用マルチモ－ダルAIエージェント（Dify版AIしげちゃん）

以前の記事では、DifyでLLM+RAG、外部APIとの連携を試していましたが、丁度、ChatdollKitがv0.7.5以降でDifyに対応したので、「AIしげちゃん」もDifyに対応することにしました。

ただ、「AIしげちゃん」はChatdollKit v0.7.4をベースにUI周りなど触っているので、v0.7.4.6からDify関連のスクリプトを移植させていただきました。で、出来上がったのが「Dify版AIしげちゃん」（下の動画）です。

DifyのRAG機能（ナレッジ）によって、以前、私が雑誌や講演などで話した内容を元に回答してくれるようになりました。

まあ、見た目も同じなので、特定の話題を回答するのにナレッジを参照する以外は以前と同じですが、生成AIでずっとやりたかった、私自身が喋りそうなことを話すAIアバターチャットボットwが実現してうれしいです。

Difyのチャットフローは以下のようになっています。入力したプロンプトの内容に応じてLLMが適切に処理を分岐し、処理の結果返ってきたテキストやデータを状況に応じた文章として組み立ててくれます。