【LT登壇】AI Chatbotを上回る？生成AI/LLMがプロダクト情報を回答する設計と実装

2023年4月16日 22:30

こんにちは。朝でも夜でもヒルマです。このnoteは2023年4月11日(火)に行われたCustomerSuccess meets ChatGPT #12のLT#2のサマリ記事です。

当日動画

※CS HACKへの会員登録が必要です

LLMと独自データは繋げて推論させることができる
1. Fine-tuningとIn-context learningという手法が存在する
LLMと独自データで連携するインターフェースのひとつに"Llamaindex"（リャマインデックス）がある
1. 連携のみならず、インデックスの生成もできる
  1. 非エンジニア向け解説「インデックス」ここでは「索引」と捉えてよい。英和辞典もAからZまで索引があるから目的のワードにたどり着きやすくなっている。あれのことだ。
設計・データの流れ
1. エンドユーザーはSlack Botに情報をインプットする
2. Slack Botがその状態からLlamaindexを参照する
3. LlamaindexがOpenAIにAPIを叩きにいく
4. OpenAI（≒LLM）が連携した独自データを加味して推論し、Llamaindexに返す
5. Llamaindexがもっとも関連性が高い回答とページリンクをSlack Botに渡す
6. Slack Botがエンドユーザーに回答を送信

スライドの通り。2023/4/16時点の所感だと、AutoGPT系と呼ばれる、特定のゴール・タスクを完遂するまで推論やタスク実行を繰り返す生成AI/LLM関連サービスを使うとより強力になるのではないかと感じている。

現存するAI Chatbotより人間味のある初期回答をし、解決したらチケットをクローズ。解決しなかったら、エンドユーザーに回答希望期日をヒアリングし、回答希望期日を回収後、エスカレーションのチケットを起票し、カスタマーサポートの人間に報告。人間と違ってチケットの項目を抜け漏らすこともない。

これは相当なインパクトになる。

株式会社ログラス
カスタマーサクセス／エンタープライズアーキテクト
比留間

よろしければサポートいただけますと幸いです。頂いたサポートはリサーチや取材、また画像などクリエイティブの購入など活動の経費に使用させていただきます。