![見出し画像](https://assets.st-note.com/production/uploads/images/103188056/rectangle_large_type_2_23eed4bdcc333cb61cca0ddaf2c426e2.jpeg?width=1200)
【LT登壇】AI Chatbotを上回る?生成AI/LLMがプロダクト情報を回答する設計と実装
こんにちは。朝でも夜でもヒルマです。このnoteは2023年4月11日(火)に行われたCustomerSuccess meets ChatGPT #12のLT#2のサマリ記事です。
当日動画
※CS HACKへの会員登録が必要です
発表資料
要旨
設計と実装
LLMと独自データは繋げて推論させることができる
Fine-tuningとIn-context learningという手法が存在する
LLMと独自データで連携するインターフェースのひとつに"Llamaindex"(リャマインデックス)がある
連携のみならず、インデックスの生成もできる
非エンジニア向け解説「インデックス」ここでは「索引」と捉えてよい。英和辞典もAからZまで索引があるから目的のワードにたどり着きやすくなっている。あれのことだ。
設計・データの流れ
エンドユーザーはSlack Botに情報をインプットする
Slack Botがその状態からLlamaindexを参照する
LlamaindexがOpenAIにAPIを叩きにいく
OpenAI(≒LLM)が連携した独自データを加味して推論し、Llamaindexに返す
Llamaindexがもっとも関連性が高い回答とページリンクをSlack Botに渡す
Slack Botがエンドユーザーに回答を送信
成果と便益
スライドの通り。2023/4/16時点の所感だと、AutoGPT系と呼ばれる、特定のゴール・タスクを完遂するまで推論やタスク実行を繰り返す生成AI/LLM関連サービスを使うとより強力になるのではないかと感じている。
現存するAI Chatbotより人間味のある初期回答をし、解決したらチケットをクローズ。解決しなかったら、エンドユーザーに回答希望期日をヒアリングし、回答希望期日を回収後、エスカレーションのチケットを起票し、カスタマーサポートの人間に報告。人間と違ってチケットの項目を抜け漏らすこともない。
これは相当なインパクトになる。
参考リンク
We Are Hiring!!
株式会社ログラス
カスタマーサクセス/エンタープライズアーキテクト
比留間
Picture from
Levart_Photographer @Unsplash
よろしければサポートいただけますと幸いです。頂いたサポートはリサーチや取材、また画像などクリエイティブの購入など活動の経費に使用させていただきます。