【後編】非エンジニアがCopilotで「社内問合せ用RAGチャットボット」の回答精度を高めてみた
※こちらの記事は【前編】非エンジニアがCopilotで「社内問合せ用RAGチャットボット」を作ってみたの続きです。
「企業独自のデータを生成AIに覚え込ませたチャットボットを自社で構築できないのか？」という疑問をお持ちの方に向けて、実際にCopilotを使って「社内問合せ用RAGチャットボット」を作ってみました。
前編では、チャットボットを作成し回答元の情報をアップロードしたものの、正しい回答は得られず......。
そこで、回答の精度を高めるために設定を見直していきます。
記事後半では、RAGチャットボット「OfficeBot」との比較もしていますので、ぜひご覧ください。
Copilot Studioで社内問合せ用RAGチャットボットを作ってみた
今回は、下記の手順でRAGチャットボットを作りました。
Copilot Studioにアクセス
新しいコパイロットを作成
基本情報を設定
回答の情報ソースを登録
データをアップロード
テスト①
設定の見直し（本記事ではここから紹介しています）
テスト②
公開
7. 細かい設定を見直す
回答元の情報を登録したものの、登録した情報が使われない......。
諦めるのはまだ早いと思い、インターネットで検索して情報を探してみました。
すると、管理画面の「トピック」内にある「システム」から細かく設定できることがわかりました。
「Conversational boosting」の説明に「Create generative answers from knowledge sources.」とありますので、これをクリックしてみます。
生成型の回答を作成するフローにおいて、データソースの編集画面がありました。開いてみると、いくつか設定できそうな項目があります。
今回作るCopilotは社内の情報から回答を出してくれればいいので、「選択したソースのみを検索する」設定に変更し、「AIが備える一般ナレッジの使用をAIに許可する」をオフにしました。
他にも設定を見ているとプロンプトのカスタマイズやさまざまな外部AIとの接続、検索の細かい設定をできるみたいですが、今回は触っていません。
「Conversational boosting」だけを設定し直して、改めてテストしてみます。
８. 再度テストを実施
再び有給休暇について質問してみるとそれっぽい回答が返ってきました！
しかし、「何日取れるのか」をピンポイントで回答してくれるわけではありません。若干的を得ていないように感じます......。
とはいえ、社内のデータから回答するチャットボットは作成できました。
９. 公開
最後に「トピック」から編集できる初回の会話などを設定して公開しました。
少し本題からはズレますが、チャットの初回発話には「チャットボットがどのような問い合わせに回答できるか」を明記しておくのがおすすめです。
感想
一通りインターネットで探した情報を頼りに作ることができました。実際に触って、非エンジニアの私でも作れたということにとても感動しました。
気になったのは、インターネット記事に掲載されている画像と今のUIが違うことが多々あったことです。（この記事に掲載している画像も、すでに変わっているかもしれません）
サポートがない中だと、非エンジニアが構築とメンテナンスをする難易度は高いと感じました。
また、回答の精度を高めるためには、細かい設定が必要になることも難易度が高く感じた要因です。やりこみ要素が高い上、インターネットの情報だけで進めるのは困難なので、運用面が楽なサービスを使うことも手だと考えます。
(また時間があれば、社内のエンジニアにも協力してもらい精度を高めてみたいと思います)
余談：OfficeBotとの比較
最後に、私が作成したRAGチャットボットと、弊社が提供しているRAGチャットボット「OfficeBot」を比較し、気づいたことをまとめます。
回答精度・使用感
今回作ったチャットボットと同じデータをOfficeBotに登録し、いくつか質問して比較してみました。
有給休暇について質問してみましたが、OfficeBotの方が的を得た回答をしてくれるように感じます。特に「5年目の場合は？」という質問の回答は、精度の違いが明確にわかりました。
今回、自作したチャットボットでは、連続対話ができませんでした。
また、自作したチャットボットの方が誤った情報を出すケースが多いようにも感じました。
例えば国内出張について聞いてみると、下記画像左側の自作チャットボットは距離について誤った回答がされています。
元の元のデータを見ると「勤務地から距離100km 以上または片道所要時間3 時間以上の地域への出張をいう」と定義されていました。
Copilot Studioで作成したチャットボットは、参照をクリックすると、検索して引っ張ってきた情報をテキストで出してくれます。テキストでまとめて表示してくれるので、さまざまな資料から横断して見つけてきた情報がすべて記載されており、関連しそうな情報が探しやすそうです。
一方のOfficeBotは、参照元のリンクから直接PDFを開いてくれます。さらに同じ資料から情報を調べたいときや、ファクトチェックを行う際、元のPDFを開けられた方が便利だと感じました。
管理画面・データ登録
Copilot Studioでは上でも記載している通り、かなり細かな設定ができます。言い換えると細かい設定をしないと思い通りに回答させることができません。
一方で、OfficeBotは回答元のデータをアップロードするだけですぐに使えます。
また、シンプルな画面で容易にユーザーの利用状況や、ログを確認いただけます。
Copilot Studioを使って生成AI搭載のチャットボットを自作することはできますが、現時点では回答の精度を高めるのは難しいと感じました。
まとめ
Copilot Studioを使うことで、非エンジニアでも社内データと生成AIを活用したRAGチャットボットを作ることができました。複雑なコーディング作業を必要とせず、ローコードで扱える点は、一昔前ではありえないことであり、素晴らしいサービスです。
しかし、回答の精度向上に取り組んだり、管理画面を扱ったりするのは一定の知識が必要だと考えます。
バックオフィス部門の担当者が運用するのであれば、RAGに特化して容易に扱えるシステムを使うこともおすすめです。OfficeBotはデータをアップロードするのみで、すぐに高い精度のRAGチャットボットを構築いただけます。
下記サイトで詳細を紹介していますので、ぜひご覧になってみてください。
以上、マーケティング担当の臼井でした。