ChatGPT企業導入プロジェクト - 期待値コントロールの重要性

2024年2月7日 11:56

皆さん、生成AIには触れていますか？
最近はGPTsで遊んだり、Stable Diffusionを弄り倒して画像の生成をしています。IP-AdaptorとADetailerを組み合わせてほぼ確実に同じ人の顔を生成できることを発見して喜んでます。GPTsに関しては、個人的に面白い取り組みをしているので、別の記事でお伝えしようと思います。ほとんどの方が仕事効率化のために開発してお金稼ぎを目論んでいると思いますが、ちょっとエンタメ寄りの使い方をして楽しんでます。

社内向けChatGPTの導入で起きた問題とは？

さて本題に入りますが、このお話は弊社のお客様のプロジェクトで実際に起きた事なので、少しぼかしながらお伝えすることになります。
最近では社内で安全に使えるChatGPT環境の導入を進めている企業が増えていますね。今回のプロジェクトも、質問をすると自社のドキュメントやナレッジを参照して回答してくれる、いわゆるRAG（Retrieval-Augmented Generation：検索拡張生成）の導入を推進している企業様で起きている問題です。

導入したChatGPTを、いざエンドユーザに使ってもらうと、「見当違いの回答が返ってくる！」や、「社内のナレッジを参照しているはずなのに一般的な回答しかしない！」などのクレームが発生しました。
スクラッチで開発している部分もあったため、バグが起因の問題もありましたが、蓋をあけてみるとユーザーが入力した質問の意図が不明確だったり、Googleで検索するようなキーワードを入力するといった使い方をしていたため、ユーザーの思い描いていた結果が得られなかったようです。

クレームが発生した原因

今回のケースは、エンドユーザー（利用者）の期待値をコントロールできていなかったことが原因で起きた問題です。
エンドユーザーが抱く「ChatGPTへの期待」と、システムを提供する側の認識している「GPTへの期待」が乖離していたため、そもそも期待値をコントロールする必要性に気が付かなかったと考えられます。

現実的な目標を伝える

世間では「AIを使えば業務の効率化ができる！」「作業時間が短縮された！」などの声がよく聞こえてきます。もちろんAIを正しく使えば実現可能なのですが、実現するための手順や合理的な目標を設定し、過剰な期待を抱かせないようにするべきです。失望や不満を避けるために重要です。ChatGPTができること、できないことを明確に伝え、組織としてエンドユーザーを導いて上げる必要があります。

ChatGPTの使い方を理解していない

ChatGPTが生成する答えは不確定要素が高く、利用者側がファクトチェックをする必要があるのは周知の事実。のはずですが、使い方を知らない人が多いことを提供者側は理解しておくことが必要です。使い方という観点ではプロンプトの書き方も含みます。特にChatGPTを使い始めたばかりのユーザはプロンプトの書き方にアジャイル型や構文型という概念があることも知らないでしょう。

ChatGPTはツールです。道具には使い方があり、間違った使い方をすると効果を最大限に引き出せません。私は「チャット」という部分がツールと言う認識をぼやけさすのでは無いかと考えています。

エンドユーザへのAI教育を実施する

これらの問題を解決するためにはエンドユーザーに対してAI教育を実施するのが良いでしょう。シンプルで最も効果が高く、生成AIを使ってあれこれできないかと悩むよりはまず利用者の教育をしましょう。特に生成AI導入プロジェクトを進めるベンダーは、ワークショップ、研修等をセットで提案するべきだと考えています。

以前書いた記事「AIに観る普遍的価値」でもふれましたが、やはり利用者への生成AIとの付き合い方を教育していくことが重要だと考えます。
期待値の乖離も押さえられるはずですし、逆にこんな使い方ができるのでは？こんなプロンプト作ったよ！と社内コミュニティの活性化にもつながるので、プロンプトのアセット化、ナレッジ化も同時に進むでしょう。

東京都デジタルサービス局が東京都職員向けに「文章生成AI利活用ガイドライン」を策定し公開しています。
内容には文章生成AIの特徴や使うことのセキュリティリスク、著作権の問題や、プロンプトの例を含めた効果的な活用方法が記載されています。生成AIを使うなら、知っておかなければならない最低限のことが網羅されているので、こういった資料をベースに教育を初めてみるのも良いでしょう。
https://www.digitalservice.metro.tokyo.lg.jp/documents/d/digitalservice/ai_guideline/

先日、生成AI、AI界隈で有名なチャエンさん（DigiRise CEO）のセミナーへ参加してきました。日本において生成AIの導入が進んでいない理由3つについてお話されていましたが、そのうちの一つに「知識不足」とありました。
DigiRiseが企業向けChatGPTを導入する際には必ず動画研修＋ワークショップも行っており、AI人材の育成もワンセットで提供しているようです。

終わりに

ChatGPTのようなAIの導入が増えれば、AIにふれる人も増えるでしょうし、こういった課題もどんどん解決していくと思われます。孫正義氏も言っていましたが一番良くないのは、AIに触れないことです。大企業での導入は進む一方、地方の零細企業などでは触れる余裕も無いところが多いと思います。そういった日本を支えている企業さん達が置いていかれないような取り組みを少し考えてみようかと思います。

W&Dコンサルティング合同会社
代表者：代表CEO 西本亮一、代表COO 犬飼泰一
設立：2021年4月
事業内容： ITコンサルティング事業、コンテンツ企画制作事業

企業理念
Well Think and Design
よく考え、よいアイデアをカタチにする

Mission
私たちは、アイデア力とデザイン力で、ヒトとヒトが笑顔でつながる社会づくりに貢献します。

Vision
お客さまの抱える問題の本質を捉え、普遍的な価値を追求することで、デジタル活用をとおして、企業の能力を発揮できる仕組みをデザインします。

Value
お客さまも社員も関わる人たちが、共にワクワク・ドキドキできる取り組みをします。

この記事が気に入ったらサポートをしてみませんか？