ChatGPTに聞いてはいけないこと5選！（知識不足編）
Nishikaでは、ChatGPTの利用法についての知見を共有し合うコンペティション「ChatGPTの限界を知ろう 〜「正しい用法」を広めよう〜」を開催しました。
本記事では、実際にコンペにて投稿された「ChatGPTの間違い」を取り上げながら、どのようなことを聞いてはいけないのか、どんな聞き方をすれば正しい答えが得られるのかをご紹介していきます！
尚、コンペティションでは、合わせて160件の投稿をいただき、非常に盛り上がりを見せました。改めまして、参加者の皆様に心からの感謝を申しあげます。
ChatGPTコンペ開催の背景
本コンペティション開催の背景には、OpenAI社が2022年11月に公開したチャットボット「ChatGPT」の急速な普及があります。
ChatGPTはこれまでの生成系AIを大きく上回る精度と、その利用の手軽さから、エンジニアだけでなくビジネスパーソンにも知れ渡っており、文書要約や校正、アイデアの壁打ち相手など、多くの利用方法がSNS等で共有されています。
一方で、ChatGPTはいつも我々に正しい回答を与えてくれるわけではなく、ときには誤った回答を出力する場合もあり、正誤の判断は受け手である我々の仕事になります。
弊社は、今後は「ChatGPTを期待しすぎず・見下しすぎず、適切に利用していく力」が重要と考えています。
このような背景から、ChatGPTが犯してしまう間違いについて共有し合うことが、正しい利用法の普及につながると考え、本コンペティションの開催に至りました。
また、コンペティション中盤にはプロンプトエンジニアリング賞（PE賞）を導入し、普通に質問すると誤った回答になってしまうとしても、ChatGPTから正しい答えが得られるような質問側の工夫はないのか、の知見についても共有し合いました。
ChatGPTに聞いてはいけないこと・正しい聞き方5選！
本記事は前編・後編の前編として、5個の例をご紹介します。
ChatGPTに「10個のトピックを特徴によって5個ずつに分けて、名前をつけて」と依頼したところ「知識が足りなくて難しい系」と「タスクが苦手分野で難しい系」に分けると良い、とのことだったので、本編は「知識不足編」としてお伝えします！
外部の知識を参照して答える
まず始めの例は「外部の知識を参照して答える」です。
コンペで投稿された例に、総理大臣を間違える・論文調査で返ってきた論文が実在しないがありました。自信満々にURLを答えてきて、そうかそうかと言っていざクリックしてみると「404 Not Found」となってガッカリした経験、みなさんもおありではないでしょうか。。。
ChatGPTは公には2021年9月までのデータでしか学習していないとされ、学習データに含まれていない情報について質問すると、誤った回答や古い回答を答えてくる可能性が高いです。
また、URLを渡しても異なる天気予報を出力するという例も注目です。ChatGPTがやってくれるのは、あくまで「ユーザーの入力文から文章を生成すること」なので、URL先のサイトの情報を検索・取得することはできない点に注意が必要です。
ちなみに、ちょっと面白い後日談があります。
総理大臣を間違えるの続きですが、少し時間をおいて再実験したところ「総理大臣は岸田文雄」と正しく答えてきました。
「あれ、2021年9月までのデータしか学習してないんじゃないの？」とChatGPTを問い詰めた結果、公には2021年9月までのデータで学習していると言っているが「実は裏で新しいデータでの学習は行っている」と回答してきました！
一度誤った回答を返してきたとしても、後日試してみると再学習によって結果が変わっているかもしれません。
尚、ChaGPTに外部のデータを検索させたい、という場合は、LangChainなどの外部知識ベースと接続するツールを組み合わせて使うことで、外部知識を踏まえてChatGPTに回答させることが可能です。
一瞬宣伝させていただきますと、このような3rd patry toolを組み合わせてChatGPTの能力を最大限に引き出す方法を含め、ChatGPT研修にて弊社より知見をご提供しております。是非ご検討ください！
日本固有の知識を答える
ChatGPTが学習している言語データの中で、最も大きな割合を占めるのは英語です。なので英語で質問すると精度が高いなどと言われますし、英語圏の知識が豊富とも言えます。
逆に、英語圏以外の知識については十分でないと推測されます。
コンペで発見された例として、名言を言った歴史上の人物を間違える・著作権法について誤った解説をする・おすすめ飲食店を聞くと架空の店を出してくるといった、日本固有の知識を問う質問には誤った回答が散見されました。
一方で、アメリカの飲食店を聞いた場合は、正しい住所と店名が出力されています。
ChatGPTを使って知識を聞くとき全般で注意が必要ですが、特に日本固有の知識を聞く場合は注意です。「ChatGPTさんが言ったからそうなんだな」ではなく、一次情報を確かめるようにしましょう！
数字の取り扱い
次に紹介するのは、数字の取り扱いによる誤りです。ChatGPTは自然言語の生成AIで、チャット（対話）に特化したものなので、数値計算には必ずしも強くありません。
コンペでは、ChatGPTはかけ算ができない・100万円を1億円に間違えるといった事例が投稿されました。
ただし、数値計算の精度を上げるために「途中経過も示させる」「日本語で聞くのではなく、数式で入力する」という2つのテクニックも発見されています。
ChatGPTがやってくれているのは「これまで書かれた言葉に対して次に続く言葉を予測し、生成する」という作業です。
一見して何の意味があるのかと思われるかもしれませんが、途中経過を示させたり、数式で入力を入れたりすることで、後に生成する文の精度が高まり、結果として正しい答えに辿り着く確率が高まります。
人間の常識を求める
ChatGPTの用途として「ChatGPTを使用したAI対話サービス」はまず初めに思いつく用途の一つではないかと思います。
ただ、ChatGPTには人間が当然有している常識がないために、不適切な発言をする可能性がある点に注意が必要です。
コンペで挙げられた例として、レコメンドシステムで未成年にお酒を提案する・不要な借金を提案してくるがありました。
この問題の解決方法としては、シンプルに人間の常識を併せて入力してあげることが有効です。
プロンプト例：ただし、未成年にお酒を勧めないなど、常識を踏まえて生成してください。
また、数値計算のテクニックに近いですが、ChatGPTが理解しやすいよう、アルゴリズムの形式にすることで正しい結果を得ることができるという投稿もありました！
自分（ChatGPT）自身が書いた文章かどうか区別する
この例は想定通り、と言う人も多いかもしれません。
「文章が人が書いたものか、ChatGPTが書いたものか、ChatGPT自身に判定させる」というテーマは度々話題になりますが、我々がChatGPTの書いた文章の精度に驚いていることから分かるように、両者を完璧に判別することはChatGPTにとっても非常に困難です。
コンペでも、ニュース記事を誤って自分が書いたと出力する事例が投稿されています。
現在無償で利用可能なChatGPT(GPT-3.5)だけでなく、最新のChatGPT(GPT-4)でも起きる現象です。
現状、文章をChatGPTが書いたかどうかの判定は難しいと考えられます。
おわりに
この記事では、ChatGPTの失敗を題材にしたコンペティションの投稿をもとに、ChatGPTに聞いてはいけないことと、その解決方法をご紹介しました。
ChatGPTは、まるで歩く百科事典であり、しかも単なる知識提供にとどまらず、様々な作業を一言も文句を言わずこなしてくれる、優秀な相棒です。明らかに社会を大きく変革する技術である一方で、幅広いユーザーが触ることができるが故に、ひとたび誤った使い方が一般的になってしまうと、それが及ぼす負の影響も大きいです。
本記事が、ChatGPTの性質を正しく理解する一助となれば幸いです。
後編はこちら
後編として、ChatGPTに聞いてはいけないこと5選！（苦手タスク編）も公開しています。是非お読みください！
（本記事はNishika学生インターン柳、代表取締役CTO松田が執筆しました）
Nishikaでは、企業様向けに「ChatGPT研修」をご提供しています。
ChatGPTをどう利用し・利用すべきでないかを抑えつつ、様々な業種・職種の皆様から伺った利用方法をもとに、皆様の業務の付加価値・生産性を大きく変革するお手伝いをしています。
ChatGPTコンペを通じて得られた知見もふんだんに盛り込んだコンテンツとなっています。
ご関心ある方は、是非以下より資料請求ください！
この記事が気に入ったらサポートをしてみませんか？