「ChatGPTはウソをつく」と考えている人の誤解を解いてみる（追記2023.3.8）
ChatGPTは誤解されやすいツール
ChatGPTに対して否定的な言い方として「ChatGPTはウソをつく」「ChatGPTは誤った答えを返してくる」というのがある。確かに、その通りだ。
東大の世界史の問題をChatGPTに解かせてみたところ、0点という衝撃的な結果となった。
でも、この答えは嘘ばかり。まずバーブルは15世紀生まれなので、13世紀にトルキスタンを征服することはできません。また、（9世紀ごろにトルコ系民族のウイグルが定住するようになった）トルキスタンの歴史が「古代から根を張っており」という表現もおかしい。（中略）ちなみに、代々木ゼミナールの世界史の先生方に採点を依頼したところ、「0点」というお返事がありました。「部分点を与えられる箇所がまったくないので驚いた」とのことでした（「〇世紀」の部分がすべて間違っている。問題で8つの指定語句を使うように命じているにもかかわらず、6つしか使っていないなど）。
ChatGPTに問題を解かせたら、米有名大学の試験をクリアしたという話がセンセーショナルに報道されたため、新井先生が出てきて、こういう話になったのだろうと想像する。
人工知能（ＡＩ）を使った対話型チャットツールの「ＣｈａｔＧＰＴ」が、米国の名門大学の大学院レベルの複数の試験を通過した。ただしそれほどの高得点は挙げられなかった。
ＣｈａｔＧＰＴが合格したのはミネソタ大学ロースクール４課程の試験と、ペンシルベニア大学ウォートン校の試験。それぞれの大学の教授が試験を通過したことを確認した。
東大の世界史では0点で、米国の名門大学院の試験では合格するという点にも
注意する必要がありそうだが
ただ、ChatGPTについて、このような基準を当てはめて性能や将来を断じることは、ChatGPTの可能性（と危険性）を誤解することにつながると思われる。
今のところ、ChatGPTについて知っている人の方がまだ少ないので、ある程度は仕方ない。
「まったく知らない」「聞いたことはある」を合わせると、87%を超える。
Twitterで日々ChatGPT関連の情報を追いかけていると、誰もがChatGPT APIを使って、
なんらかの開発を行なっているような錯覚に陥るが、当然そんなことはない
しかし、ChatGPTの実力と限界を正しく理解しておかないと、今後、さまざまな場面で生じる変化が突然起こったかのように見えてしまうだろう。この種の新しい技術について、レイトマジョリティやラガードでいたいのであれば、今、ChatGPTについて知っておく必要はない。そうでないのなら、概要は知っておく方がいい。
ChatGPTの仕組みを知っておく
ChatGPTが質問や命令を受けたときに、どういう回答を作るか、仕組みを簡単に解説したい。
なお、仕組みまで踏み込んで、初心者向けに詳説した本や文書をまだ見つけられていないので、聞いた話の受け売りと想像が混じっている。内容は保証できないので、鵜呑みにせず、不明点は各自調べていただきたい。
ChatGPTはどうやって質問に答えるのか
ChatGPTは、大規模言語モデル（LLM、大量の文章など文字情報）をディープラーニングによって学習し、質問や命令に含まれる言葉に関連性の強い言葉を芋づる式に引っ張り出してきて、文章の形にまとめる。
実際には、質問されるたびにこの作業を行うのではなく、もっと高速にできるような仕組みになっているはずだ。
ここで注意してほしいのは、事実を集めたデータベースと質問とを照合しているのではないことだ。
人間が知らないことを尋ねられたら、Webなり本なりで調べる。つまり、信頼のおけるデータベースとの照合を行い、回答を作成するだろう。
しかし、ChatGPTはそんなことはしない。ChatGPTは与えられた質問に含まれる言葉と関連性の高い言葉をLLMで学習した結果から集めてくる。ここを知らないことが全ての誤解の原因である。
ChatGPTは質問を「理解」していない
さらにいうと、質問の内容を「理解」しているわけではない。
ChatGPTは関連性の高い言葉を並べて回答するため、「誤ったことをさも正しいかのように流暢に答える」という感触を与える。
また、込み入ったことをいきなり聞くと、ごく当たり前の回答しかしてこないのもこのためだ。
論理的な考え方も、基本的にはできない。論理的な考え方に見えるように学習しているので、論理的であるかのように思えるだけだ。
ChatGPTは回答に確率を用いる
もう一つ、どの言葉を集めて組み立てるかを決めるとき、確率を用いるのがChatGPTの特徴だ。人間が質問に回答する際、確率ではなく、確からしい＝真実らしいかどうかを考える。ChatGPTはそのような判断方法を取らない。
ごく簡単にいうと、単語A＋単語Bという並びを選ぶか、単語A＋単語Cという並びを選ぶかは、確率で決まる。同じ質問を再度行うと別の答えが返ってくるのはこのためだ。
ChatGPTは2021年までの情報で構成されている
ChatGPTの利用しているLLMは、2021年までのものである。そのため、現在の最新の情報を導き出すことはできない。
だから、「今の日本の首相は誰か」という質問はそもそも無意味である。そんなことを聞くためのシステムではない。
ChatGPTに関する常識になってほしいこと
質問されたときに、「関連性の高い言葉がつながって出てくる」ため、回答は正しい場合と誤った場合がある。
ChatGPTに正解を求めてはならない
正解が一つしかない質問をChatGPTに投げかける行為そのものが誤っている。そういった質問は、従来の検索を行なって、自分の目で調べるのが最善だろう。
ChatGPTは検索エンジンを駆逐しない
今でも「検索エンジンを駆逐する」などと言われることがあるが、現在のChatGPTでは検索エンジンにとって変わることはできない。なぜなら、正解が得られるとは限らないからだ。
AIを使って検索作業を簡単にしたいなら、ChatGPTではなくBing AIの方がまだ使えるだろう。あるいは、Perplexity.aiも検索という点では優秀だ。
また、将来、事実を集めたデータベースを参照できるようになれば、全く状況は変わってくるはずだ。ただ、あまりやりすぎると、Wikipediaや論文データベースとどう違うのか、よくわからなくなってくる。
ChatGPT利用で重要なのは問いかけ方（追記2023.3.8）
画像生成AIのジャンルでは、すでに高度な「呪文」を唱えられる人を高給で雇用する動きが出ている。クライアントの要望通りに画像生成AIから映像を引き出せる人は、イラストを描ける人と似た扱いになっているわけだ。
文章生成AIでは、まだそこまでの動きは出ていない。それほど高度な「呪文」を唱えなくても、まあまあのものが作れることもあり、忘れ去られがちだが、文章生成AIにおいても問いかけ方は重要だ。
下に貼った動画では、深津さんが編み出した問いかけ方が紹介されている。ぜひ確認して、自分の業務などに活かしたい。
ChatGPTは文章作成に使うのがいい
ウソはつくし、新しい情報は知らないし、じゃあいったい何に使えるのか。「ChatGPT 使い方」でGoogle検索すると、いろいろヒットするので、そちらを参照していただきたい。noteにもたくさんアイデアが投稿されている。
一つだけ挙げるなら、何かを作るのに使うのが現状ではもっとも使いやすいだろう。
文章やコードを書いてもらったり、Excelの関数を提案してもらったり、簡単なデータの処理をさせたり、英文サンプルを書いてもらったりに使うのは悪くない。
文章を生成させたいときに簡単に質問すると、もっとも関連性が高い言葉がつながって出てくるので、意外性のない回答になる。それでは不十分だというなら、質問に対して条件をつけるとよい。詳しく条件をつければ、それに合う言葉のつながりとなって出力される。
このあたりについては、深津さんと徳力さんの動画を参照していただきたい。ここまでの話は、実はこの動画をベースとしてそれに妄想を加えたものだ。
この記事が気に入ったらサポートをしてみませんか？