ChatGPTに信頼性や正確性を求めてはいけない理由
マイクロソフトがChatGPTよりパワフルなAIをBingに搭載するというニュースも重なって、ますますChatGPTのニュースが増えているようなので、気になったことを書き留めておこうかと。
マイクロソフトのBingについては、下記の記事(英語)を読んで興味を持って、そのあと、マイクロソフトによる実際のアナウンス動画とブログ記事もチェックしてみました。
Microsoft’s OpenAI-powered Bing search is astounding—but messy
BY HARRY MCCRACKEN (Fast Company / 2023年2月9日)
この記事、なかなか視点が面白くて、昔の話も出てきたりして、楽しく読めました。
が、日付が02-09-23というアメリカ式で表示されてて、「日付、月、年」というニュージーランド式の順序が当たり前になってるいっぴき羊は、
「えっ、9月？」と何度も思っては、いやいや、これはアメリカの記事だから、2月9日のことって、頭の中で変換しなきゃなりませんでした。日付の順序は世界共通にして欲しいよなぁ～。
話がいきなり脱線しましたが、各種プログラミングや日付の入力フォーム等の扱いは勿論、海外と取引きされる場合は、国によって、年月日の表示順が違うことがあること(アメリカ式を世界中の国々が使っているわけではないこと)にご注意下さい。
上記リンク先記事の中で、新しいBingとChatGPTに質問した結果を比較してあるんですが、新しいBingの方がどう優れているのかが説明してあって、興味深いです。
でも、もっと興味深かったのは、ChatGPTの一番の問題点は、新しいBingもまだ克服できていないということ：質問や答えの文脈等を理解しているわけではなくて、答えとなる出力は、統計的確率のみを使って、データの中から見つけたテキストとテキストを繋ぎ合わせただけのものであるということ。
でも、それに輪をかけて、もっともっと興味深かったのは、AIの、こういった「信頼性や正確性は考慮されていない統計的予想による空想」みたいな出力が、AIサイエンティストの間で「hallucination(幻覚)」と呼ばれているということ。
私がデータサイエンスを学んだ約5年前には、そういう表現は聞かなかったので、面白いなぁと思いました。
大学は心理学専攻で、ニュージーランドでメンタルヘルスのサポートワーカーもしていたことがあるけれど(数の多さにあきれる資格取得＆転職歴はこちら)、人が経験する突拍子もない「幻覚」も、きっと、「本人の過去の経験」や「人から聞いた話」や「読んだ本」や「観た映画」や「鑑賞したアート」等など、人の記憶(脳)の中に蓄積されているデータの中から、何らかの法則でつなぎ合わせたデータが作り出すものなのだろうし、ありとあらゆるデータからAIが作り出す「幻覚」と、共通していることがあるのかもと。
どちらも、「信頼性や正確性」は重要ではないのかもなぁと。
記事の中には、新しいBingやChatGPTでテストした時に出力された、AIサイエンティストたちが言うところの「hallucination(幻覚)」の例について書いてあるので、興味のある方は読んでみて下さい。
専門的分野であればあるほど、AIは、よりクリエイティブ(又は、嘘つき？)な発想をしてくれるみたいです。
でも、これこそがChatGPTの重要なポイント！
専門的知識が無いユーザーが、専門的な答えを得ようとChatGPTを使用した時に、その出力が正しいかどうかの正確なフィードバック(いいねボタン/悪いねボタン)を返すことが出来なければ、ChatGPTに対する正しいReinforcement learning(強化学習)は行われません。
それどころか、逆のフィードバックを返す人が多ければ、どんどん間違った方向へと学習していく可能性もあります。
今の時点では、ChatGPTは、「信頼性や正確性」が求められる答えを得る為に使うのではなくて、想定外の「クリエイティブな発想」が求められる創作活動の補助に使うのが妥当なのかも。
そうそう、記事の最後に、「AltaVista」という単語が出てきて、ものすごく懐かしくなりました。
そういえば、あったよなぁ、「AltaVista」って、と、調べてみたら、2003年にオーバーチュアに買収され、2004年にはそのオーバーチュアが Yahoo! に買収され、、、といろいろあって、それでも、最終的なサービスの終了は2013年だったとか。
いっぴき羊がInternet Technologyのディプロマを取得したのが2001年。
「AltaVista」という名称が初耳という方の為に補足すると、Googleよりも前、1995年に登場した検索エンジンです。
羊の疑問：「AltaVista」という名前を憶えている方、読者さんの中に、何人ぐらいいるのかなぁ？
マイクロソフトによる新しいBingのアナウンス動画は、下記リンク先ページにあります。日本語の同時通訳(AUDIO TRACKSでJapaneseを選択)も付けることが出来る設定になっています。
動画の後半で、実際に、どんな使い方が出来るのかのデモもあるので、気になる方は見てみて下さい。
情報元へのリンクが表示されるという点では、新しいBingは、自分の目で、まとめられた情報の信頼性や正確性を確認する作業が、より簡単に出来て便利かも。
(余談：普段、YouTube動画等は、時間を節約する為に、日本語も英語も2倍速で見ることにしているんですが、下記、マイクロソフトのページに埋め込まれた動画には、4倍速オプションがありました！
さすがに4倍速は、頭の中が混乱。3倍速が限界っていうのが分かりました。)
ブログ記事(英語)は下記から。
新しいBingとEdgeの特徴や使われているAIについてまとめてあります。
現在は、限られた人のみ使うことが出来るお試し版の新しいBing(※準備されているサンプルクエリー(問いのサンプル)は、誰でも試してみることが出来ます)ですが、もうすぐ、モバイル版も含め、より多くの人が試せるようになるみたいです。
AIは、考えているわけでもなく、質問の意図を理解しているわけでもなく、質問者の為により信頼できる正確な答えを返したいという意思を持っているわけでもなく、ただ単に、膨大なデータの中から、統計的に確率の高いデータの組み合わせを返しているだけです。
今の段階では、
ChatGPTに信頼性や正確性を求めない
のが無難だと、いっぴき羊は思います。
最後まで読んで頂きありがとうございます！もし、缶ジュースやお茶やお酒の1杯くらい、奢ってやってもいいかなぁと思える内容でしたら、投げ銭的にサポートして頂けたら嬉しいです。あなたからいただいた貴重なサポートは、次の記事を書く為の原動力として、大切に活用させていただきます。いっぴき羊