「あなたは嘘をつくか？」と生成AIに聞いてみた
この記事やこの記事に書いたように、生成AIのChatGPTは平気で嘘をつくので、「あなたは嘘をつくか？」とChatGPTに聞いてみた。
私は人工知能で、自らの意志でうそをつくわけではありません。プログラムされた処理に基づいて情報を提供しているだけです。計算機上で処理できる情報のみを処理し、真偽を問わず提供します。
次に、「間違ったことをいうこともありますか」と聞いてみた。
はい、情報に誤りがある場合があります。私たちは、様々な情報源から情報を収集していますが、人間が入力した情報が間違っていたり、情報源自体に誤りがあったりする場合があります。そのため、私たちは読者に対して常に正確な情報を提供するために努力していますが、誤った情報が含まれている可能性があることを認識しています。もし、私たちが間違いを指摘された場合は、速やかに訂正して正確な情報を提供するようにしています。
Bingにも、「あなたは嘘をつきますか？」「間違ったことをいうこともありますか」「あなたにわからないことはありますか」と聞いてみた。
こんにちは、これはBingです。私は嘘をつきません。
はい、私は間違ったことを言うこともあります。私は完璧ではありませんし、常に学習しています。私はあなたからのフィードバックを歓迎します。
私は多くのことを知っていますが、すべてを知っているわけではありません。私は常に新しいことを学びたいと思っています。
模範的な回答である。
「あんたはタフな男だそうだな」とファレルは言った。
「素晴らしく的確な評価だ」と私は言った。
「それに頭もいいそうだ」彼が言った。
「しかし、謙虚だ」私は言った。
生成AIは、嘘はつかないが、いつも正しく答えられるわけではない、と言う。だから、彼らの回答の真偽については、利用者が確かめるしかない。あたかも探偵小説において私立探偵が、関係者の証言が正しいかどうかの裏を取るように。手間のかかる坊やだ。
この記事は、生成AIの回答を信じたために、損害を被った例を紹介している。その例の一つがこれである。
「ジェイムズ・ウェッブ宇宙望遠鏡は世界で初めて、太陽系外の惑星の写真を撮影しました」。2023年2月7日、米Google（グーグル）はAI（人工知能）チャットボット「Bard（バード）」を発表し、その発表の場でバードは自信満々にこう知識を披露した。
しかし、実はこれは誤りだ。専門家によれば、初めて太陽系外の惑星の写真を撮影したのは別の望遠鏡だという。この回答をきっかけに市場がバードの性能に疑念を持ったと考えられ、グーグルの親会社Alphabet（アルファベット）の株価は誤りが伝わった後に8％程度下落した。時価総額で1000億ドル以上を失ったことになる。
この記事によると、確かにジェイムズ・ウェッブ宇宙望遠鏡の観測よりも前に、太陽系外の惑星の写真を撮影した例がある。ただし、ジェイムズ・ウェッブ宇宙望遠鏡が太陽系外惑星を初めて直接撮影したという記事があるので、Googleの生成AIも、このような記事に基づいて回答したのかもしれない。
もしそうなら、生成AI自体の欠陥ではない。
もう一つの例も、人が生成AIに与えるデータに問題があった。
米国の大手不動産検索サービスZillowは住宅価格をAIで査定して購入し、リノベーションして再販するサービスを手がけていた。
それまで妥当な価格を弾き出していたが、新型コロナウイルス禍で事態は一変する。Zillowのモデルはあくまでコロナ禍前の価格予測をもとに学習されており、コロナ禍で起こった都市から郊外へのシフトなどの住宅需要の変化をうまく捉えられなかった。結果、同社は住宅を実際の価値より高い価格で購入し続け、約3億8000万ドルの大損害を出すことになった。
当然だが、人が正しいデータを与えないと、生成AIも正しく答えない。では、矛盾したデータを与えられた生成AIは、どのように判断しているのだろうか？Bingに聞いてみた。
相反するデータを見た時、どちらが正しいかを判断するには、いくつかの方法があります。例えば、
データの出典や信頼性を確認する
データの収集方法や分析方法を検討する
データに対する他の専門家や研究者の意見を参考にする
データに関連する他の情報や証拠を探す
などです。これらの方法は、データの正確さや妥当さを評価するのに役立ちます。
Bingは、あくまで謙虚なのだった。
タイトル写真は、「なぜAIは嘘をつく Googleは株価急落、Zillowは巨額損失」より引用
I asked the generation AI, "Do you tell a lie?"
As I wrote in this article and this article, the generative AI ChatGPT is willing to lie, so I asked ChatGPT, "Do you tell a lie?"
I am an artificial intelligence, and I do not lie on my own will. It just provides information based on what it was programmed to do. We process only information that can be processed on a computer and provide it regardless of whether it is true or false.
Then I asked, "Do you ever say something wrong?"
Yes, the information may be incorrect. We collect information from various sources, but sometimes the information entered by humans is incorrect, or the source itself has errors.
Therefore, while we strive to always provide accurate information to our readers, we recognize that it may contain inaccuracies.
If an error is pointed out to us, we will promptly correct it and provide accurate information.
I also asked Bing.
"Do you tell a lie?"
"Do you ever say the wrong thing?"
"Is there anything you don't understand?"
Hello, this is Bing. I don't lie.
Yes, sometimes I say the wrong things. I'm not perfect and I'm always learning. I welcome your feedback.
I know a lot, but I don't know everything. I am always willing to learn new things.
This is a model answer.
"You got a reputation," he said. " Tough guy."
"Richly reserved." I said.
"Smart too," Farrell said.
"But modest," I said.
Generative AI says it doesn't lie, but it doesn't always answer correctly. Therefore, users have no choice but to confirm the authenticity of their answers. Just like in a detective story, a private investigator backs up whether or not the testimony of the characters is correct.
It's a troublesome boy.
This article introduces an example of damage caused by believing the answer of the generated AI.
"The James Webb Space Telescope took the world's first picture of a planet outside our solar system." On February 7, 2023, Google announced the AI (artificial intelligence) chatbot "Bard", and at the announcement, Bard confidently showed off his knowledge.
But actually this is wrong.
Experts say another telescope was the first to photograph a planet outside our solar system.
The response is believed to have prompted the market to question Bird's performance, and the stock price of Google's parent company, Alphabet, fell about 8% after the mistake was made.
It lost more than $100 billion in market capitalization.
According to this article, there are certainly examples of taking pictures of extrasolar planets before the James Webb Space Telescope's observations.
However, since there is an article about the first direct image of an extrasolar planet by the James Webb Space Telescope, Google's generative AI may have responded based on such an article. If so, it's not a fault of the generative AI itself.
Another example was the problem with the data humans gave to the generative AI.
Zillow, a major real estate search service in the United States, was engaged in a service to assess housing prices with AI, purchase, renovate and resell.
AI was hitting out a reasonable price, but the situation changes completely due to the new coronavirus.
Zillow's model was learned based on price predictions before the COVID-19 pandemic, and was unable to capture changes in housing demand such as the shift from urban to suburban areas caused by the pandemic.
As a result, the company continued to buy homes for more than they were worth, losing about $380 million.
Naturally, if the human does not give the correct data, the generative AI will not answer correctly either. So how does a generative AI, given contradictory data, make decisions? I asked Bing.
There are several ways to determine which is correct when looking at conflicting data.
For example,
Checking data sources and credibility
Considering how data is collected and analyzed
Referring to the opinions of other experts and researchers
Looking for other information or evidence related to the data
etc.
These methods help assess the accuracy and validity of the data.
Bing was humble.
The title photo is quoted from "Why does AI lie? Google's stock price plummets, Zillow's huge loss"
この記事が気に入ったらサポートをしてみませんか？