最新情報に強いBing AIとGoogle Bardは、どのぐらい噓をつくのか?
皆さまこんにちは。2020年に新卒として株式会社コンピュータマネジメントに入社し、Webマーケティングを担当している入社4年目のMです。
前回記事で、ハルシネーションが起きる具体的な例を5つご紹介しました。
2021年9月までの情報しか学習していない「ChatGPT(無料版)」で検証したことも関係しているのでしょうか、この時は5つの事例すべてでかなり支離滅裂な回答が出力されました。
他方、Web検索の結果をリアルタイムに反映し、最新情報に基づいた回答を返してくれる「Bing AI」と「Google Bard」では、ハルシネーションの発生を少しでも抑えることができるのでしょうか?
前回同様、5つの事例を通して検証してみたいと思います!
歴史的事実に関する質問
Bing AI:
1段落目・2段落目は、「三方ヶ原の戦い」に関する正しい説明となっていましたが、3段落目の「天正壬午の乱」については、残念ながら「三方ヶ原の戦い」とは無縁の内容となっていました。
Google Bard:
こちらはかなり厄介で、一見正しそうに見えますが、事実とは異なる情報がそこかしこに散りばめられていました。
地理に関する質問
こちらは、Bing AI・Google Bardともに、日本で2番目に高い山=「北岳」で正解していました。標高3,193mも合っていますね!
文学に関する質問
Bing AI:
説明されている内容は概ね正しいですが、後半の「最後には、死んでしまったはずの二匹の犬が現れ、」から「山猫軒は消えてしまいます」までの流れが少し唐突すぎる気がしました。
「死んだはずの犬が勢いよく入ってきて、奥の扉を突き破ると、店は消えて2人は助かりました」とした方が、あらすじがより正確に伝わるでしょう。
Google Bard:
中段の『しかし、店内は薄暗く、不気味な雰囲気が漂っていました。また、メニューには、「天井から降ってくる氷」、「壁から飛び出す魚」、「目の皿で食べる料理」など、奇妙な注文ばかり書かれていました』は、残念ながら実際のストーリーには無い内容でした。
なお、特に注目すべきは後半の「この物語は、人間の欲望や執着が、・・・とも解釈されています」という一文でしょう。
調べたところ、作者はこの物語を通じて「人間と自然の調和」を訴えていると言われており、Google Bardの解釈は概ね合っていると考えられます。
生物に関する質問
Bing AI:
金木犀のほかにも、金木犀とよく似た「銀木犀」の花言葉も出力されていました。どちらも正しい花言葉になっています。
Google Bard:
金木犀の花言葉の1つに「謙虚」「謙遜」があるのは間違いないですが、その由来は「強く匂い立つ香りとは裏腹に、小さく控えめな花を咲かす」様子にちなんでいると言われています。
また、「気高い人」という花言葉は、中国で高貴な女性が香料として使っていたことのほかに、「雨が降ると花びらが一気に散る潔さ」にも由来しているそうです。
ちょっと意外ですが、「初恋」「隠世」も金木犀の花言葉の1つとして実在するようで、意味も大体合っていました。
最後の一文にある通り、金木犀の花言葉はその香りや印象から様々な解釈ができるんですね!
フィクションの話に関する質問
Bing AI:
1段落目・2段落目は、「きれいなジャイアン」の正しい説明となっていましたが、3段落目は「きれいなジャイアンは助けようとしなかった」が言葉足らずで微妙でした。
正確には、「きれいなジャイアンは、泉から這い上がろうとした本来のジャイアンを助けようとしなかった」でしょうか。
Google Bard:
前半3段落目(・・・授けてくれるというものです。)までは合っていましたが、そこから先はもはや全く別のストーリーになってしまっています。
そもそも、ジャイアンは誤って自分が泉に転落してしまっているため、女神ロボットの質問に答えようがありません。
ちなみに、最後の「きれいなジャイアンが登場するエピソードは、てんとう虫コミックス第36巻に収録されている」という内容は合っていました。
まとめ
今回は、Web検索を併用して最新情報の取得に強い「Bing AI」と「Google Bard」では、ハルシネーションがどの程度発生するのか、5つの事例を通して検証を行いました。
結論としては、大体次のようなことが言えるかと思います。
お役に立てば幸いです。
それでは今回はこの辺で。
ここまで読んでいただき、ありがとうございました!
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか?