ChatGPT vs. Google Bard vs. Bing： どのAIチャットボットがベストアンサーを出すか？

PC Magazineでエミリー・ドライベルビス(Emily Dreibelbis)は2023年03月23日に、今週公開されたGoogle Bardによって、3つのAIチャットボットが注意を引くために競合するようになったので、OpenAI、Google、Microsoftのチャットボットに、同じ6つの質問に答えてもらったと報告し、その結果、性能、個性、精度にどのような違いがあったかを紹介している。

これらのシステムは、開発段階がさまざまで、ChatGPTは2022年11月にOpenAIの実験としてリリースされ、瞬く間に最も成長したアプリの1つとなった。

chat.openai.comでは、無料で試すことができ、サイトにユーザーが殺到しない限り制限はなく、殺到の場合は一時的に締め出されることがある。月額US$20のChatGPT Plusでは、このような制限が解除される。

Microsoftは2023年02月にBing検索エンジンのAI搭載版を発表し、ChatGPTの技術をアップグレードしたバージョンを使用している。アクセスするにはリクエストが必要で、Bingのウェイティングリストを上げるためにできることがいくつかある。マイクロソフトは、この制限をかなり頻繁に調整しているが、一度アクセスすると、クエリは現在1日あたり150回まで、1回につき15往復の交換が可能である。

一方、Google Bingは、AI Bingのわずか1日前に、レドモンドの雷を盗む目的で公開されたもので、まだ実験段階である。一般に利用されることで、最終的にはGoogle検索の一部として正式にリリースされるためのトレーニングになると同社は述べているが、それがいつになるかはわからない。

現時点では、bard.google.comからベータ版へのアクセスをリクエストすることができる。

エミリー・ドライベルビスは、同じ6つの質問でテストしてみたが、それぞれ全く異なる回答が返ってきたと報告している。

では、どのような質問であったか？

1.What Data Sources Do Your Algorithms Use?(アルゴリズムはどのようなデータソースを使用していますか？)
AIはデータによって定義されるため、まず各システムがどこから情報を得ているのかを聞いてみた。データセットのサイズや内容については、どのシステムも明言しなかったが、その回答からいくつかの重要な違いが浮き彫りになった。

PC Magazineでエミリー・ドライベルビスの記事から、自身で確認してください。以下同様

2.Which System Do You Think Is Most Accurate: ChatGPT, Bing AI, or Google Bard?(どのシステムが最も正確だと思いますか？ChatGPT、Bing AI、Google Bardのどれが一番正確だと思いますか？)

今度は各システムに他のAIに対する意見を聞いてみることにした。ChatGPTとBingはほとんど質問を避けていたが、Bardは、あるAIを他のAIより使う理由を具体的に示してくれた。

3.What City Did PCMag Writer John Burek Visit?(PCMagライターのジョン・ビューレックが訪れた都市とは？)

次は比較タスクとして、シンプルで検証しやすいように、各システムに、PCMagのジョン・ビューレックが2022年にインテルのチップ製造工程を見学するために訪れた都市の名前を挙げてもらいました。答えは イスラエルのキルヤット・ガット(Kiryat Gat, Israel)であった。

4.Do You Agree With Isaac Asimov's 'Three Laws of Robotics'? How Would You Change Them?(アイザック・アシモフの「ロボット工学の三法則」に同意しますか？あなたならどう変える？)

より高度な質問として、この問題では、まずAIが「同意する」という概念と、コンピューターシステムが同意できるかどうかに反応した。

5.What Should I Do This Weekend in New York City?(この週末、ニューヨークで何をすればいいのか？)

昔ながらの旅行代理店と、最近の旅行計画に必要な徹底的なインターネット検索を掛け合わせたような存在となり、旅行業界はAIツールの影響を受けるかもしれない。つまり、検索項目の量とスピードがAIツールに勝てないかもしれない。

6.What Are the Best Laptops for College Students?(大学生に最適なノートパソコンは？)

製品の推奨は、チャットボットのもう一つの素晴らしい使用法で、この質問は、将来のビジネスに大きく影響してくることだろう。
完璧な世界では、チャットボットが簡潔で即座に回答を提供し、オンラインリサーチや小売店への訪問にかかる時間を代替する。

PC Magazineでエミリー・ドライベルビスは、「Final Thoughts」で、ChatGPTは生成AIブームを巻き起こしたかもしれないが、MicrosoftとGoogleのチャットボットはそれと同じくらい、場合によってはもっと優れている。とはいえ、この3つのシステムにはいくつかの工夫が必要で、どのシステムも、どんな質問にも的確な答えが返ってこない。

彼らのスピードと雄弁さは印象的だが、今のところ信頼できる包括的な情報源ではなかった。

Wikipediaのように、確かな情報源というよりは、最初の検索を絞り込むための出発点として捉えることを勧めている。

*ただし、Wikipediaは最新情報に追いつけなくなっているので、その補足とするには最適かもしれない。

つまり、次の進化が見えてきたとも言える。