5月23日に開催された開発者向け会議のMicrosoft Build 2023の中で、ChatGPTの標準検索エンジンとしてMicrosoftのBingを採用することが発表され、すぐに有料のChatGPT Plusユーザー向けに新しいBing検索の導入が始まりました。また、無料ユーザーも近いうちにBing検索プラグインを利用できるようになるそうです。
筆者も5月25日から新しいBing検索が使えるようになりましたので、早速、その性能をテストしてみました。
↑ 文章生成AIを触りたい人の必読書です。是非!
1.これまでの検索機能との比較
ChatGPTの新しいBing検索(新検索)に同じ質問を投げて、これまでの検索機能(旧検索)の回答と比較してみました。
(1) 2023年ワールドベースボールクラシックの結果
決勝戦までの成績を基に回答した新検索の回答の方が優れていますが、たまたま検索でヒットしたサイトが良かっただけということもできます。ChatGPTは、常に複数のサイトを参照する本家のBingなどと異なり、単一のサイトのみを参照することも多いため、回答の品質は、最初に偶然ヒットしたサイトに大きく左右されます。
また、検索に時間がかかるというChatGPTの検索の最大の課題は、新しいBing検索でも改善されていません。以下のように何度も同じサイトへのクリックや読込失敗を繰り返して、相当時間がかかっています。
(2) 広島サミット
新検索は公式サイトを参照しているため、会議の結果が淡々と記載されており、旧検索はニュース記事を参照しているため、評論的な見方などが記載されていますが、どちらもよくまとまっています。
ただし、やはり、以下の検索実行結果のとおり、同じサイトへのクリックを繰り返して、相当時間がかかっています。
(3) 旧検索との比較の結果
他にも、色々と検索してみましたが、基本的に新検索と旧検索に大きな違いはなく、検索に時間がかかるという課題は解消されていません。
旧検索もBing検索を利用して検索を行っており、「Browsing」から「Browse with Bing」に表示が変わっても、性能に変化はないようです。
Bing AIチャットのように、検索エンジンの内部データベースに直接アクセスすることによって、検索ミスが減り、高速な処理が実現することを期待していたのですが、そうはならなかったようです。
検索して、1ページずつサイトをクリックして内容を読んでいくという時間のかかる動作や、何度も失敗を繰り返すという問題は改善されませんでした。
また、Bing AIチャットでは、日本語で質問した場合には、日本語のキーワードで日本語のサイトを検索するのですが、ChatGPTの場合は、日本語で質問しても、英語のキーワードで英語のサイトを検索するのが基本になっています。
2.ChatGPTの検索機能の賢い利用方法
(1) 日本語サイトの検索
日本のことを調べたいときは、「日本語で検索してください。」「日本のニュースサイトを調べてください。」など、検索対象を日本のサイトとするように指示すれば、検索の精度が上がるようです。
(2) 検索対象の特定
ChatGPTのBing検索では、なかなか期待したようなサイトを検索してくれない場合が多いので、ある程度、検索して欲しいサイトの目途が付いている場合は、調べる対象を特定又は限定しましょう。
3.サイトの要約
URLを示すことでサイトを要約できるか試してみます。
(1) 日本語サイトの要約
(2) 英語サイトの要約
サイトの要約については、検索の失敗が多く、上手くいかない場合があるのが課題です。
(3) PDFファイルの要約
以上のように、ChatGPTのBing検索は、URLを示すだけでサイトの内容を読み込んで要約することができます。ただし、ページの読み込みに失敗することも多く、時間がかかったり、時間切れで失敗したりすることもあります。
また、PDFファイルをChatGPTで直接読み込むのは難しいようですが、HTMLに変換するar5ivを通じてPDFファイルを読むことに成功しました。
比較のため、Bingにも同じ指示をして、論文PDFの内容をまとめてもらいました。
4.検索機能を利用したブログ記事の作成
検索で集めた最新ニュースをもとにブログ記事を書いてもらいました。
以上のように、Bing検索の機能を利用して集めた3本の最新ニュースをもとにブログ記事を書いてくれました。
検索機能をうまく使えば、このように最近の話題を踏まえた記事を自動生成することができます。
5.まとめ
ChatGPTの検索機能は、BingやBard と比較して、検索に時間がかかり、ページ読込みの失敗なども多くて、使い勝手が悪いです。
また、WebPilotなどのWeb検索用プラグインを利用しても同様です。
新しいBing検索が導入されることによって、これが改善されることを期待していたのですが、結局、「Browsing」から「Browse with Bing」に表示が変わっただけで、検索の性能は以前と変わりませんでした。
ChatGPTのBing検索が通常のユーザーと同じように、検索したサイトを開いて内容を1ページずつ読んでいるのに対し、おそらくBingやBard は、検索エンジンの内部的なデータベースに直接アクセスすることによって、検索の精度やスピードを上げています。
【参考】BingチャットのAIモデル「Prometheus」の仕組み
Prometheusは、Bingのインデックス、ランキング及び検索結果とGPT-4ベースの推論機能を組み合わせたMicrosoft独自のAIモデルです。
Prometheusでは、ユーザーからチャットによる問い合わせ(クエリ)が来ると、Bing Orchestratorというコンポーネントが内部クエリを繰り返し生成し、その中から適切な内部クエリを選択して、対応するBingの検索結果と一緒に回答を生成します。
このような仕組みによって、Bingチャットは、タイムリーで関連性が高い回答を提供することができます。
MicrosoftとOpenAIは協力関係にありますが、ライバルでもあり、簡単に核心部分は渡さないということなのでしょう。
現時点では、検索目的で使うのであれば、BingやBard 、あるいはPerplexity AIを利用した方がよいというしかありません。
ChatGPTの検索機能の利用が意味を持つのは、検索した結果を用いてブログ記事を書くというように、ChatGPTの文章生成能力と組み合わせて使う場合です。
現在のChatGPTのBing検索は、他のプラグインと組み合わせて使うこともできません。
簡単なことではありませんが、今後、Microsoftが検索エンジンを開放するか、OpenAIが他社と組んで画期的な検索プラグインが現れるかして、ChatGPTの検索機能が改善されることを期待します。