見出し画像

医療情報検索に、どのAIが良いか比較してみる： Perplexity Ai, Bard, Bing, Claud2,その他

toshi

ChatGPTやBARTなどの大規模言語モデルを利用した検索エンジンが最近出現し話題になっている。

今回どのサーチエンジンが、医療情報の検索に良いのが検討してみた。

前評判で高いPerplexity Ai

中でもOpenAIのテクノロジーを検索エンジンにダイレクトに利用したPerplexity aiはその検索性の高さから前評判が高く、リリース直後から医療系では色々と注目されていた。

特に医療情報については精度の高い情報が得られると評判になっていた。

一方でBardやBingはいまひとつな印象で、数週間前に自分が使った時の印象だと幻覚による間違った文献情報教えられた。

意外と良いBard

https://twitter.com/tokitky/status/1676259653787742209

今回、Perplexity Aiで前に使って質問「Diffuse Large B cell LymphomaのPhase 3試験での患者さんのうちベースラインで骨髄浸潤のある人の割合知ってる？」（Do you know if there is any data on the percentage of patients with bone marrow involvement in phase 3 DLBCL trials?）という質問を、Perplexity AI, Bard, Bingに聞いてみることにした。

 Perplexityはこないだほど上手くいかなかったが、10−25％と妥当な数字を出し、引用している論文やサイトは実在するものであり、必要な論文は引っ掛けてきていた。安定の出力である。

https://www.perplexity.ai/

一方でBardはドンピシャな回答、GOYA試験で11.8%という数字を数多くの文献の中から引っ張り出してきてくれたのには驚いた。今回表示された文献も架空のものではなく全て実在するそこそこ関連の深いもの。
数週間前にできなかったことができているのは素晴らしい！

Bingに関しても同様の質問をすると、一般的には8-10%、多いと30％という一般的な（Phase 3でなく）骨髄浸潤の度合いを表示してくれる。間違ってはないないが欲しい情報ではないという印象だ。また出典に関しては実在のものを表示してくれるのはありがたいところ。

ちなみにここで意地悪な質問をBardにしてGOYA試験ではどうなのと聞いてみる。

これについてはBingはわからないという。

実はPerplexityにも同じ質問をしてみるが、少しズレた回答をしてきた。

ここまでくるとBardに軍配が上がりそう。
ここで別のPhase 3試験Polarixについて聞いてみる (下表が正解)

前回これについてはPerplexityは約16％と正しく情報を抽出できていたのだけれど、
今回はダイレクトに答えずわからなかった模様。

Bingもわからな印象。

一方でBardは全く存在しない情報をでっち上げた模様。

基本的にはリサーチペーパーのサプリメントの部分は検索に入れていないということなのかもしれないが、Bardはわからないと幻覚が出やすいのはまだ要注意かもしれない。

初手Perplexity, Bard＆Bingで確認が最適か？

１ケースだけで判断するのは性急かもしれないが、他の方の情報や自分のこれまでの経験からすると、

初手Perplexityは間違っていない気がする。時間のない時にはこれで済まして良いかもしれない。

その後Bard＆Bingで探しもれがないのか検索してみるのは悪くない。

特にBardは最近性能が急速に上がっているので、幻覚の問題が改善される可能性がある。

その他の医療系AI注目ポイント（Bardで画像診断、Claud2、SciSpace)

またBardのボーナスポイントは画像が使えるようになってきたこと。医療系のサーチエンジンとしての新しい地平も見えている。

さらにこれ以外に論文丸ごとを投げて検索できるシステムClaud2も最近出てきて注目された。

これについては発展途上であるが、10MBといったほぼ論文全てを投げれるので有用であることは間違いない。ただし論文に書いてないことに質問が及ぶと幻覚からは免れないという問題点がある。

またまだきちんと使っていないが、同様のシステムでSciSpaceというものも出てきた。これはもっと大きなサイズの論文が入れられそうで注目である。


この記事が気に入ったらサポートをしてみませんか？