![見出し画像](https://assets.st-note.com/production/uploads/images/110993555/rectangle_large_type_2_32d46f07b9d4a686c3f16f066a332470.png?width=1200)
医療情報検索に、どのAIが良いか比較してみる: Perplexity Ai, Bard, Bing, Claud2,その他
ChatGPTやBARTなどの大規模言語モデルを利用した検索エンジンが最近出現し話題になっている。
今回どのサーチエンジンが、医療情報の検索に良いのが検討してみた。
前評判で高いPerplexity Ai
中でもOpenAIのテクノロジーを検索エンジンにダイレクトに利用したPerplexity aiはその検索性の高さから前評判が高く、リリース直後から医療系では色々と注目されていた。
知らなきゃ損です。
— ナギ| AI活用術×図解 (@nagi__blog) July 3, 2023
世にあるAIツールはついに2,000個を超えました。
その中で僕が使って本当に良かったものを
ランキング別で20個厳選。
これだけブックマークしておけばOK。
📌コメ欄で各ランキングを詳しくまとめ
【最後にプレゼントあり】 pic.twitter.com/W5eMGEob5R
特に医療情報については精度の高い情報が得られると評判になっていた。
噂のPerplexity AI、確かに賢いわ。。。 pic.twitter.com/KMnA3zl8Mv
— レ点🧬💉💊紙ストロー断固許さない (@m0370) February 5, 2023
AIツールおすすめ使い分け
— 編集長 byc (@bycomet) June 26, 2023
対話しながら考えたい→Bing
文章を推敲したい→ChatGPT
調べたい→Perplexity
医療情報検索はこちら https://t.co/UGJSLeeddD
![](https://assets.st-note.com/img/1689559728524-LnsVJxDVB5.png?width=1200)
一方でBardやBingはいまひとつな印象で、数週間前に自分が使った時の印象だと幻覚による間違った文献情報教えられた。
Bardに質問したら、全然存在しない論文を教えられた。。まだ検索対応していないんでしたっけ?
— Toshi⁷ MD,PhD 🇺🇸|アメリカで研究&開発 (@tokitky) July 6, 2023
やっぱり質問ベースの検索はperplexityが良さそう。 pic.twitter.com/P4bRT5Fclc
意外と良いBard
https://twitter.com/tokitky/status/1676259653787742209
今回、Perplexity Aiで前に使って質問「Diffuse Large B cell LymphomaのPhase 3試験での患者さんのうちベースラインで骨髄浸潤のある人の割合知ってる?」(Do you know if there is any data on the percentage of patients with bone marrow involvement in phase 3 DLBCL trials?)という質問を、Perplexity AI, Bard, Bingに聞いてみることにした。
Perplexityはこないだほど上手くいかなかったが、10−25%と妥当な数字を出し、引用している論文やサイトは実在するものであり、必要な論文は引っ掛けてきていた。安定の出力である。
![](https://assets.st-note.com/img/1689560453439-quNDosxVqc.png?width=1200)
一方でBardはドンピシャな回答、GOYA試験で11.8%という数字を数多くの文献の中から引っ張り出してきてくれたのには驚いた。今回表示された文献も架空のものではなく全て実在するそこそこ関連の深いもの。
数週間前にできなかったことができているのは素晴らしい!
![](https://assets.st-note.com/img/1689560681393-yFwfiuRHTt.png?width=1200)
Bingに関しても同様の質問をすると、一般的には8-10%、多いと30%という一般的な(Phase 3でなく)骨髄浸潤の度合いを表示してくれる。間違ってはないないが欲しい情報ではないという印象だ。また出典に関しては実在のものを表示してくれるのはありがたいところ。
![](https://assets.st-note.com/img/1689560969341-7A8FF7o4rj.png?width=1200)
ちなみにここで意地悪な質問をBardにしてGOYA試験ではどうなのと聞いてみる。
これについてはBingはわからないという。
![](https://assets.st-note.com/img/1689561209052-2LXttae213.png?width=1200)
実はPerplexityにも同じ質問をしてみるが、少しズレた回答をしてきた。
ここまでくるとBardに軍配が上がりそう。
ここで別のPhase 3試験Polarixについて聞いてみる (下表が正解)
![](https://assets.st-note.com/img/1689561548388-sLwzrvy1Zu.png?width=1200)
前回これについてはPerplexityは約16%と正しく情報を抽出できていたのだけれど、
今回はダイレクトに答えずわからなかった模様。
![](https://assets.st-note.com/img/1689561663510-iXrC90qHwa.png?width=1200)
Bingもわからな印象。
![](https://assets.st-note.com/img/1689561697407-CC43V70KFr.png?width=1200)
一方でBardは全く存在しない情報をでっち上げた模様。
![](https://assets.st-note.com/img/1689561768800-ImN2QWtye1.png?width=1200)
基本的にはリサーチペーパーのサプリメントの部分は検索に入れていないということなのかもしれないが、Bardはわからないと幻覚が出やすいのはまだ要注意かもしれない。
初手Perplexity, Bard&Bingで確認が最適か?
1ケースだけで判断するのは性急かもしれないが、他の方の情報や自分のこれまでの経験からすると、
初手Perplexityは間違っていない気がする。時間のない時にはこれで済まして良いかもしれない。
その後Bard&Bingで探しもれがないのか検索してみるのは悪くない。
特にBardは最近性能が急速に上がっているので、幻覚の問題が改善される可能性がある。
その他の医療系AI注目ポイント(Bardで画像診断、Claud2、SciSpace)
またBardのボーナスポイントは画像が使えるようになってきたこと。医療系のサーチエンジンとしての新しい地平も見えている。
センスいい!!!
— 河野 健一 生成AI ✕ 医療に注目! 手術支援AI CEO 脳外科医 (@CeoImed) July 15, 2023
「Google bardによる画像診断」
頭部MRIで脳動脈瘤が写っています
bardは動脈瘤であることを見抜いて、情報を提供してくれています
場所は右中大脳動脈と言っていますが、実際には前交通動脈です
汎用的なAIでここまでできるのは凄いですね pic.twitter.com/cVZZfShcRf
可能性しかない!!!
— 河野 健一 生成AI ✕ 医療に注目! 手術支援AI CEO 脳外科医 (@CeoImed) July 15, 2023
「Bardによる採血結果の読み取り」
採血結果表から読み取って、表にしてくれます。
表をクリックすると、Googleのスプレッドシートに展開されて、自由に加工できます!
読み取りにミスはありますが、個人電子カルテ(PHR)に利用できそうです pic.twitter.com/nbckuz9wAp
凄い!!!
— 河野 健一 生成AI ✕ 医療に注目! 手術支援AI CEO 脳外科医 (@CeoImed) July 15, 2023
バイタルモニターの読み取りも!!!
(Bard)
心拍数、酸素飽和度(SpO2)、血圧を正しく読み取れています
20は呼吸数で間違えていますが、これに特化して学習しているわけではないので、凄いですね
Googleのスプレッドシートにもワンクリックで行けます
可能性だらけですね pic.twitter.com/HLwoWD4YRA
さらにこれ以外に論文丸ごとを投げて検索できるシステムClaud2も最近出てきて注目された。
話題のclaud2で論文読み込ませてみたけど、すごいわこれ。3000文字みたいなケチなこと言わずに、10MB以下の長文の論文でもサクッと読み込んで分析してくれる!
— Toshi⁷ MD,PhD 🇺🇸|アメリカで研究&開発 (@tokitky) July 15, 2023
長文の論文がいけるということはたぶんyoutubeの長時間の文字起こしでもいけそう!https://t.co/AimH6KSiiI pic.twitter.com/p5qeEvlmw5
これについては発展途上であるが、10MBといったほぼ論文全てを投げれるので有用であることは間違いない。ただし論文に書いてないことに質問が及ぶと幻覚からは免れないという問題点がある。
Claud2、Discussion部分をよくまとめてくれているので、Cdk2活性の測定の記述、論文の中間や最後の方にある内容でも把握していそうである。しかし論文になりCdk2活性センサーの作成法については完全にでっち上げている。幻覚との区別が難しいというか結局まだ論文読んだほうが早いのか。。 https://t.co/XhkOCkrLEA pic.twitter.com/u3V8PqA6s1
— Toshi⁷ MD,PhD 🇺🇸|アメリカで研究&開発 (@tokitky) July 17, 2023
またまだきちんと使っていないが、同様のシステムでSciSpaceというものも出てきた。これはもっと大きなサイズの論文が入れられそうで注目である。
論文読解サポートAI「SciSpace」がヤバいんだが…レビューという苦行から人類が解放される日も近いのか?
— Dr. すきとほる | 疫学専門家 (@iznaiy_emjawak) July 8, 2023
①質問を入れて15秒で↓全部完了
・先行研究レビュー
・レビュー結果要約
・各論文の解説
・翻訳
②AIが質疑応答対応
③無料🤪
リンク👇https://t.co/trjjY5G2Ls pic.twitter.com/fOyHEvMVvT
この記事が気に入ったらサポートをしてみませんか?