A systematic evaluation of the performance of GPT-4 and PaLM2 to diagnose comorbidities in MIMIC-IV patients
https://onlinelibrary.wiley.com/doi/full/10.1002/hcs2.79
下記の文章は論文のアブストラクトをChatGPTに解釈させたものであり、正確性は保証しません。
論文タイプ：オリジナル論文
掲載誌：Health Care Science（ヘルスケアサイエンス）
本研究の背景と関連研究：
本研究は、病院での診断エラー率の高さと、最近の大規模言語モデル（LLM）の開発を踏まえて、人工知能（AI）を用いた診断の感度を測定することを目的としています。これまでの小規模な研究では、LLMの診断能力に関して有望な結果が示されており、GPT-4はテストケースの診断において高い精度を示しています。しかし、より信頼性の高い推定を得るためには、実際の電子患者データに基づく大規模な評価が必要です。
本研究の目的とその重要性：
本研究の目的は、GPT-4とPaLM2という2つの人気のあるLLMの診断感度を測定することです。これにより、AIが臨床医と協力して認知エラーを減らす潜在能力を持っており、年間数十万件の誤診を防ぐことができる可能性があることが示唆されます。しかし、AIの健康への組み込みには、倫理的な問題や責任、規制上の障壁など、多くの課題が存在しています。
本研究で用いた材料やデータの詳細：
本研究では、ボストンのベス・イスラエル・ディーコネス医療センターに入院した約30万人の患者の匿名化された電子健康記録（EHR）データセットを使用しました。このデータセットには、血液、画像、微生物学、生命維持情報、および患者の医学的診断コードが含まれています。利用可能なEHRデータに基づいて、医師たちは各患者の診断を選定し、これを「グラウンドトゥルース診断」と呼びます。その後、LLMから患者の診断予測を得るために注意深く作成されたプロンプトを設計し、これを1000人の患者の無作為なサンプルのグラウンドトゥルース診断と比較しました。
本研究で何をどのように、どこまで明らかにした？
本研究では、正しく予測されたグラウンドトゥルース診断の割合に基づいて、GPT-4の診断的命中率を93.9％と推定しました。同じデータセットでPaLM2は84.7％を達成しました。これらの1000人の無作為に選ばれたEHRに基づいて、GPT-4は1116件の一意の診断を正しく特定しました。
本研究の有効性はどのように検証した？
本研究では、GPT-4とPaLM2の診断感度を評価するために、実際の電子患者データを使用しました。GPT-4は高い診断的命中率を示し、AIが臨床医と協力して認知エラーを減らす潜在能力を持っていることが示されました。しかし、AIの健康への組み込みにはまだ倫理的な問題や責任、規制上の障壁が存在することも指摘されています。
この記事が気に入ったらサポートをしてみませんか？