Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges

Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges

1. 本研究の学術的背景としては、電子健康記録（EHR）データが放射線医の診断を支える重要な情報を含んでいることがあげられます。しかし、時間制約や個々の患者に関連するノートの大量の情報量のため、手作業でデータを調べて関連する証拠を特定することは現実的に不可能です。そこで研究課題の核心となる学術的「問い」としては、「大規模言語モデルを用いた新しいアプローチにより、非構造化EHRデータから関連性の高い情報を効率的に取り出し、まとめることが可能か」が挙げられます。

2. 本研究の目的は、大規模言語モデル（LLM）、特にFlan-T5 XXLを用いて、患者が特定の病状を有しているかリスクがあるかを推論し、支持する証拠を要約する手法を提案し、評価することです。独自性と創造性は、非構造化EHRデータと対話し、問い合わせに関連する証拠を効率的に取得・要約する柔軟さをLLMを用いて実現している点にあります。

3. 電子健康記録（EHR）の大量のテキスト情報を効率よく利用するためのメカニズムの開発が必要とされていた中で、LLMを使用した新たなアプローチが研究されれば、画像診断学や臨床診断、医療情報学などの分野でその利点を発揮し、深い影響をもたらす可能性があったと考えられます。

4. LLMが患者の特定の状態に関する推論とその支持証拠の要約を行うためのフレームワークを開発しました。放射線科医師による手動評価の結果、従来の情報検索ベースラインと比較して、LLMによるアプローチが優れていることが示されました。しかし、重要な課題としてLLMが証拠を"作り出す"（hallucinating）傾向があることが指摘され、解決の方策について考察されました。

5. 本研究では、放射線科医師による手動評価を行い、システムの有効性を検討しました。特に、LLMによる出力が従来の情報検索ベースラインに比べて優れていることが明らかにされ、また、LLMが証拠を作り出す傾向があるときには、モデルの出力への自信度が示される可能性があることが示唆されました。