The shaky foundations of large language models and foundation models for electronic health records

The shaky foundations of large language models and foundation models for electronic health records - npj Digital Medicine

1. 本研究の学術的背景，研究課題の核心をなす学術的「問い」は？

• ChatGPTやAlphaFoldのようなファウンデーションモデルは、電子カルテ（EMR）向けの類似モデルの構築に対する関心を引き起こしている。しかし、これらのモデルの可能性の理解には、まだ重大な欠点がある。本研究では、非画像 EMR データに基づくファウンデーションモデルを評価し、より有用な医療提供に向けた改良された評価フレームワークを提案する、という学術的問いを明らかにした。

1. 本研究の目的及び学術的独自性と創造性は？

• 本研究の目的は、非画像 EMR データに基づくファウンデーションモデルを分類し、個々のモデルにおけるアーキテクチャ、トレーニングデータ、利用可能な用途について調査することにある。また、より具体的な改善点を明確にするために、医療現場での有効性を評価するためのフレームワークを提案した点が、本研究の独自性である。

1. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは？

• 電子カルテに関するファウンデーションモデルについて研究が進んでいるが、医療現場での有用性や実質的な精度についてはまだ不明な点が多い。本研究では、非画像 EMR データに基づくファウンデーションモデルに着目し、精度の改善策を提案する点で、先行研究とは異なる位置づけを示している。

1. 本研究で何をどのように、どこまで明らかにした？

• 本研究では、非画像 EMR データに基づくファウンデーションモデル84ヶ所について調査を行い、アーキテクチャ、トレーニングデータ、利用可能な用途等を分類した。そして、一般的に既存の小規模なクリニカル・データで計算されたファウンデーションモデルが多いという結果を得た。本研究は、これらの情報をもとに、医療分野でファウンデーションモデルをより有用に利用するために改良された評価フレームワークを提案した。

1. 本研究の有効性はどのように検証した？

• 本研究では、ファウンデーションモデルの有用性を評価するための改良されたフレームワークを提案した。このフレームワークは、医療分野でファウンデーションモデルの有用性をより実際的なメトリックで測定することを可能にする。本研究では、提案されたフレームワークを用いて、ファウンデーションモデルの有用性を客観的に評価することを目的とした。