CPLLM: Clinical Prediction with Large Language Models

CPLLM: Clinical Prediction with Large Language Models

1 本研究の学術的背景は自然言語処理（NLP）に関連する大規模言語モデル（LLM）の研究で、その研究課題の核心をなす問いは、「大規模言語モデルを細かく調整（ファインチューニング）して、患者の次回診察時やその後に特定の疾患が診断されるか予測することは可能か？」というものです。

2 本研究の目的は、大規模言語モデルをファインチューニングし、患者の電子健康記録（EHR）データから疾患を予測する新手法「CPLLM」を開発することです。また、それにより、ベースラインモデルであるLogistic Regression、RETAIN、Med-BERTといった現在の最新技術を凌駕することを目指しています。これは従来の予測モデルとは異なる、大規模言語モデル（LLM）を活用した新たなアプローチであるため、学術的な独自性と創造性を持っています。

3 臨床予測は、疾患への感性の推定や治療反応の可能性の評価、患者の医療状態の予後判断などに使用されており、以前はロジスティック回帰やランダムフォレストなどの古典的なモデルが用いられていました。しかしこれらの手法は、診断や処置、薬物などの医療概念のイベントの順序をモデル化していませんでした。近年では、より進歩した予測モデルとして、RNNやトランスフォーマーに基づく予測モデルが注目されています。本研究はこの系譜に位置づけられ、大規模言語モデル（LLM）を活用して患者の疾患を予測する新たな試みです。

4 本研究では、大規模言語モデル（LLM）を利用して、患者の電子病歴（EHR）データから疾患の予測を試みました。その結果、CPLLMは全ての試験モデルを超える性能を示し、PR-AUCとROC-AUCの両メトリックにおいて顕著な改善を達成しました。

5 本研究の有効性を検証するために、LLMであるLlama2とBioMedLMを使用して予測タスクを実施し、3つのベースラインモデルと性能を比較しました。その結果、提案した方法は先行研究の方法よりも優れた性能を示し、治療のさまざまな領域などに応用可能な一般的な手法であることが示されました。