CHIRon: A Generative Foundation Model forStructured Sequential Medical Data

https://openreview.net/pdf?id=qV1sBPrfRL

1. 本研究の学術的背景や研究課題の核心は、大規模言語モデル（LLMs）の進歩に関連しています。これまでの研究では、基盤モデル（FMs）がシーケンスの複雑な表現を学習できることが示されてきました。この研究では、FMsがテキストに焦点を当てたものが多いですが、最近の研究ではFMsが医療データのようなシーケンシャルデータにも適用できることが示されました。具体的には、特定の患者の診療データに関連付けられたICD-10診断コードなどです。これらのFMsは、下流の識別的な疾患分類タスクでの性能の向上を示していますが、データ拡張やプライバシー保護のための人工的な患者データの合成などの生成タスクには使用できません。そのため、この研究では、シーケンシャル医療データのための生成型FMであるCHIRonを初めて紹介しています。

2. 本研究の目的は、医療データにおける生成タスクと識別タスクの両方で性能を評価することです。従来のテキストに関する研究における生成型FM（GPTスタイルのモデル）の成功を考慮し、本研究では構造化されたシーケンシャル患者データのための新たな生成型FMを提案し、その性能を調査しています。また、先行研究やトランスフォーマーベースのモデルにおいても、診断コードに焦点が当てられていたため、本研究では手術コード、薬剤、検査結果、患者の人口統計データなど、さまざまなデータタイプに対応しています。さらに、各医療コードに有用な文脈を提供する場所情報のための新しい埋め込みも導入しています。

3. CHIRonの着想は、テキストの生成型FM（GPTスタイルのモデル）の成功に触発されたと述べられています。先行研究では、構造化されたシーケンシャル医療データ（ICD-10診断コードなど）を使用したBERTを含むFMsが開発され、従来の機械学習手法と比べて優れた性能を示していました。しかし、これらのモデルは生成目的には容易には使用できませんでした。そのため、本研究では構造化されたシーケンシャル患者データに対して生成型FMを開発し、その性能を評価することを目指しています。国内外の研究動向としては、医療データの解析や予測において大規模言語モデルの活用が進んでおり、それに関連する研究が増えてきています。

4. 本研究では、CHIRonがシーケンシャル医療データの生成タスクにおいて実際に使用できることを数種類の定量的指標で示しています。また、疾患の開始時期の分類タスクに対してCHIRonを微調整し、既存の識別型FMsよりも優れた性能を示すことも明らかにしました。具体的には、生成型FMがシーケンシャル医療データの生成と分類の両方において有力なツールであることを実証しています。

5. 本研究では、CHIRonの性能を実証するために実験を行っています。生成タスクでは、CHIRonが複数の定量的指標に基づいて新しいコードを正確に生成できることを示しています。識別タスクでは、疾患の開始時期の分類タスクにおいて、CHIRonが既存の識別型FMsよりも優れた性能を発揮することを確認しています。これにより、生成型FMがシーケンシャル医療データの生成と分類の両方において有効なツールであることを示しています。