Medical image Generative Pre-Trained Transformer (MI-GPT): future direction for precision medicine

Medical image Generative Pre-Trained Transformer (MI-GPT): future direction for precision medicine - European Journal of Nuclear Medicine and Molecular Imaging

本研究の学術的背景や問いは、医療画像解析の進歩と人工知能（AI）の活用により、病気の予後や治療反応の予測、治療に関連する変化の認識、予後と関連する表現型と遺伝型特徴の画像表現の発見など、より複雑な意思決定タスクを支援する可能性があるということです。しかし、現在のAIベースの医療画像解析手法は、様々な障壁に直面しています。特に、モデルの汎用性を制限し、異なるタスクや疾患に対する堅牢な転送能力を達成する可能性を阻害しているのが、注釈付き医療データの不足です。また、既存の医療画像知識モデルの大部分は画像データに主に依存しており、テキスト言語データの組み込みが限定的です。これが本研究の主な問いとなります。

本研究の目的は、医療画像GPT（MI-GPT）という概念を提案し、これが医療画像分野の臨床応用における基盤モデルの未来の方向性である可能性を示すことです。また、学術的な独自性と創造性は、MI-GPTモデルの解釈可能性と汎用性を向上させるために、さまざまな医療センターやスキャナー、プロトコルから得られた広範なデータセットでモデルを訓練することを提案しています。

本研究の着想は、医療画像技術と医療画像解析方法の進歩から生まれました。特に、AIと放射線学（radiomics）の組み合わせにより、標準的な医療画像から大量の定量的特徴を自動的に抽出する新しい画像解析手法が提案されました。しかし、現在のAIベースの医療画像解析手法は、注釈付き医療データの不足やテキスト言語データの組み込みが限定的であるという問題に直面しています。これらの問題を解決するために、本研究ではMI-GPTという新しいモデルを提案しています。

本研究では、MI-GPTモデルの概念を提案し、その応用可能性を示しました。具体的には、MI-GPTモデルは、放射線科医の業務を支援するために構造化された放射線科レポートの自動生成や異常と所見の説明を行うことができます。また、MI-GPTは、テキストレポートと対話型の視覚化を組み合わせることで、臨床医に追加のサポートを提供することができます。さらに、MI-GPTは、画像、言語、音声モダリティを統合することで、臨床実践におけるリアルタイムの意思決定を支援することができます。

本研究の有効性は、MI-GPTモデルが医療現場での様々な応用に対応できる可能性を示すことで検証されました。具体的には、MI-GPTモデルは、放射線科レポートの自動生成、患者の歴史を考慮した異常と所見の説明、テキストレポートと対話型の視覚化の組み合わせ、画像、言語、音声モダリティの統合によるリアルタイムの意思決定支援など、医療現場での様々なタスクを支援することができます。