Model Tuning or Prompt Tuning? A Study of Large Language Models for Clinical Concept and Relation Extraction

Model Tuning or Prompt Tuning? A Study of Large Language Models for Clinical Concept and Relation Extraction

1. 本研究の学術的背景、研究課題の核心をなす学術的「問い」は何ですか？
   本研究の学術的背景は、大規模言語モデル（LLM）を使った柔軟なプロンプトベースの学習アルゴリズムの開発に関連しています。研究課題の核心的な問いは、プロンプトの形状、凍結/解凍されたLLMを使ったプロンプトの調整、転移学習、少数のデータでの学習能力などを調査することです。

2. 本研究の目的及び学術的独自性と創造性は何ですか？
   本研究の目的は、柔軟なプロンプトベースの学習アーキテクチャを開発し、ソフトプロンプトとハードプロンプト、凍結LLMと解凍LLMのトレーニング戦略などを検証することです。これにより、少数のデータや新しいタスクへの転移学習、ゼロショット学習などの能力を向上させることを目指しています。

3. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは？
   本研究の着想は、最近の言語モデルとプロンプトベースの学習に関する研究動向に基づいています。プロンプトベースの学習は、従来のモデルチューニングやハードプロンプトに比べて、高い転移学習や少数データでの学習能力を持つことが示されています。しかし、まだソフトプロンプトと凍結LLMを使ったトレーニング戦略に関しては不明な点が多いため、本研究ではこれを明らかにすることを目指しています。

4. 本研究で何をどのように、どこまで明らかにした？
   本研究では、4つの異なるトレーニング戦略を用いて7つの事前学習済みLLMを評価し、2つのベンチマークデータセットで臨床概念抽出と関係抽出の性能を比較しました。その結果、ソフトプロンプトと解凍LLMを組み合わせた場合に最も優れた性能が得られることが分かりました。また、凍結LLMを使ったプロンプトチューニングの転移学習能力も評価し、これによってマルチ施設での応用が可能になることを示しました。

5. 本研究の有効性はどのように検証した？
   本研究では、評価実験を通じてプロンプトベースの学習アルゴリズムの有効性を検証しました。臨床概念抽出と関係抽出のタスクにおいて、ソフトプロンプトと解凍LLMを組み合わせた場合に最も優れた性能が得られることが示されました。また、凍結LLMを使ったプロンプトチューニングが転移学習や少数データでの学習において有効であることも明らかにしました。