Medical text classification based on the discriminative pre-training model and prompt-tuning

https://journals.sagepub.com/doi/full/10.1177/20552076231193213

1. 本研究の学術的背景，研究課題の核心をなす学術的「問い」は？
- 医療テキスト分類は、短い医療テキストが属するカテゴリを識別する医療自然言語処理の基本的なタスクの一つです。本研究の学術的背景は、自然言語処理タスクに対するpre-training言語モデルの利用に焦点を当て、その性能を向上させることが求められている点にあります。

2. 本研究の目的及び学術的独自性と創造性は？
- 本研究の目的は、医療テキスト分類において、より高精度な予測を生成するためにpre-training言語モデルのパラメータ数を増やすことなく、prompt-tuningという手法を用いることです。特に、ERNIE-Healthという識別的なpre-training言語モデルを用いて、multi-token selection taskをベースにしたprompt-tuningを行うことを目指します。

3. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは？
- 近年、自然言語処理タスクにおけるpre-training言語モデルの性能向上が注目されており、医療テキスト分類に対する研究も進んでいます。本研究は、pre-training言語モデルを用いた高精度な医療テキスト分類を目指すなかで、prompt-tuningという手法を開発しました。

4. 本研究で何をどのように、どこまで明らかにした？
- 本研究では、ERNIE-Healthという識別的なpre-training言語モデルを用いたprompt-tuningを試み、KUAKE-Question Intention ClassificationやCHiP-Clinical Trial Criterionのデータセットを用いた実験を行いました。我々の手法は、従来のfine-tuningに比べて損失値が低下する速度が速く、高い精度を達成しました。

5. 本研究の有効性はどのように検証した？
- 本研究では、ERNIE-Healthという識別的なpre-training言語モデルを用いたprompt-tuningを試み、KUAKE-Question Intention ClassificationやCHiP-Clinical Trial Criterionのデータセットを用いた実験を行いました。我々の手法は、従来のfine-tuningに比べて損失値が低下する速度が速く、高い精度を達成しました。