Edinburgh Clinical NLP at SemEval-2024 Task 2: Fine-tune your model unless you have access to GPT-4

Edinburgh Clinical NLP at SemEval-2024 Task 2: Fine-tune your model unless you have access to GPT-4

下記の文章は論文のアブストラクトをChatGPTに解釈させたものであり、正確性は保証しません。

1. 本研究について、先行研究と比較しながら詳しく説明してください。
   この研究は、NLI4CTタスクにおける自然言語推論システムの評価を行っています。NLI4CTタスクでは、臨床試験報告書からの証拠が仮説を支持するか矛盾するかを予測する能力を評価します。先行研究では、大規模言語モデル（LLM）が医療分野で有望な結果を示しており、特にゼロショットや少数ショットのプロンプティングを用いた場合には、複雑な医療問題の理解やドメイン知識の回想、非自明な推論が可能であることが示されています。また、ドメイン適応ファインチューニングやパラメータ効率の良いファインチューニング（PEFT）も医療分野でよく使用される手法です。本研究では、これらの先行研究を参考にしながら、PEFTを用いてLLMの一貫性を改善する方法を提案しています。

2. 本研究の目的について、詳しく説明してください。
   本研究の目的は、NLI4CTタスクにおいて、LLMを評価し、その性能を向上させる方法を探ることです。具体的には、PEFTという手法を用いて、別々にファインチューニングされたアダプターをマージすることで、LLMの一貫性を改善しようとしています。また、ゼロショット推論やICL、CoTなどのプロンプティング戦略も試して、精度を向上させることを目指しています。

3. 本研究で用いたデータについて、名前や利用可否など、詳しく説明してください。
   本研究では、Clinical Trial Reports（CTR）と呼ばれるデータを使用しています。CTRは臨床試験の報告書であり、個別の症例や治療法に関する情報が含まれています。これらのデータは一般には利用可能ではありませんが、本研究ではUniversity of Edinburghの関連部門が提供したものを使用しています。具体的なデータの詳細や利用可否については、論文中には記載されていません。

4. 本研究で用いた手法について、詳しく説明してください。
   本研究では、PEFT（Parameter-Efficient Fine-Tuning）という手法を提案しています。この手法では、別々にファインチューニングされたアダプターをマージすることで、LLMの一貫性を改善します。具体的には、トリプレット損失と言語モデリング損失の2つの異なる目的で個別にファインチューニングされたアダプターをマージします。これにより、LLMのF1スコア（+0.0346）と一貫性（+0.152）が改善されることを発見しました。ただし、GPT-4と比較して、本研究の手法は信頼性や一貫性の面でより正確な結果を生み出すことはありませんでした。競技全体の3つの指標の平均値では、GPT-4が0.8328というスコアで共同1位にランクインしています。

5. 本研究で何が明らかになったか、詳しく説明してください。
   本研究の結果から、提案されたPEFTメソッドがLLMのF1スコアと一貫性スコアを改善することが明らかになりました。ただし、GPT-4は他のすべてのモデルよりも正確な結果を生み出し、競技のリーダーボードで共同1位にランクインしています。GPT-4はF1スコアでは5位ですが、高い信頼性と一貫性のスコアは、臨床領域で信頼性のある予測が可能である可能性を示しています。最後に、GPT-4の汚染分析を行い、NLI4CTデータセットのインスタンスがGPT-4の事前学習データに含まれていないかどうかを確認しました。