IITK at SemEval-2024 Task 2: Exploring the Capabilities of LLMs for Safe Biomedical Natural Language Inference for Clinical Trials

IITK at SemEval-2024 Task 2: Exploring the Capabilities of LLMs for Safe Biomedical Natural Language Inference for Clinical Trials

下記の文章は論文のアブストラクトをChatGPTに解釈させたものであり、正確性は保証しません。

1 この研究は、LLM（Large Language Models）の能力を調査するものであり、先行研究と比較しながらそのロバストさ、一貫性、忠実な推論能力を調べています。具体的には、SemEval 2024 Task 2: Safe Biomedical Natural Language Inference for Clinical Trialsというコンテキストで、乳がん臨床試験報告書（CTR）における自然言語推論（NLI）を行います。この研究では、GPT-3.5とGemini Proという2つの事前学習済み言語モデルを使用し、Retrieval-Augmented Generation（RAG）フレームワークを統合して、さまざまな推論チェーンを評価します。評価結果は、テストデータセットにおいてF1スコアが0.69、一貫性が0.71、忠実性スコアが0.90であることが示されています。

2 この研究の目的は、LLMの能力を調査することです。具体的には、乳がん臨床試験報告書における自然言語推論の一貫性と忠実性を調べます。また、LLMの推論能力や論理的な問題解決能力についても研究します。

3 この研究で使用されたデータは、乳がん臨床試験報告書（CTR）です。CTRは、新しい医療治療法の有効性や安全性を評価するための重要な取り組みであり、医療専門家が治療法の設計や処方において重要な情報源となっています。CTRは、エリギビリティ基準、介入詳細、結果、有害事象などのセクションに詳細な方法論と結果を記載しています。本研究では、乳がんCTRから抽出された文に関する推論関係を決定するためのデータが使用されています。データは、トレーニングセット、開発セット、テストセットに分割されており、トレーニングセットには1700のサンプル、開発セットには200のサンプル、テストセットには5500のサンプルが含まれています。

4 この研究で使用された手法は、Retrieval-Augmented Generation（RAG）フレームワークという手法です。具体的には、GPT-3.5とGemini Proという2つの事前学習済み言語モデルを使用し、RAGフレームワークを統合して自然言語推論を行います。また、Tree of Thoughts（ToT）推論とChain-of-Thought（CoT）推論という2つの推論フレームワークも統合されています。これにより、論理的な問題解決や多重推論の能力を評価します。具体的な実験手法や手法の詳細は、論文中で詳しく説明されています。

5 この研究によって明らかになったことは、GPT-3.5とGemini Proという2つの言語モデルの性能の違いです。Gemini Proは、F1スコアが0.69であり、一貫性と忠実性のスコアも高い結果を示しました。一方、GPT-3.5は、数値推論を必要とする場合に性能の低下が見られました。また、他の言語モデルの性能や実験結果も報告されています。この研究は、LLMの推論能力や論理的な問題解決能力に関する理解を深める上で重要な知見を提供しています。