A Comprehensive Evaluation of Large Language Models on Benchmark Biomedical Text Processing Tasks

A Comprehensive Evaluation of Large Language Models on Benchmark Biomedical Text Processing Tasks

本研究の学術的背景や問いは、大規模な言語モデル（LLM）が広範なタスクを解決する能力を示しているにも関わらず、その能力がバイオメディカル分野でどの程度有効なのかがまだ調査されていないという問題にあります。このため、本研究では、LLMのバイオメディカルタスクに対する性能を評価することを目指しています。

本研究の目的は、LLMのバイオメディカルタスクに対する性能を評価し、その結果を通じてLLMの有用性と限界を理解することです。学術的な独自性と創造性は、バイオメディカル分野でのLLMの評価と比較を初めて広範囲に行った点にあります。

本研究の着想は、自然言語処理（NLP）の分野での言語モデルの急速な成長と、それがバイオメディカル分野を含む様々な領域での進歩につながっていることから来ています。しかし、バイオメディカルテキストの処理と情報検索の領域では、LLMの調査がまだ十分に行われていません。

本研究では、4つの人気のあるLLMを26のデータセットを用いて6つの異なるバイオメディカルタスクで評価しました。その結果、訓練データセットが小さいバイオメディカルデータセットでは、ゼロショットLLMが現在の最先端の微調整されたバイオメディカルモデルを上回る性能を示すことがわかりました。

本研究の有効性は、LLMのバイオメディカルタスクに対する性能を広範囲に評価し、その結果を通じてLLMの有用性と限界を理解したことで検証されました。