SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models

SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models

1. 本研究の学術的背景，研究課題の核心をなす学術的「問い」は？
- 最近、大規模言語モデル（LLMs）の技術の進歩により、数学的なベンチマークにおいて著しい進歩が見られるようになりました。しかし、これらのベンチマークのほとんどは、中学校と高校の科目に基づく問題のみを扱い、選択問題のみを収録しており、基本的な算術演算に制限されています。本研究では、より複雑な科学的問題解決に必要な推論能力を体系的に調べることを目的とした大規模なベンチマークスイート「SciBench」を導入しています。

2. 本研究の目的及び学術的独自性と創造性は？
- この論文では、コンピュータ科学や数学の大学レベルの問題を含む2つの精選されたデータセットから構成される拡大ベンチマークスイート"SciBench"を発表し、代表的なLLMsのベンチマーク研究を行いました。結果として、現在のLLMsは満足のいく性能を発揮できていないことが明らかになりました。本研究は、算術演算にとどまらず科学的な問題解決に必要な推論能力を評価することを目的としており、既存のベンチマークにはなかった学術的独自性と創造力を持っています。

3. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは？
- 近年、LLMsの進歩により、大規模な推論アルゴリズムが可能になりました。本研究は、LLMsに必要な複雑な推論スキルを評価するために、コンピュータ科学や数学といった大学レベルの問題を含むSciBenchデータセットを開発しました。

4. 本研究で何をどのように、どこまで明らかにした？
- 本研究では、LLMsが複雑な科学問題を解決するための推論能力に欠けていることを示し、どの程度の性能を発揮できるのかを詳しく調査しました。また、LLMsの課題を10の解決能力に分け、各能力がどのように失敗したかを分析しました。しかし、哲学的に考えるスキルや、実験的に結果を解釈する能力など、今後の改良の余地が残されているスキルもあることが分かりました。

5. 本研究の有効性はどのように検証した？
- 本研究では、SciBenchという新しいデータセットを開発し、これによってLLMsの推論能力の発展を促進し、最終的に科学研究や発見に貢献することを目指しています。