GPT-4 as an Agronomist Assistant? Answering Agriculture Exams Using Large Language Models

https://arxiv.org/abs/2310.06225

1. 本研究の学術的背景や研究課題の核心となる学術的な問いは、大規模言語モデル（LLM）が農業に関する質問にどの程度正確に回答できるのかということです。

2. 本研究の目的は、人間の知識や能力を超える程度に高度な性能を持つLLM（例：GPT-4）が農業に関する質問にどれだけ正確に回答できるかを評価し、その結果を農業教育や評価、作物管理の実践に役立てることです。また、この研究は、LLMを農業分野で有効に活用する一環として、その限界や課題にも取り組んでいます。研究の独自性と創造性は、農業関連の質問に特化したLLMの能力を評価するという観点にあります。

3. この研究は、LLMの応用範囲を広げるために、農業関連の質問に特化した評価を行うという着想から生まれました。関連する国内外の研究動向としては、最先端の人工知能技術であるLLMの進化や応用が様々な分野で注目を浴びており、特に農業や作物管理においても有用なアプリケーションとしての可能性が示唆されています。本研究は、農業領域におけるLLMの位置づけを明確にするとともに、教育や実践における活用の可能性を示しています。

4. 本研究では、LLM（具体的にはGPT-4やLlama 2など）を使用して、農業関連の質問に正確に回答できるかを評価しました。評価には、ブラジル、インド、アメリカの主要農業生産国からの農業試験やベンチマークデータセットを使用しました。また、情報検索、生成能力、促進戦略といった技術を組み合わせたRAG（Retrieval-Augmented Generation）やER（Ensemble Refinement）といった技術も導入し、モデルの性能向上を図りました。評価結果は、GPT-4が試験で高い正答率を達成し、人間の被験者よりも優れたパフォーマンスを示したことを示しています。この研究ではまた、GPT-4の農業に関する一般的な質問への対応能力やブラジルとインドの農業関係者に向けた作物管理ガイドラインの生成能力も探求しています。

5. 本研究の有効性は、LLM（特にGPT-4）が農業教育、評価、作物管理の実践に有意義な貢献をすることを示すことで検証しました。実際の評価やデータセットを使用して、LLMが農業関連の試験で高い性能を示し、農業関係者に有用な情報や支援を提供する能力を持っていることを明らかにしました。また、LLMの活用には正確性や安全性といった課題に対処することも重要であり、LLMの力を農業分野で効果的かつ責任ある方法で活用することを強調しています。