Large Language Models Are Also Good Prototypical Commonsense Reasoners

Large Language Models Are Also Good Prototypical Commonsense Reasoners

本研究の学術的背景は、大規模言語モデル（LLMs）が一般的な課題に対して優れた結果を出している一方で、特定の課題、特に「常識的な推論」を必要とする課題に対しては依然として課題が残っていることです。研究課題の核心をなす学術的「問い」は、「LLMsが常識的な推論をどのように改善し、その能力を向上させることができるのか？」ということです。

本研究の目的は、LLMsの常識的な推論能力を向上させるための新たなプロンプトを開発することです。その学術的独自性と創造性は、特定のタスクに対するLLMsの出力から着想を得て、タスクの関連性、証拠の生成（例えば、思考の連鎖や知識）、多様なパスのデコーディングなど、複数の視点から新たなプロンプトを半自動的に開発した点にあります。

本研究の着想は、既存の大規模言語モデルの出力から得られました。これらのモデルは、特定のタスクに対して優れた結果を出していますが、常識的な推論を必要とする課題に対しては依然として課題が残っています。本研究は、この課題に対する新たな解決策を提供します。

本研究では、LLMsの常識的な推論能力を向上させるための新たなプロンプトを開発しました。これらのプロンプトは、タスクの関連性、証拠の生成（例えば、思考の連鎖や知識）、多様なパスのデコーディングなど、複数の視点から開発されました。これらのプロンプトを用いて、ProtoQAデータセットでの実験結果を通じて、より良いプロンプトを設計することで、既存の最先端モデルを上回る結果を達成できることを示しました。

本研究の有効性は、ProtoQAデータセットでの実験結果を通じて検証しました。具体的には、新たに開発したプロンプトを使用することで、既存の最先端モデルを上回る結果を達成し、Max Answer@1スコアを8%、Max Incorrect@1スコアを4%向上させることができました。さらに、この方法がCommonsenseQA2.0とStrategyQAでも有効であることを確認しました。