LPML: LLM-Prompting Markup Language for Mathematical Reasoning

LPML: LLM-Prompting Markup Language for Mathematical Reasoning

本研究の学術的背景は、大規模言語モデル（LLMs）が自然言語処理タスクで優れた成果を上げている一方、数学的推論を行う際に生じる誤りの管理が重要な課題となっていることです。研究課題の核心をなす学術的「問い」は、「LLMsの誤りをどのように修正し、数学的推論能力を向上させることができるのか？」ということです。

本研究の目的は、LLMsの数学的推論能力を向上させる新たなフレームワークを提案することです。その学術的独自性と創造性は、LLMsがXMLのようなマークアップ言語を生成することで、外部ツールとの統合とLLMsの望ましくない振る舞いの制御を可能にするという新しいアプローチを提案している点にあります。

本研究の着想は、LLMsの数学的推論能力を向上させるための既存の研究から得られました。これらの研究では、LLMsのモデルサイズを増やすか、数学や技術的なテキストで微調整することで性能を向上させるアプローチが取られています。しかし、これらの方法はコストがかかるため、LLMs自体を変更せずに性能を向上させる代替策が求められていました。本研究は、この課題に対する新たな解決策を提供します。

本研究では、LLMsとPython REPL（Read-Eval-Print Loop）を統合する新たなフレームワークを提案しました。このフレームワークでは、LLMsがXMLのようなマークアップ言語を生成することで、LLMsとPython REPLとの間でインタラクションループを構築します。これにより、LLMsはPythonの計算を利用して誤りを修正することができます。この手法を用いて、数学的な問題を解くためのChatGPT（GPT-3.5）に適用し、その結果、CoTとPython REPLをマークアップ言語を通じて組み合わせることで、LLMsの推論能力が向上することを示しました。

本研究の有効性は、数学的な問題を解くためのChatGPT（GPT-3.5）に新たなフレームワークを適用し、その結果を評価することで検証しました。具体的には、CoTとPython REPLをマークアップ言語を通じて組み合わせることで、LLMsの推論能力が向上することを示しました。