Learning From Mistakes Makes LLM Better Reasoner

https://arxiv.org/abs/2310.20689

以下は、上記の論文のアブストラクトをChatGPTに解釈させたものです。解釈の正確性について保証はいたしません。

1. 本研究の学術的背景は、大規模言語モデル（LLM）が数学問題の解決において優れた推論能力を示していることです。この能力をさらに向上させるために、本研究では人間の学習プロセスに倣った「間違いからの学習（LEMA）」を提案しています。具体的には、様々なLLMから精度の低い論理の経路を収集し、GPT-4を「訂正者」として活用して、間違いのステップを特定し、間違いの理由を説明し、間違いを訂正して最終的な答えを生成するという手法を提案しています。

2. 本研究の目的は、LLMの推論能力を向上させることです。これまでの研究では、正解データ（CoTデータ）を使用してモデルを訓練しましたが、本研究では、モデルの間違いから学ぶことでさらに性能を向上させることを試みています。このアプローチは独自性と創造性があり、人間の学習プロセスからインスピレーションを得たものです。

3. 本研究の着想は、人間の学習プロセスから得られました。学習者は問題解決に失敗した場合、間違いを分析し、正解を導くための修正方法を学ぶことで推論能力が向上します。これに着目し、本研究ではLLMの間違いを理解し、修正することで推論能力を向上させる手法を提案しています。関連する国内外の研究動向としては、大規模言語モデルの性能向上に関する研究や数学的な推論能力の向上に関する研究があります。本研究はこのような動向に基づいており、LLMの推論能力向上に新たなアプローチを提案しています。

4. 本研究では、LLMと誤り訂正データのペアを使用して、LLMを訓練しました。誤り訂正データは、複数のLLMを使用して不正確な推論経路を生成し、GPT-4を使用してこれらの誤りを訂正することで生成されます。訂正データには、元の解法の間違ったステップ、なぜそのステップが間違っているのかの説明、および正しい解決策までの手順が含まれています。訓練データの品質は人間の評価によって確認され、後の訓練段階でLEMAを実行してLLMを訓練します。実験結果は、LEMAが複数のLLMと課題において性能を向上させることを示しています。

5. 本研究の有効性は実験によって検証されました。5つのオープンソースLLMと2つの数学的な推論タスクにおいて、LEMAは一貫して性能を向上させました。例えば、LLaMA-2-70Bを用いたLEMAは、GSM8Kの正解率を81.4%から83.5%に、MATHの正解率を23.6%から25.0%に向上させました。さらに、LEMAはWizardMath-70BやMetaMath-70Bなどの特殊なLLMにも適用でき、GSM8Kで84.2%や85.4%の正答率を達成し、MATHでも26.9%や27.1%の正答率を達成しました。これらの結果は、非実行型のオープンソースモデルに比べて、本研究の手法がこれらの難しいタスクにおいて最先端の性能を達成していることを示しています。