Quantifying Uncertainty in Answers from any Language Model via Intrinsic and Extrinsic Confidence Assessment

Quantifying Uncertainty in Answers from any Language Model via Intrinsic and Extrinsic Confidence Assessment

1. **学術的「問い」**
この研究では、事前学習済みの大規模言語モデル（LLM）から生成される出力に対して、不正確または推測的な答えを検出するための手法、BSDetectorを導入します。研究の核心となる学術的な問いは、「LLMが生成した出力に対して、信頼性を数値化して評価する方法を開発することは可能か？」です。

2. **目的及び学術的独自性と創造性**
本研究の目的は、LLMの任意の応答の信頼性を推定する一般的な方法を提供することです。学術的独自性と創造性は、既存の最良のLLM（その学習データは未知のまま）全てに対して適用可能な、極めて一般的な手法を提供している点にあります。

3. **着想に至った経緯や、関連する研究動向と本研究の位置づけ**
LLMsが生成する応答の信頼性を定量的に評価する方法が必要だと認識したことが研究の着想につながりました。この研究は、LLMの結果の解析と評価における新たなアプローチを提供し、この分野における新たな研究の基盤を形成する位置づけとなっています。

4. **何をどのように、どこまで明らかにしたか**
この研究では、BSDetectorという手法を導入しました。これは、LLMが生成した出力に対する信頼性の数値的な推定を提供します。まず、誤ったLLMの応答をより正確に識別できることを実証しました。さらに、LLMから複数の応答をサンプリングして最も信頼性の高いものを考慮することで、同じLLMからより正確な応答を得ることができることも示しました。

5. **有効性の検証方法**
閉鎖型とオープンフォームの質問応答のベンチマークを使用して実験を行い、BSDetectorがGPT-3とChatGPTの両方に対して、他の不確かさを推定する手法よりもLLMの誤った応答をより正確に識別できることを示しました。