FAITHSCORE: Evaluating Hallucinations in Large Vision-Language Models

https://arxiv.org/abs/2311.01477

以下は、上記の論文のアブストラクトをChatGPTに解釈させたものです。解釈の正確性について保証はいたしません。

1. 本研究の学術的背景は、Large Language Models（LLMs）やLarge Vision-Language Models（LVLMs）の能力に関するものです。これらのモデルは、自然言語の生成や理解において注目されていますが、画像との組み合わせでの効果的な処理が求められています。本研究の研究課題は、LVLMsが生成する自由形式の回答の信頼性を評価する方法の開発です。

2. 本研究の目的は、信頼性の高いLVLMsの回答評価指標であるFAITHSCOREを紹介することです。FAITHSCOREは、LVLMsが生成する自由形式の回答の信頼性を評価するためのメトリックです。従来の指標とは異なり、FAITHSCOREはより細かい粒度で評価を行い、人間の判断との相関性も高いことが示されています。

3. 本研究の着想は、LVLMsが生成する回答における幻想（hallucination）の度合いを評価する方法の必要性によって生じました。従来の研究では、画像キャプショニングの設定に焦点を当てた評価手法が提案されてきましたが、複雑な自由形式の回答における幻想の評価は十分に行われていませんでした。本研究では、LVLMsが生成する回答における細かい幻想の属性を評価するためのメトリックであるFAITHSCOREを提案しています。

4. 本研究では、FAITHSCOREというメトリックを提案し、このメトリックを使用していくつかの先進的なLVLMsを評価しました。評価の結果、現行のLVLMsは画像に関連付けられていない信頼性の低い回答を生成する傾向があり、改善の余地があることがわかりました。

5. 本研究では、FAITHSCOREを使用して複数のLVLMsを評価し、その有効性を検証しました。FAITHSCOREは人間の判断と高い相関を持つことが示されており、LVLMsが生成する回答の信頼性を客観的に評価する上で有用なツールであることが確認されました。