Evaluation and Mitigation of Agnosia in Multimodal Large Language Models

Evaluation and Mitigation of Agnosia in Multimodal Large Language Models

1. 本研究の学術的背景や核心をなす課題は、「多モーダル大規模言語モデル(MLLMs)が、視覚的入力を誤解する、または簡単なケースであってもテキストに記された指示に従わない」という現象です。これにより、不適切な応答、誤り、根拠のない主張が生じます。この現象は、感覚モダリティを正しく処理し、物や色、関係を認識する能力が不足しているという、神経心理学の"失認症（Agnosia）"と似ています。

2. 本研究の目的は、MLLMsの中の「失認症」を広範に評価し、軽減することです。そこで本研究の独自性と創造性は、神経心理学の診断と治療過程に触発されて、多モーダル失認症の評価と軽減のための新しいフレームワーク「EMMA」を提案しています。

3. 本研究は、MLLMsが視覚情報を誤解するという現象（多モーダル失認症）を捉え、MLLMsの認識力や応答の質を改善するための新しいアプローチを提案しています。このアプローチは神経心理学の概念に触発されたもので、これまでのAI研究やMLLMsの研究とは一線を画しています。

4. 本研究では、EMMAフレームワークを用いて、7つの最先端のMLLMsでの失認症の度合いを9000のテストサンプルを用いて評価しました。その結果、ほとんどのモデルが様々な観点で失認症を示していることが明らかになりました。さらに、微細な指示セットを開発し、MLLMsを調整して失認症を軽減させた結果、精度が大幅に向上しました。

5. 本研究の有効性の検証は、提案したEMMAフレームワークを用いて、7つの最先端のMLLMsの失認症を評価し、軽減させる技法（多モーダル指示チューニング）を採用した結果、MLLMsの精度が大幅に向上したことを示すことで行われました。