Empowering Vision-Language Models to Follow Interleaved Vision-Language Instructions

Empowering Vision-Language Models to Follow Interleaved Vision-Language Instructions

1. 本研究の学術的背景，研究課題の核心をなす学術的「問い」は？

• 最近、Multimodal Large Language Models (MLLMs)が注目されています。これらは、さまざまなビジョン・ランゲージタスクに対して汎用のモデルとして機能する能力を持っていることが明らかになっています。しかし、既存の方法は、単一のイメージを視覚的文脈として持つ限定的なタイプの命令に主に焦点を当てており、MLLMsの普及を妨げています。

1. 本研究の目的及び学術的独自性と創造性は？

• 本研究では、ビジョン・ランゲージタスクの命令に対する追従能力を包括的に評価するために、I4ベンチマークを導入しました。I4ベンチマークは、複雑な交互作用を持つビジョン・ランゲージの命令に関するタスクを多く含み、さまざまなシナリオに対応することが可能です。本研究では、CheetorというMLLMを提案し、I4ベンチマークでのゼロショット性能において、高品質なマルチモーダルな命令調整データなしでも、他のモデルよりも優れた結果を発揮できることを示しました。

1. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは？

• 最近の研究では、MLLMsがビジョン・ランゲージタスクにおいて優れた能力を発揮することが知られています。本研究では、MLLMsをより効果的に使用するための新しい手法を提案し、I4ベンチマークを用いた詳細な評価を行いました。

1. 本研究で何をどのように，どこまで明らかにした？

• 本研究では、MLLMsにおけるビジョン・ランゲージインタラクションタスクでの命令追従能力を包括的に評価するI4ベンチマークを発表し、既存のモデルが特定のタスクに必要な情報を抽出することができないという共通の欠陥を明らかにしました。また、提案されたモジュールとトレーニング戦略により、Cheetorという新しいMLLMを提案し、I4のすべてのタスクにおいて、高品質なマルチモーダルな命令調整データを必要とせずに、他のモデルよりも優れた性能を発揮することができることが示されました。

1. 本研究の有効性はどのように検証した？

• 本研究では、I4ベンチマークを使用して、新しいMLLMであるCheetorの性能を詳細に評価しました。その結果、Cheetorは、多様なビジョン・ランゲージタスクにおけるゼロショット性能で他のモデルよりも優れた性能を発揮することが示されました。また、MMEベンチマークでも競合力のある性能を発揮しました。