GraphextQA: A Benchmark for Evaluating Graph-Enhanced Large Language Models

https://arxiv.org/abs/2310.08487

1. 本研究の学術的背景は、マルチモーダルモデルが画像、ビデオ、音声の情報を統合することで成功を収めてきましたが、大規模な言語モデル（LLMs）にグラフのモダリティを統合することはまだ試みられていないという点です。グラフデータとテキストデータの非構造化の違いにより、これらのモダリティの統合は困難でした。しかし、グラフの知識を組み込むことで、情報の信頼性が向上し、テキストの生成における問題（幻覚やドメイン知識の欠如など）の解決策が可能になります。

2. 本研究の目的は、グラフの知識を言語モデルに統合することの評価を行うために、専用のデータセットを提案することです。しかし、現在、マルチモーダル・グラフ言語モデルのために特に設計されたベンチマークデータセットは存在していません。そのため、GraphextQAという質問応答データセットを提案し、Wikidataから取得したペアグラフを含めることで、グラフ言語モデルの評価と将来の開発を容易にすることを目指しています。さらに、CrossGNNというベースラインモデルも提案されており、質問に関連するグラフの特徴をデコーディング時に効果的に受け取りながら、回答生成を条件づけるモデルです。

3. 本研究は、グラフのモダリティをLLMsに統合するという研究動向の未開拓領域に着目しています。情報検索ベースの知識ベース質問応答（KBQA）が関連するタスクであり、自然言語の質問に対して関連するサブグラフから適切なノードを予測することによって回答を得る課題です。本研究では、グラフ-言語モデルの評価におけるアプローチの可能性を明らかにするために、関連するサブグラフの統合によって達成された改善を評価することが重要です。

4. 本研究では、GraphextQAというオープンドメインの質問応答データセットを提案し、グラフ-言語モデルの開発と評価にペアグラフを含めています。オープンドメインの質問は現実世界の知識の深い理解を必要としますが、この知識はデータセット内のグラフの形式で提供されます。これらのグラフはWikidataから取得され、質問に言及されるエンティティから質問が尋ねるエンティティへの推論パスを含んでいます。このデータセットの目的は、LLMがグラフ情報を利用する能力を評価することです。また、グラフの知識を言語モデルに統合するアルゴリズムの開発を支援します。

5. 本研究では、言語のみのモデルと提案されたグラフ-言語モデルを用いて実験を行い、ペアグラフの有用性を検証し、課題の難しさを示しました。実験結果から、グラフの知識を統合したモデルが質問に対する回答の生成に有用であることが確認されました。