KG-GPT: A General Framework for Reasoning on Knowledge Graphs Using Large Language Models

KG-GPT: A General Framework for Reasoning on Knowledge Graphs Using Large Language Models

1. 本研究の学術的背景は、大規模言語モデル(LLM)の進歩により、非構造化テキストの理解や生成において大きな進展があった一方で、構造化データへの適用は未だに十分に研究されていないという点です。具体的には、知識グラフ(KG)を用いた複雑な推論タスクにおけるLLMの利用はほとんど行われていません。この問題を解決するために、本研究ではKGを活用したタスクにおいてLLMを利用するためのマルチパーパスフレームワークであるKG-GPTを提案しています。

2. 本研究の目的は、LLMの推論能力を活用してKGを利用したタスクを実行することです。KG-GPTは、Structured GPTと類似していますが、KG-GPTはシードエンティティから最終的な回答エンティティへのパスを特定するのではなく、サブグラフ全体を取得してから推論します。そのため、KG-GPTはKGQAだけでなく、KGに基づいた事実検証などのタスクにも使用することができます。KG-GPTは、三つのステップで構成されており、文のセグメンテーション、グラフの取得、推論のプロセスを順に行います。

3. 本研究の着想は、大規模言語モデル(LLM)の進歩により、非構造化テキストにおいては推論能力を持つモデルが開発されてきた一方で、構造化データにおける推論は未だに不十分であるという課題に触れることから始まりました。関連する国内外の研究動向としては、Structured GPTなどのアプローチが存在しますが、KG全体を取得して推論するKG-GPTのようなフレームワークはこれまでに提案されていませんでした。

4. 本研究では、KG-GPTフレームワークを提案し、KGを利用した事実検証とKGQAのベンチマークを用いて評価しました。事実検証では、複数のグラフ推論パターンを含むFACTKGを使用し、KG-GPTは他の完全教師ありモデルと競争力のあるパフォーマンスを示し、いくつかのモデルを上回る結果を示しました。また、KGQAでは、1-hop、2-hop、3-hop推論タスクから構成されるMetaQAを使用し、KG-GPTは完全教師ありモデルと比較可能なパフォーマンスを示しました。特に、推論のホップ数の増加に伴って性能が著しく低下しないことから、KG-GPTの堅牢性が示されました。

5. 本研究では、KG-GPTフレームワークの有効性をKGを利用した事実検証とKGQAのベンチマークで検証しました。これらのタスクは、構造化データの複雑な推論を要求するため、KGの構造化された知識を活用することが重要です。結果として、KG-GPTは他の完全教師ありモデルと競争力のあるパフォーマンスを示し、一部のモデルを上回る結果を示しました。このことから、KG-GPTが構造化データと非構造化データの処理を統合する点で重要な進展となったことが示されました。