Graph Neural Architecture Search with GPT-4

Graph Neural Architecture Search with GPT-4

1.本研究の学術的背景として、グラフニューラルネットワーク（GNN）がグラフデータの相互依存性を捉えるための効果的なツールとして普及し、その設計は手動での探索や専門知識に大きく依存しているという事実があります。そのため、自動的にGNNのアーキテクチャを設計するグラフニューラルアーキテクチャスペクト（GNAS）の開発が期待されています。しかし、GNASには専門知識を持つ人間の手間がまだ多く必要で、検索空間と検索戦略の設計に課題があります。したがって、学術的な「問い」は、「自然言語処理の先進的なモデルであるGPT-4をGNASに取り入れ、新たなGNNアーキテクチャを生成することで、GNASの検索空間の手動設計の負担を軽減できるか？」となります。

2.本研究の目的は、GPT-4を使って新たなGNNアーキテクチャを生成することで、GNASの検索空間の手動設計の負担を軽減することです。我々はGPT-4をGNASに統合した新しい方法であるGPT-4ベースのグラフニューラルアーキテクチャ検索法（GPT4GNAS）を提案します。これは、大きな言語モデルを利用して新しいグラフニューラルアーキテクチャを生成する初めての試みであり、学術的な独自性と創造性を持っています。

3.本研究は自然言語処理の最近の進歩（GPT-4の登場）や、グラフニューラルネットワークの設計の難しさ、そして手動での設計負担が関わる現行のGNAS手法の問題点から着想を得ています。本研究はGPT-4をGNASに組み込む初の試みであり、新しいグラフニューラルアーキテクチャを生成するための有力な新たな方法とされています。

4.本研究では、GPT-4をGNASに統合した新しい方法であるGPT4GNASを提案しました。これは、GPT-4がグラフニューラルアーキテクチャ生成のための課題を導く新しいクラスのプロンプトを設計することを基本的な考え方としています。結果として、GPT4GNASはGPT-4の事前学習知識と強力な学習能力を利用して、効率的に検索空間を探索し、新たなGNNアーキテクチャを生成することができます。

5.本研究の有効性は、実験結果により検証されています。その結果、GPT-4をGNASに組み込むことで、既存のGNAS手法よりも優れたアーキテクチャを生成できることが示されています。