Deep Prompt Tuning for Graph Transformers
本研究の学術的背景と問いは、グラフトランスフォーマー（グラフの情報を扱うAIやコンピュータモデル）はさまざまなグラフベースの課題に対処するために注目を集めていますが、その自己注目操作（自己注目操作とは、ネットワークがデータ内のどの部分に重点を置くべきかを学習する機能）の複雑さや多層化による問題をどのように解決するか、という問いです。
本研究の目的は、新規の手法として「Deep Graph Prompt Tuning（DeepGPT）」を提案し、大きなグラフトランスフォーマーをダウンストリームのグラフ予測タスク（具体的な問題解決のために利用するタスク）に活用することです。また、学術的独自性と創造性は固有の大量なパラメーターを凍結し、新たに追加したトークンのみを更新するという点にあり、これにより、小規模なデータセットや大規模なグラフにも適応することが可能となります。
本研究の着想は、従来から自然言語処理（NLP）のタスクに用いられている「プロンプトチューニング」から得られました。これは、既存のモデルの全パラメーターを凍結し、新たに入力に追加される軽量のトークンのみを更新する方法です。しかし、これをグラフトランスフォーマーに応用した研究はなかったため、その新規応用を試みました。
本研究では、DeepGPTが既存の大規模なグラフトランスフォーマーに新たなタスク特化のグラフプロンプトトークンを追加し、その後でモデルに入力する方法を提案しました。この手法は計算リソースの大幅な削減を可能にし、既存の大規模データ予測タスクに役立つ一方で、NLPのファインチューニングと同等またはそれ以上のパフォーマンスを達成することを示しました。
本研究の有効性は、さまざまな規模のデータセットで実施した大量の実験によって検証されました。DeepGPTは、非常に少ないタスク特化のパラメーターを使用していても、ファインチューニングと同等またはそれ以上のパフォーマンスを発揮することが確認されました。
この記事が気に入ったらサポートをしてみませんか？