Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models

Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models

1 本研究の学術的背景は、事前学習モデル（PTMs）の爆発的な発展と、これらのモデルをさまざまな下流のアプリケーションに効率的にチューニングすることの重要性です。研究課題の核心をなす学術的「問い」は、メモリ制約、モデルのプライバシー、データのプライバシーという3つの主要な課題を克服するための新しい方法を見つけることです。

2 本研究の目的は、各ローカルデータセットを最適に活用しながら、メモリ制約を管理し、プライバシーを保護するための新しい方法、Federated Black-Box Prompt Tuning (Fed-BBPT)を提案することです。学術的な独自性と創造性は、パラメータのアーキテクチャやプライベートデータセットへのアクセスに依存せず、代わりに中央サーバーを利用してローカルユーザーがプロンプトジェネレーターを共同で訓練するというアプローチにあります。

3 本研究の着想は、連携学習（FL）と大規模モデルのためのブラックボックスプロンプトチューニング（BBPT）の成功から得られました。これにより、大規模なPTMsの保存、モデルパラメータへのアクセス、または専有データセットの共有という制約なしに、PTMsの効率的なゼロ次元チューニングを可能にする新しいフレームワーク、Fed-BBPTを提案しました。

4 本研究では、Fed-BBPTがPTMのストレージとローカルマシン上での微調整に関連するメモリの課題を巧みに回避し、包括的で高品質なプライベートトレーニングデータセットを利用することを明らかにしました。また、40のデータセットにわたる評価は、我々の提案するモデルの堅牢性を強調しています。

5 本研究の有効性は、3つのCVとNLPタスクに対する包括的な実験を通じて検証しました。これには、12の画像分類データセット、GLUEベンチマークからの7つのテキスト分類データセット、BIG-Benchmarkからの21の最適な指示を見つけるデータセットが含まれています。すべての実験は、確立されたベースラインと同等かそれ以上の結果をもたらし、我々の提案するFed-BBPTの有効性を証明しました。