FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning

FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning

1. 本研究の学術的背景と問いは、大規模言語モデル（LLM）が様々な自然言語処理（NLP）タスクで優れた能力を発揮する一方、異なる機関がプライバシーや規制上、データを共有できないときにそれらのモデルを最適化する方法が必要となることです。

2. 本研究の目的は、そうしたモデルを、連携学習（FL）という設定で効率よく調整するための手段を提供することにあります。我々の主な貢献はFS-LLMというパッケージで、これはデータセットの前処理、連携学習の実行、パフォーマンス評価などを自動化するエンドツーエンドの基準パイプラインを提供します。

3. 既存の連携学習フレームワークが大規模言語モデルの微調整を十分にサポートしていないという問題があり、これが本研究の着想の一つです。通信と計算リソースの消費量を最適化する必要性、異なるタスクに対するデータ準備、情報保護の要求などの課題に取り組むため、我々はFS-LLMを開発しました。

4. 本研究では、FS-LLMの有効性を検証し、高度なLLMを最先端のパラメータ効率的な微調整アルゴリズムとともに連携学習設定で基準化しました。これは、研究コミュニティに連携学習のLLM微調整の貴重な洞察を提供します。

5. 本研究の有効性は、広範囲の実験によって検証されました。これは、FS-LLMの効果を実証し、最新のパラメータ効率的な微調整アルゴリズムとともに連携学習設定で先進的なLLMを基準化しました。