FLTrojan: Privacy Leakage Attacks against Federated Language Models Through Selective Weight Tampering

https://arxiv.org/abs/2310.16152

1. 本研究の学術的背景、研究課題の核心をなす学術的「問い」は？
   本研究の学術的背景は、機械学習モデルのトレーニングにおいて、個々の参加者がプライバシーに関連するテキストデータを持っている場合、どのようにプライバシーが漏洩するかを理解することです。研究課題は、既存の攻撃手法がデータの利用者のプライバシーに関係なくデータを抽出するため、プライバシーに関連するデータの漏洩に焦点を当てた攻撃手法が必要であるということです。

2. 本研究の目的及び学術的独自性と創造性は？
   本研究の目的は、フェデレーテッドラーニング（FL）のフェデレーテッド言語モデルにおけるプライバシーに関連するユーザーデータの漏洩方法について、新たな発見を行うことです。学術的独自性と創造性は、中間ラウンドのモデルスナップショットが最終的な訓練済みモデルよりもプライバシーの漏洩を引き起こすこと、特定の重みを操作することでプライバシーの漏洩を悪化させることなど、これまでにない洞察を提供する点にあります。

3. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは？
   本研究は、フェデレーテッド学習における言語モデルを使ったプライバシーの漏洩についての研究です。従来の研究では、中央集権的な学習環境や外部の攻撃者を仮定した攻撃手法が主に研究されてきました。しかし、フェデレーテッド学習の訓練プロトコルと中央集権的な学習の違いから、これらの知見をそのまま応用することはできません。本研究では、FLを使用して言語モデルを共同で訓練する際に個々のユーザーのプライバシー情報が漏洩する問題に焦点を当て、新たな攻撃手法を開発しました。

4. 本研究で何をどのように、どこまで明らかにした？
   本研究では、FL中の中間ラウンドのモデルスナップショットが最終モデルよりも大きなプライバシーの漏洩を引き起こすことを示しました。また、特定の重みを操作することでプライバシーの漏洩を悪化させることも明らかにしました。具体的には、攻撃者がサーバーの協力を必要とせずにFL上の別のユーザーのプライバシー情報を漏洩させる方法を示しました。また、最良の手法ではメンバーシップの推定再現率を29％向上させ、最大70％のプライバシー情報の再構築を達成し、既存の攻撃手法よりも優れた性能を示しました。

5. 本研究の有効性はどのように検証した？
   本研究では、自己回帰的な言語モデリングタスクやマスク処理された言語モデリングタスクを用いて、提案された攻撃手法の評価を行いました。評価では、人工的なプライバシー情報を含むデータや実際のプライバシー情報を使用しました。結果として、提案された攻撃手法が従来の手法よりも優れた性能を実現しました。