User Inference Attacks on Large Language Models

https://arxiv.org/abs/2310.09266

1. 本研究の学術的背景、研究課題の核心は、大規模な言語モデル（LLM）を特定のタスクやアプリケーションに適合させるための共通で効果的な方法であるFine-tuningが、ユーザーデータに対するプライバシーの影響をどのように持つのかを研究することです。

2. 本研究の目的は、ユーザーデータに基づいてLLMをFine-tuningすることで発生するプライバシーのリスクを調査することです。また、ユーザー推論という新しい脅威モデルを紹介し、その攻撃の有効性を実証することも目的としています。本研究の学術的独自性は、既存のプライバシー攻撃手法にはないユーザーレベルの推論攻撃を提示し、その脅威モデルに基づいて実際の攻撃を行い、その有効性を評価する点にあります。

3. 本研究の着想は、LLMがユーザーデータにFine-tuningされた場合のプライバシーリスクに関する関連研究の不足を認識したことから始まりました。既存のプライバシー攻撃手法には、個々のサンプルのプライバシーを推定するものや、トレーニングデータを再構築するものがありますが、ユーザーデータの貢献度に関する評価は行われていませんでした。そこで、本研究ではユーザーレベルの推論攻撃を導入し、ユーザーデータのリスクを評価することで独自性を持たせました。国内外の関連研究動向では、LLMのプライバシー攻撃に関する研究が進んでいるが、ユーザーレベルの推論攻撃については本研究が初めての試みとなります。

4. 本研究では、ユーザーレベルの推論攻撃モデルを定義し、実際に攻撃を行うための手法を提案しています。具体的には、ユーザーのサンプルのみを用いて、ユーザーデータがFine-tuningに使用されたかどうかを判定するための統計テスト手法を開発しています。また、実際のデータセットを用いた攻撃の評価や、合成された"canary"ユーザーを用いた攻撃の効果の評価も行っています。さらに、プライバシー攻撃を防ぐためのいくつかの方法についても検証し、その有効性を評価しています。

5. 本研究では、提案されたユーザーレベルの推論攻撃手法を実際のデータセットや合成されたデータセットに対して評価しました。その結果、さまざまなFine-tuningデータセットでユーザーレベルの推論攻撃が可能であり、攻撃成功率も非常に高いことがわかりました。さらに、アウトライアーユーザーや大量のデータを貢献するユーザーが攻撃に対して最も脆弱であることも明らかにしました。また、プライバシー攻撃の緩和策としていくつかの手法を評価しましたが、トレーニングアルゴリズムへの介入は推論攻撃を軽減することができませんでした。しかし、一つのユーザーからのFine-tuningサンプル数を制限することで攻撃の効果を減少させることができることがわかりました。