DAGER：针对大语言模型的精确梯度反转攻击

1. 01这篇论文试图解决什么问题？

   作者称现有文本梯度反演只能近似恢复小批短序列，本文要在 honest-but-curious 下精确恢复整批文本。

   核心问题：在联邦学习的 honest-but-curious 设定下，服务器能否从客户端共享的梯度中精确恢复整批输入文本（大批次、长序列），而非只能近似恢复小批次短序列。

   • 场景与动机：联邦学习（FL）让多方只共享梯度而不共享数据，已被用于法律、医疗等隐私敏感领域的 LLM 微调；但梯度反演攻击（gradient inversion）使这一隐私保证受到质疑。
   • 现有方法的不足（按论文说法）：已有文本梯度反演多为基于优化的方法，文本的离散性使优化问题困难，只能近似恢复小批次、短序列；部分方法需要大量梯度更新、强数据先验或无法恢复 token 顺序，且难以扩展到现实的 decoder 架构 LLM。
   • 核心观察：自注意力层投影矩阵的梯度通常低秩，且是输入嵌入的线性组合；结合 token 嵌入的离散性，可以用"候选嵌入是否落在梯度列空间内"这一检查来精确筛选输入 token，把离散性从优化的障碍变成搜索的优势。
   • 论文提出的方法：DAGER（Discreteness-Based Attack on Gradients for Exact Recovery），对 decoder 架构用贪心恢复、对 encoder 架构用启发式穷举搜索，并提供 GPU 实现。
   • 威胁模型：
     • 攻击者目标：从共享梯度精确恢复客户端的整批输入文本序列。
     • 知识：honest-but-curious 服务器，知道模型结构与嵌入函数 f0（属于模型的一部分）；不需要嵌入层梯度、标签先验、语言先验或序列长度先验。
     • 能力：只能被动观察梯度，不能修改发给客户端的模型权重（区别于 malicious server 设定）。
     • 受害系统：用 FedSGD（另测 FedAvg）训练文本分类（二分类情感分析）或 next-token prediction 的客户端，模型为 encoder 或 decoder 架构的 transformer。

   收起这一问

2. 02有哪些相关研究？

   相关工作分 honest-but-curious 与 malicious server 两类，本文属于前者并基于 SPEAR 的线性层结果扩展到 transformer。

   梯度泄露攻击的总体分类

   • Zhu et al. [6]（2019）首次提出梯度泄露攻击（Deep Leakage from Gradients）。后续工作分两类：honest-but-curious 攻击（被动观察更新）与 malicious server 攻击（可修改共享模型）。本文聚焦作者认为更难、更现实的 honest-but-curious 设定。

   图像领域的 honest-but-curious 攻击

   • Geiping et al. [7]、Yin et al. [8]、Li et al. [9] 等一大批工作针对图像数据做梯度反演，与本文的文本领域不同。

   文本领域的梯度攻击

   • TAG [10] 与 LAMP [11]：基于优化的文本恢复方法，是本文的直接基线。论文指出这类方法限于短序列、小批次；LAMP 需要语言模型先验。
   • Gupta et al. [25]：需要大量梯度更新且利用模型对数据的记忆；论文指出 DAGER 不依赖模型训练状态、可在任意时点应用。
   • Xu et al. [35]（Flat-Chat）：无法恢复客户端序列中 token 的顺序；其标签恢复方法不适用于本文研究的情感分析设定。
   • 恶意服务器设定下的文本攻击（Decepticons [31]、Panning for Gold [32] 等）：论文指出文本领域的成功此前多限于恶意设定，且 [31] 等需要嵌入层梯度，而 DAGER 不需要。

   精确重建的先行工作

   • Phong et al. [22]、APRIL [26]、R-GAP [27] 等证明了 B=1 时在不同架构与条件下可精确重建。
   • SPEAR（Dimitrov et al. [28]，2024）：证明 B>1 时可从全连接层梯度精确重建。本文在此基础上把精确梯度泄露扩展到 transformer 架构的 LLM。

   基线与基准：对比基线为 TAG 和 LAMP（LAMP 有 L2+L1 与 Cos 两个变体，论文只报告 ROUGE-1 较高的变体），基准为 CoLA、SST-2、Rotten Tomatoes、ECHR。

   作者定位：DAGER 在 honest-but-curious 设定下同时适用于 encoder 与 decoder 架构（包括 LLaMa-2）、大批次与长序列，不需要数据先验、嵌入层梯度或对模型训练状态的要求，且同时适用于 token 预测与更难的情感分析分类设定。

   收起这一问

3. 03论文如何解决这个问题？

   DAGER 用"候选嵌入是否落在自注意力梯度列空间内"的跨度检查先恢复 token 集合，再按架构分别用贪心或启发式搜索恢复序列。

   整体思路：把文本离散性从优化障碍变为搜索优势——利用自注意力投影梯度 ∂ L/∂ W_l^Q = Z_l^T ∂ L/∂ Q_l 在 b<d 时的低秩性，检查候选嵌入是否在其列空间内，先做 token 恢复再做序列恢复。该方法名为 DAGER。

   理论依据：低秩梯度与跨度检查

   • 秩上界：由 Dimitrov et al. [28] 的定理，当批次 token 总数 b ≤ n, m 时线性层权重梯度秩至多为 b；应用到 d×d 的 Q/K/V 投影矩阵，b < d 时梯度秩亏。
   • Theorem 5.1：若 b < d 且 ∂L/∂Q_l 满秩（秩 b），则 rowspan(Z_l) = colspan(∂L/∂W_l^Q)，即真实输入嵌入必在梯度列空间内。
   • Theorem 5.2：b < d 时随机向量落在该列空间的概率几乎必然为 0，因此跨度检查几乎不会误放错误嵌入。
   • 实现：定义候选嵌入 z 到列空间的投影距离 d(z, l) = |z − proj(z, colspan(∂ L/∂ W_l^Q))|₂，用 SVD 预计算正交基（截断阈值 τlrank），距离低于每层阈值 τ_l 即判定在跨度内。

   Token 恢复（第一层）

   • 利用嵌入函数 f0 逐 token 计算的性质，枚举词表 V 中所有 token 与所有位置 i 的组合，计算 f0(v, i) 并对第一层梯度做跨度检查，得到各位置的正确 token 集合 Ti∗（Algorithm 1）。
   • 同时把最长序列长度 n 估计为被恢复 token 的最大位置。若 f0 与位置无关（如 RoPE），则恢复全部位置的 token 集合，留给序列恢复阶段处理。

   序列恢复（第二层）

   • Decoder：因果掩码使第二层第 i 个位置的嵌入只依赖前 i 个 token，因此从空序列出发逐 token 贪心扩展：每步用 Ti∗ 中的候选扩展已有前缀，只保留通过第二层跨度检查的前缀（Algorithm 2），直到无法扩展。
   • 满秩兜底：当 b 接近 d 导致梯度满秩时，设最大秩阈值 b̃ = min(b, d − ∆b) 做 best-effort 重建；Figure 3 显示 GPT-2 上 ∆b = 20 在稳定性与准确率间折中最好。
   • Encoder：第二层嵌入依赖全部 token，无法贪心，只能枚举 S = T1∗ × … × TP∗。启发式包括：用 EOS token 位置确定各序列长度、按长度递增恢复并消除已用 token、把候选集截断到距跨度最近的 B 个 token、最多考虑 1000 万条候选序列（Algorithm 3）。

   复杂度与实现

   • 只需把输入前传到第一个 transformer block，无需完整梯度计算，因此可扩展到大模型；decoder 下复杂度对序列长度与批次大小为多项式，encoder 下对长度为指数（Theorem B.4）。
   • 关键超参数（App. C）：τ1 = 10⁻⁵、τ2 = 10⁻³、∆b = 20，decoder 每个 EOS 位置最多考虑 1000 万条候选句；分类头随机初始化（σ = 10⁻³）。
   • 方法同样适用于 next-token prediction 与分类损失，论文称只需损失非平凡地依赖每个输入 token；FedAvg 与 LoRA 下的适用性分别在 App. B.3、B.4 推导。

   收起这一问

4. 04论文做了哪些实验？

   在 GPT-2、LLaMa-2、BERT 与四个数据集上评测：decoder 上 B≤128 多接近满分，BERT 上 B=8 部分恢复，并测了 FedAvg、LoRA、量化与 DP 噪声。

   实验设置

   • 被测模型：GPT-2BASE（d=768）、GPT-2LARGE（d=1280）、GPT-2FineTuned（预训练 2 epoch）、GPT-2NextToken、LLaMa-2 (7B)（d=4096）、LLaMa-3.1 (8B)、LLaMa-3 70B、BERTBASE（规格见 Table 6）。
   • 数据集：CoLA（4–9 词）、SST-2（4–13 词）、Rotten Tomatoes（RT，10–27 词）三个二分类数据集，以及含超 1000 词句子的 ECHR（截断到 512 token）。
   • 基线：TAG 与 LAMP（取 L2+L1 与 Cos 两变体中 ROUGE-1 较高者），各跑 2500 次迭代，用原论文超参数。
   • 指标：ROUGE-1/2（unigram/bigram 重叠率）的均值与 95% 置信区间（两倍标准误；非正态时用 10000 次 bootstrap），在 100 个批次上计算，不计 padding token。
   • 训练设定：FedSGD 协议为主，预训练模型加随机初始化分类头；另测 FedAvg、LoRA、16-bit 量化、next-token prediction 与高斯噪声防御。
   • 算力：LLaMa-2 (7B) 用单张 A100 40GB，其余用单张 L4 24GB；每实验内存 16–150 GB。

   主结果

   据 Table 2（B=1–8，ROUGE-1，±为 95% 置信区间）：

   表格较宽，可左右滑动

   模型	数据集	方法	B=1	B=2	B=4	B=8
   GPT-2	CoLA	DAGER	100.0	100.0	100.0	100.0
   GPT-2	CoLA	LAMP	73.3±4.5	26.8±2.8	13.4±1.4	8.9±1.2
   GPT-2	CoLA	TAG	7.0±2.5	8.0±2.0	7.8±1.2	5.3±0.7
   GPT-2	SST-2	DAGER	100.0	100.0	100.0	100.0
   GPT-2	RT	DAGER	100.0	100.0	99.3	100.0
   BERT	CoLA	DAGER	100.0	100.0	94.0±2.0	67.8±2.3
   BERT	CoLA	LAMP	89.6±2.5	77.8±3.6	66.2±3.4	52.9±2.2
   BERT	RT	DAGER	100.0	98.1±1.2	66.8±3.2	37.1±1.2

   据 Table 3（B=16–128，ROUGE-1/ROUGE-2）：

   表格较宽，可左右滑动

   模型	数据集	B=16	B=32	B=64	B=128
   GPT-2	CoLA	100.0/100.0	100.0/100.0	100.0/100.0	30.3±1.0/14.6±0.9
   LLaMa-2 (7B)	CoLA	100.0/100.0	100.0/100.0	99.9/99.9	99.5±0.2/99.3±0.3
   GPT-2	SST-2	100.0/94.6	100.0/93.4	92.9/85.0	13.7/4.3
   LLaMa-2 (7B)	SST-2	100.0/100.0	99.9/99.9	99.9/99.9	98.2/97.8
   GPT-2	RT	100.0/99.9	98.0/97.8	2.8/1.1	0.0/0.0
   LLaMa-2 (7B)	RT	100.0/100.0	100.0/100.0	97.9/97.8	99.7/99.7

   • 作者称 DAGER 在 decoder 模型上各数据集与批次大小均接近完美重建，且效率更高：RT 上 100 个 B=8 批次 DAGER 用 3.5 小时，TAG 约 10 小时、LAMP 约 50 小时。
   • 作者称 BERT 上 B=1、2 接近完美，更大批次平均多恢复 43% 的 token，且 ROUGE-2 更高说明句子结构恢复更准。
   • 作者认为 GPT-2 在 B=64、128 的部分或完全失败源于 b 接近或超过 d=768，而 LLaMa-2 的更大维度使其在 B=128 仍接近满分；B=128 时 LLaMa-2 每批耗时超 2 小时。

   FedAvg、微调方式与模型规模

   • FedAvg（Table 4，GPT-2、RT、B=16）：默认 E=10、η=10⁻⁴、Bmini=4 时 R-1 为 95.4±1.6；E=2 时 98.4，η=5×10⁻⁴ 时降到 84.2，Bmini=16 时 100.0。作者称 FedAvg 在合理学习率与 epoch 范围内仍易受攻击，关键影响因素是学习率 η。
   • LoRA 与量化（Table 11，RT）：LLaMa-3 70B（B=1）与 LLaMa-3.1 8B（B=32）在 16-bit 量化下 R-1/R-2 均 >99%；LoRA（r=256，先训 3 epoch）下 R-1 为 94.8、R-2 为 94.2±0.7。
   • 模型规模与训练程度（Table 5，RT）：GPT-2BASE、GPT-2FineTuned、GPT-2NextToken、GPT-2LARGE 在 B=16/32 均接近满分，B=64 时 GPT-2LARGE 的 R-1 为 44.1±4.2（其余变体 ≤2.8），B=128 全部为 0.0；作者称模型规模与预训练程度对结果影响很小，更大嵌入维度反而在大批次下恢复更多 token。

   长序列、next-token prediction 与 DP 防御

   • 长序列（ECHR）：单次实验，GPT-2BASE、B=1、截断 512 token，R-1/R-2 均为 100.0±0.0；同设置 LAMP 的 R-1 为 10.1±2.3。
   • Next-token prediction：作者报告 R-1/R-2 > 99，未达满分是因为每条序列最后一个 token 只作目标、被掩码不出现在输入中。
   • 高斯噪声防御（Table 10，GPT-2、RT、B=1）：σ=10⁻⁵ 时 R-1 为 74.0±3.2，σ=5×10⁻⁵ 时 46.9，σ=10⁻⁴ 时 20.7，σ=5×10⁻⁴ 时 5.6；作者称这是初步结果，改进空间留作未来工作。σ≥10⁻³ 时收敛模型的情感预测准确率从 >87% 降到 80% 以下。

   其他消融与分析

   • 秩截断（Table 8，GPT-2）：无 cutoff 时 CoLA B=128 与 RT B=64 直接为 0.0，有 cutoff 时分别为 30.3 与 2.8。
   • 过滤阈值鲁棒性（Figure 2，GPT-2、B=32、b=391）：单层（L1）过滤在 10⁻⁶–10⁰ 阈值范围内把首 token 候选从约 5 万词表压到 300 以下，加第二层过滤后精确恢复 32 个首 token。
   • ∆b 消融（Figure 3，GPT-2）：作者称 ∆b=20 在稳定性与准确率间折中最好，b 接近 d 时仍几乎完美重建。
   • Encoder 启发式（Figure 4，BERTBASE）：B=1 时无需启发式即可完美恢复；图中给出 B=4 有无启发式的对比曲线。
   • SST-2 的 ROUGE-2 例外：GPT-2 上 SST-2 的 ROUGE-2 为 86.0–92.9 而非 100，作者说明这是指标库把单词序列的 ROUGE-2 记为 0 的伪影。
   • 运行时间（Table 7）：GPT-2 上任何批次大小重建一个批次不到 8 分钟；BERT 上 B=8 的 RT 需 195.0 小时；LLaMa-2 上 B=128 的 RT 需 523.1 小时。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出 b>d 无法精确重建、encoder 大批次与长序列搜索困难，并把防御鲁棒性与新启发式列为未来方向。

   作者指出的局限与后续方向

   • b>d 时无法精确重建（Sec. 7）：decoder 模型上的表现只受嵌入维度 d 约束，token 数 b 超过 d 时精确重建不可达，但作者称攻击效果只随 b 逐渐下降。
   • 对防御机制的鲁棒性（Sec. 7）：作者提出未来可改进 DAGER 以对抗包括 DPSGD 在内的防御机制；App. C.4 的 DP 实验作者称为初步结果，改进留作未来工作。
   • Encoder 大批次困难（Sec. 7）：encoder 架构在 B >> 8 时搜索空间随批次大小高阶多项式增长，计算约束使充分探索搜索空间几乎不可能。
   • 长序列困难（Sec. 7）：搜索空间随最大序列长度指数增长，作者建议未来研究探索更多启发式以缩减搜索空间。

   实验覆盖范围

   • 被测模型为 GPT-2（BASE/LARGE/FineTuned/NextToken 四个变体）、LLaMa-2 (7B)、LLaMa-3.1 (8B)、LLaMa-3 70B、BERTBASE，共 6 个模型系列（Table 6）。
   • 数据集为 CoLA、SST-2、Rotten Tomatoes、ECHR 四个英文分类/法律数据集；主实验批次大小覆盖 B=1 到 B=128，每设置在 100 个批次上取均值。
   • 训练协议覆盖 FedSGD 与 FedAvg（E=2–20、η=10⁻⁵–5×10⁻⁴、Bmini=2–16），微调方式覆盖 16-bit 量化与 LoRA（r=256），损失函数覆盖交叉熵与 Frobenius 范数损失。
   • 防御评测仅包括梯度加高斯噪声一种（σ=10⁻⁵ 到 5×10⁻⁴，GPT-2、RT、B=1），论文未报告对安全聚合等其他防御的实验。
   • 论文未报告多客户端（multi-client）场景下的实验；ECHR 长序列实验为单次实验（B=1）。

   收起这一问

6. 06总结一下论文的主要内容

   DAGER 利用自注意力梯度的低秩结构与 token 离散性做精确梯度反演，在 decoder LLM 上 B≤128 接近满分恢复整批文本。

   一篇关于联邦学习隐私的攻击论文：作者提出 DAGER，称是首个能精确恢复整批输入文本的 transformer 梯度反演攻击。

   • 要解决的问题：文本梯度反演此前受离散性限制，只能近似恢复小批次、短序列；作者要在 honest-but-curious 设定（服务器只被动观察梯度、不能改模型、无数据先验）下精确恢复大批次、长序列文本。
   • 方法要点：当批次 token 总数 b < 嵌入维度 d 时，自注意力 Q/K/V 投影的梯度秩亏且其列空间包含真实输入嵌入；DAG 用投影距离做"跨度检查"，先用第一层梯度恢复各位置 token 集合，再对 decoder 借因果掩码逐 token 贪心扩展、对 encoder 用 EOS 定位等启发式穷举，恢复完整序列。
   • 主要结果：
     • GPT-2 上 CoLA/SST-2/RT 在 B=1–8 全部 ROUGE-1 为 100.0，B≤64 多数设置满分；基线 TAG/LAMP 在 B=8 时 ROUGE-1 均低于 9（Table 2）。
     • LLaMa-2 (7B) 在 B=128 时 CoLA 上 ROUGE-1 为 99.5、RT 上为 99.7；GPT-2 在 B=128 时 CoLA 上降到 30.3、RT 上为 0.0（Table 3）。
     • BERT 上 B=1、2 接近满分，B=8 时 CoLA 上 ROUGE-1 为 67.8，仍高于 LAMP 的 52.9（Table 2）。
     • FedAvg、LoRA（r=256，R-1 为 94.8）、16-bit 量化（LLaMa-3 70B、LLaMa-3.1 8B 上 >99%）下均保持高分；ECHR 512 token 单序列完美恢复。
     • 效率：RT 上 100 个 B=8 批次 DAGER 用 3.5 小时，TAG 约 10 小时、LAMP 约 50 小时。
   • 作者的结论与启示：作者认为 decoder 架构的 LLM 因因果掩码而更易受梯度泄露，模型越大（d 越大）可泄露的信息越多，在无防御时接收梯度本质上等同于直接接收客户端数据；作者强调需要安全聚合、更大批次或梯度扰动等防护，并把对抗 DPSGD 等防御、改进 encoder 搜索启发式列为未来方向。

   收起这一问

相关论文