跳到正文
原文

在语言模型联邦学习中恢复私人文本

Recovering Private Text in Federated Learning of Language Models

arXiv· arXiv:2205.08514· Samyak Gupta, Yangsibo Huang, Zexuan Zhong, Tianyu Gao, Kai Li, Danqi ChenPrinceton University本站收录· 13 天前· 原文发表入选 攻击精选关注度39

论文速读

攻击

据论文 PDF 整理（AI 生成），以原文为准

作者提出联邦学习文本恢复攻击 FILM，称可在 GPT-2 语言建模上从最大 128 句的批次梯度中恢复句子，并提出冻结词嵌入的防御。

威胁模型honest-but-curious 攻击者窃听联邦学习中服务器与单个客户端的通信，对客户端发送的梯度和模型参数（含词表与词嵌入矩阵）有 white-box 访问，可在任意训练迭代查看；目标是至少恢复私有训练批次中的一句。

问题
联邦学习中客户端上传的梯度可能泄露私有数据；图像恢复已有大量工作，但文本恢复此前只在小批次上成功。作者关注语言模型联邦训练中的文本泄露风险。
方法
FILM 分三步：从词嵌入梯度的非零行提取词袋，用词袋加语言模型概率做 beam search 重建句子，再用结合困惑度与梯度范数的评分函数做短语级和词级重排；可迭代恢复多句。防御上提出训练时冻结词嵌入。
实验与结果
在 GPT-2 base 与 WikiText-103、Enron Email 上，b=1 时各指标接近 1，b=128 时平均 ROUGE-L 约 0.29；b=16 时迭代 100 次可恢复约 34% 的句子。梯度剪枝与 DPSGD 效用损失大；从预训练模型出发冻结词嵌入可完全阻止词袋恢复且困惑度几乎不变。
局限与可以继续做的
作者指出：未在其他 NLP 任务上验证；未尝试超过 128 的批次，消融只到 b=16；多句恢复中如何挑选好句子未解决；从头训练时冻结词嵌入损害效用。实验只用 GPT-2 base 与两个数据集，每条件 20 个批次。
实验设置GPT-2 · WikiText-103、Enron Email · ROUGE-1/2/L F-Scores、NERR 等
被测模型
GPT-2
基准
WikiText-103Enron Email
指标
ROUGE-1/2/L F-ScoresNERRPrecisionRecallPerplexity
AI 导读和推荐理由普林斯顿大学研究者提出针对语言模型联邦学习的梯度反演攻击FILM，作者称首次展示从最多128句的大批量训练数据中恢复私人文本的可行性。攻击假设窃听者截获客户端与服务器间传输的梯度，先从词嵌入梯度提取批次内出现过的单词集合，再用beam search借助预训练模型的先验与训练中的记忆重建句子，最后按困惑度和梯度范数重排词序。在GPT-2上对WikiText-103和Enron Email的实验显示，大批量下仍能高保真重建单句，迭代攻击可恢复16句批次中约三分之一的句子。防御方面，梯度剪枝和DPSGD都造成明显效用损失，剪枝比例高达0.9999时攻击仍能恢复超过90%的token；作者提出在私有文本上微调公开预训练模型时冻结词嵌入，可有效阻断攻击且效用损失很小。

普林斯顿大学研究者提出针对语言模型联邦学习的梯度反演攻击FILM，作者称首次展示从最多128句的大批量训练数据中恢复私人文本的可行性。攻击假设窃听者截获客户端与服务器间传输的梯度，先从词嵌入梯度提取批次内出现过的单词集合，再用beam search借助预训练模型的先验与训练中的记忆重建句子，最后按困惑度和梯度范数重排词序。在GPT-2上对WikiText-103和Enron Email的实验显示，大批量下仍能高保真重建单句，迭代攻击可恢复16句批次中约三分之一的句子。防御方面，梯度剪枝和DPSGD都造成明显效用损失，剪枝比例高达0.9999时攻击仍能恢复超过90%的token；作者提出在私有文本上微调公开预训练模型时冻结词嵌入，可有效阻断攻击且效用损失很小。

推荐理由论文把联邦学习中的文本梯度反演推进到最多128句的大批量，其冻结词嵌入的防御思路给隐私敏感场景的训练方提供了低损选项。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者研究联邦学习语言模型训练中从梯度恢复私有文本，提出攻击 FILM 与冻结词嵌入防御。

    核心问题：联邦学习语言模型（LM）训练中，窃听梯度能否恢复客户端的私有文本，尤其是在较大批次下。

    • 场景与重要性：联邦学习被考虑用于虚拟键盘、医院电子病历等隐私敏感场景（引言）；作者认为基于 Transformer 的 LM 正被用于隐私敏感领域，且 LM 的记忆能力使训练天然有更高泄露风险。
    • 现有方法的不足：作者称此前文本恢复只限于不现实的小批次——Zhu et al. (2019) 与 Deng et al. (2021) 只在 batch size 1 上有效，Dimitrov et al. (2022) 在 BERT 二分类任务上恢复 4 句；图像上的梯度匹配方法对离散文本无效且对初始化敏感（Sec. 6）。
    • 核心观察：词嵌入梯度的非零行可泄露批次中出现的词（Melis et al., 2019），预训练 LM 的语言先验与训练中的记忆能力可帮助把词重排成句。
    • 论文提出什么：攻击方法 FILM（词袋提取 + beam search + 先验引导的重排，可迭代恢复多句），以及防御方法——训练时冻结词嵌入；并评测 gradient pruning 与 DPSGD 两种已有防御。
    • 威胁模型（Sec. 3.3）：
      • 目标：至少恢复私有训练批次 Bi 中的一句；作者认为恢复一句已足以破坏联邦学习的隐私保证。
      • 知识：对客户端发送的梯度和模型参数 θt（含词表 V 与嵌入矩阵 W）有 white-box 访问。
      • 能力：honest-but-curious 窃听者，可在任意训练迭代 t 查看上述信息。
      • 受害系统：单服务器、单客户端的联邦语言模型训练（作者称该设置可代表 N 客户端同步联邦学习）。

  2. 有哪些相关研究？

    相关工作分三组：梯度数据恢复、语言模型记忆、梯度反演防御；本文基线为 DLG 与 TAG。

    从梯度恢复数据

    • Zhu et al. (2019)、Zhao et al. (2020)、Geiping et al. (2020)、Yin et al. (2021) 等——把图像重建当作优化问题，迭代调整重建图像使其梯度匹配观测梯度，用 total variation、batch normalization 统计等图像先验做正则。
    • Zhu et al. (2019)——首次尝试从梯度恢复文本，在 masked language modeling 上匹配连续表示再映射回最近的词；Deng et al. (2021) 加了优先匹配靠近输入层梯度的正则。论文指出两者都只适用于 batch size 1（Sec. 6）。
    • Dimitrov et al. (2022)——结合梯度匹配损失与辅助语言模型的文本先验概率，在 BERT 二分类任务上恢复 4 句的批次；Boenisch et al. (2021)、Fowl et al. (2022) 在更强威胁模型（恶意服务器可操纵模型权重）下恢复文本。

    语言模型的记忆

    • Carlini et al. (2019, 2021)、Thakkar et al. (2021)、Zanella-Béguelin et al. (2020) 等——发现大语言模型会记忆训练数据，可被诱导输出敏感信息。作者称这些记忆攻击从大语料中恢复少量敏感文本，而本文攻击针对联邦学习每个 mini-batch，作者认为本文攻击更强。
    • Melis et al. (2019)——通过词嵌入矩阵梯度的非零项发现嵌入层信息泄露；论文指出他们只从浅层 GRU 推断人名或地名，本文则从大语言模型恢复完整句子。

    针对文本梯度反演的防御

    • Bonawitz et al. (2016)、Phong et al. (2018)——加密梯度或加密数据与模型的密码学方法；论文指出其实际部署会拖慢训练且需要特殊设置。
    • Zhu et al. (2019)——提到加差分隐私噪声或梯度剪枝；论文指出这类防御通常损害模型准确率（引 Li et al., 2021; Yu et al., 2021）。
    • Huang et al. (2020b) 的 InstaHide 与 Huang et al. (2020a) 的 TextHide——用随机像素掩码和 MixUp 隐藏输入，后者对 BERT 的 [CLS] token 做 MixUp。

    基线与基准：对比基线为 DLG（Zhu et al., 2019）和 TAG（Deng et al., 2021），在 WikiText-103 与 Enron Email 上比较（Table 9）；防御基线为 gradient pruning 与 DPSGD。作者定位本文的区别：不依赖端到端优化、在更大批次（max(b)=128）上验证、针对自回归语言建模任务（附录 Table 6）。

  3. 论文如何解决这个问题？

    FILM 三步：词嵌入梯度提取词袋、beam search 造句、先验评分重排；防御为冻结词嵌入。

    整体思路：不做端到端梯度匹配优化，而是先从梯度中恢复批次里出现的词集合，再借助语言模型的概率分布把词搜成句子，最后用结合困惑度与梯度范数的评分做重排。方法名为 FILM（Federated Inversion Attack for Language Models）。

    问题设定

    • 联邦学习按 Sec. 3.2 形式化：客户端在私有批次 Bi（|Bi|=b）上算梯度发给服务器聚合；攻击者在第 t 轮观测梯度与模型参数。
    • 语言建模目标为 log ℙθ(x) = ∑i=1n log ℙθ(xi | x1, ..., xi−1)，即自回归地估计序列概率。
    • 攻击强度用恢复句与原句的相似度衡量。

    第一步：词袋提取（Sec. 4.2）

    • 取词嵌入梯度 ∇W 的非零行，得到批次中出现的词集合 B（不含词频）；位置嵌入梯度的非零行可推出批次中最长句长。
    • 作者称 beam search 中加入 n-gram 惩罚可补偿缺失的词频信息。

    第二步：beam search 重建句子（Sec. 4.3）

    • 从 B 中选大写开头的词作为起始 prompt，用模型概率分布做自回归 beam search，每步保留 top-k 个 beam，生成到指定长度（40 词）后取总概率最高者。
    • 对重复 n-gram 加惩罚（n=2）；该步利用预训练模型的语言先验（t=0）或训练中记忆的内容（t>0）。

    第三步：先验引导的重排（Sec. 4.4）

    • 评分函数 Sθ(x) = exp{−1/n log ℙθ(x) + β |∇θ ℒθ(x)|}，即困惑度项加 β 加权的梯度范数项；附录 B.8 给出设计依据：原句通常比扰动版本有更低的困惑度和梯度范数。
    • 短语级重排：先删去首个标点后的冗余片段，再按 Malkin et al. (2021) 的策略在 p 个位置切分并排列短语，迭代 200 步，每步取 S 最优候选。
    • 词级重排：随机交换两词、随机删词、或从词袋随机插词，迭代 200 步，同样按 S 选最优。

    多句恢复与防御

    • 多句恢复（Sec. 4.5）：重复 beam search，每轮对之前生成结果的 n-gram 加惩罚，积累候选集，再逐个重排。
    • 防御（Sec. 5）：训练时冻结词嵌入，使词袋无法从嵌入梯度恢复；作者称此前小批次梯度反演攻击同样依赖这一步。分两种设置：从头训练（词嵌入随机初始化，效用损失大）与从公开预训练 LM 继续训练（作者称隐私-效用权衡最好）。

  4. 论文做了哪些实验？

    GPT-2 base 在 WikiText-103 与 Enron Email 上评测：b=1 各指标接近 1，b=128 平均 ROUGE-L 约 0.29；冻结词嵌入防御有效且效用损失小。

    实验设置

    • 被测模型：GPT-2 base（117M 参数），分预训练初始化与随机初始化两种。
    • 数据集：WikiText-103（预处理后 203,456 句）与 Enron Email（31,797 句）；预处理保留少于 40 token、少于 5 个未知 token、预训练 GPT-2 上困惑度小于 50、至少含 1 个指定类型命名实体的句子（附录 B.1）；各留 2000 句做评估集。
    • 训练设置：单服务器单客户端；默认训练 90,000 迭代，初始学习率 1×10⁻⁵，线性衰减，early stopping；单句恢复在 Nvidia 2080TI 上 1 分钟内完成。
    • 基线：DLG（Zhu et al., 2019）、TAG（Deng et al., 2021）；防御基线 gradient pruning、DPSGD。
    • 指标：ROUGE-1/2/L F-Score；NERR（命名实体恢复比例，0 到 1）；防御评测用 token 恢复的 precision/recall 与测试集困惑度。
    • 样本量：主结果为 20 个测试 mini-batch 的平均值与标准差（Table 10）；Table 1 展示每个批次大小下 20 个批次中最好的恢复句。

    主结果

    据 Table 10（20 个批次的平均值 ± 标准差，括号内为最佳值）：

    表格较宽，可左右滑动

    数据集批次 bROUGE-1ROUGE-2ROUGE-LNERR
    WikiText-10310.74 ± 0.120.44 ± 0.190.54 ± 0.140.28 ± 0.35
    WikiText-103160.38 ± 0.080.16 ± 0.100.27 ± 0.080.26 ± 0.25
    WikiText-1031280.37 ± 0.040.14 ± 0.050.29 ± 0.060.28 ± 0.19
    Enron Email10.73 ± 0.210.45 ± 0.290.61 ± 0.240.34 ± 0.45
    Enron Email160.41 ± 0.090.20 ± 0.120.31 ± 0.100.40 ± 0.31
    Enron Email1280.37 ± 0.070.19 ± 0.100.29 ± 0.090.38 ± 0.31
    • 作者称 b=1 时四项指标都接近 1（指最佳值，Table 10 括号内均为 1.00），批次增大后 ROUGE-1、ROUGE-2、NERR 下降，作者归因于词集合变大和词序搜索空间增大。
    • 作者称 Enron Email 比 WikiText-103 更容易被攻击（NERR 在 b=16 到 128 时更高）。
    • 与基线对比（Table 9，20 个样本平均）：b=1 时 WikiText-103 上 FILM 的 ROUGE-L 为 0.54，TAG 为 0.33，DLG 为 0.03；b=32 时 FILM 0.26、TAG 0.08、DLG 0.04；作者称 FILM 在所有批次大小和数据集上恢复更多，且 ROUGE-2 优势明显。

    训练迭代与初始化的影响

    • 测了什么：WikiText-103 上 b=16 训练、攻击批次为 1，比较预训练与随机初始化模型在不同迭代数 t 下的恢复（Figure 4）。
    • 结果：未微调的预训练模型（t=0）平均 ROUGE-L 为 0.41；在 WikiText-103 上继续训练后升至 0.53，作者称增幅接近 30%。预训练初始化整体比随机初始化更易被攻击，但差距随迭代增加而缩小。
    • 作者解读：与图像梯度匹配攻击中"训练充分的模型更难攻击"相反，作者认为语言模型训练中记忆了数据，因此训练充分的模型更易被 FILM 攻击。

    多句恢复（迭代攻击）

    • 测了什么：WikiText-103、b=16，重复 beam search 并对历史结果加 n-gram 惩罚；以 ROUGE-L>0.25 判定强泄露（Table 3）。
    • 结果：100 次重复后 recall 为 0.34 ± 0.09（约恢复批次中 5 句），precision 为 0.07 ± 0.02；重复次数越多 recall 越高、precision 越低（1 次时 recall 0.03、precision 0.50）。
    • 作者解读：攻击者仍需一种从 100 个生成句中挑出好恢复的方法，论文用 precision 估计这一难度。

    防御评测

    • gradient pruning（Table 4a，WikiText-103、GPT-2、b=16）：precision 恒为 1.00；剪枝率 0.9999 时 recall 仍为 0.90，但困惑度从 11.46（不剪枝）升至 19.21。
    • DPSGD（Table 4b）：ε=15 时 recall 0.49、困惑度 11.98；ε=10 时 recall 0.17、困惑度 12.86；ε=1 时 recall 0.00、困惑度 16.31。作者称 ε 小于 15 时 FILM 无法恢复多数 token，但效用代价上升。攻击策略改用阈值 τ=σ√(2 log d) 判别噪声梯度。
    • 冻结词嵌入（Table 5）：precision 与 recall 均为 0。从头训练时冻结使 WikiText-103 困惑度从 27.31 升至 118.69、Enron Email 从 15.16 升至 69.17；从预训练模型出发时，WikiText-103 为 11.40（不冻结）对 11.48（冻结），Enron Email 为 7.09 对 7.30。作者称从头训练冻结损害效用，从公开预训练模型出发则效用损失可忽略。

    其他消融与分析

    • beam size k（Figure 5 左）：k 增大恢复质量提升，作者称 k≈32 在性能与效率间权衡最好。
    • n-gram 惩罚（Figure 5 右）：无惩罚明显差于 n=2；n=2 最接近知道词频的 oracle。
    • 重排评分系数 β（Figure 6 左）：β=1 最优，优于纯困惑度（β=0）与接近纯梯度范数（β=50），各批次大小趋势一致。
    • 重排收益（Figure 6 右）：小批次上重排提升更大，作者推测是因为小批次的 beam search 结果更接近原句。
    • 训练集规模（Figure 8a）：5,000 到 200,000 句之间攻击表现基本持平，作者称更大训练集并不更难攻击。
    • 初始学习率（Figure 8b、Table 14）：{1×10⁻⁵, 5×10⁻⁵, 1×10⁻⁴, 5×10⁻⁴} 范围内，更大初始学习率使 ROUGE 略升。
    • 词袋的作用（Figure 10）：有词袋时 beam search 在小批次上明显更强，且在大批次上能恢复更多命名实体。

  5. 有什么可以进一步探索的点？

    作者列出未验证其他任务、未超 128 批次等局限；实验仅覆盖 GPT-2 base 与两个数据集。

    作者指出的局限与后续方向

    • 未评估攻击能否泛化到其他 NLP 任务（如文本分类）（Sec. 8 Limitations）。
    • 未尝试超过 128 的批次大小，消融实验未报告 b 超过 16 的结果（Sec. 8 Limitations）。
    • 多句恢复场景中如何挑选好句子的问题留待解决（Sec. 8 Limitations，对应 Sec. 6.2）。
    • 从头预训练语言模型时冻结词嵌入会损害模型效用，该设置下如何有效防御 FILM 仍待研究（Sec. 8 Limitations）。
    • 恢复更长段落留作未来工作（附录 B.1）。

    实验覆盖范围

    • 被测模型为 GPT-2 base（117M），共 1 个模型，含预训练与随机初始化两种起点（Sec. 6.1）。
    • 数据集为 WikiText-103（203,456 句）与 Enron Email（31,797 句），预处理后句子少于 40 token 且困惑度小于 50（附录 B.1）。
    • 主结果每个条件测 20 个 mini-batch；多句恢复在 b=16 下最多重复 100 次（Table 3）。
    • 防御评测覆盖 gradient pruning、DPSGD、冻结词嵌入三种，均在 WikiText-103、b=16 下（Sec. 6.3）。
    • 论文未报告攻击所用的 beam size 默认值之外的完整超参数组合，也未报告多句恢复中挑选好句子的自动化方法。

  6. 总结一下论文的主要内容

    FILM 用语言模型先验与记忆从联邦学习梯度恢复文本，b=128 仍可行；冻结词嵌入可低成本防御。

    一篇关于联邦学习隐私泄露的攻击论文：作者提出 FILM，从语言模型联邦训练中传输的梯度恢复客户端私有文本，并给出防御建议。

    • 问题：图像梯度反演已较成熟，但文本恢复此前限于极小批次；作者认为 LM 的语言先验与记忆能力使文本联邦训练存在更高泄露风险。
    • 方法：先从词嵌入梯度非零行提取批次词袋，再用 beam search 借模型概率分布把词搜成句（加 n-gram 惩罚补偿词频缺失），最后用困惑度加梯度范数的评分做短语级与词级重排；重复该流程可恢复多句。威胁模型为 honest-but-curious 窃听者，对梯度与模型参数有 white-box 访问。
    • 主结果：GPT-2 base 上，b=1 时 WikiText-103 与 Enron Email 的最佳恢复四项指标均达 1.00；b=128 时平均 ROUGE-L 分别为 0.29 ± 0.06 与 0.29 ± 0.09（Table 10）。b=16 时迭代 100 次可恢复约 34% 的句子（Table 3）。
    • 其他发现：训练越充分、从预训练模型出发，攻击越强（t=0 时平均 ROUGE-L 0.41，训练后 0.53）；训练集规模对攻击影响不大。
    • 防御：gradient pruning 在剪枝率 0.9999 时仍泄露 90% token 且困惑度从 11.46 升至 19.21；DPSGD 在 ε<15 时挡住多数 token 恢复但损害效用；从公开预训练模型出发冻结词嵌入可完全阻止词袋恢复，WikiText-103 困惑度仅从 11.40 变为 11.48（Table 5）。
    • 作者结论：作者称 FILM 对联邦学习 LM 训练构成现实隐私威胁，建议隐私敏感场景从公开预训练模型出发并冻结词嵌入，并希望社区重新思考 LM 训练的隐私实践。

相关论文

共同使用 WikiText-103
再看 2 篇
共同使用 Enron Email
阅读原文arxiv.org