分析语言模型中的个人可识别信息泄露

1. 01这篇论文试图解决什么问题？

   如何端到端量化微调语言模型的 PII 泄漏，以及清洗和 DP 这两种防御到底能挡住多少。

   核心问题：语言模型微调后会泄漏多少训练数据中的个人可识别信息（PII），现有的清洗（scrubbing）与差分隐私（DP）防御各自能缓解到什么程度，目前缺乏端到端的量化方法。

   • 场景与动机：作者以类似 Gmail Smart Compose 的下一词预测服务为例——在含 PII 的私有数据（邮件、病历、法律文书）上微调 LM 并以黑盒 API 部署，攻击者可能学到姓名、地址等 PII；作者认为此前研究关注成员推断和一般性数据抽取，对 PII 泄漏关注不足。
   • 现有防御的不足（按论文说法）：PII 清洗依赖 NER，召回不完美（论文引临床数据上姓名 97%、护理单元号 80%），必须在披露风险与数据效用间权衡；DP 提供 record/user 级保证，但作者认为其假设记录不重复，而 PII 常跨记录、跨用户重复，record 级 DP 对 PII 披露的贡献不清楚。
   • 核心观察：作者认为“保护 by whom（谁贡献的数据）”不等于“保护 about whom（数据关于谁）”；同一 PII 在多条记录中重复出现时，DP 模型仍可能泄漏该信息本身。
   • 论文提出的内容：三种 PII 泄漏攻击（extraction、reconstruction、inference）的博弈式定义与可计算的近似攻击算法，以及在三个领域、四种 GPT-2 规模上的隐私/效用实证评估。
   • 威胁模型：
     • 目标：从 LM 中抽取真实 PII（extraction），或把 PII 与其上下文关联（reconstruction、inference）。
     • 知识：攻击者知道训练流程与数据分布；reconstruction 额外获得带 [MASK] 的清洗后训练句，inference 再额外获得含正确 PII 的候选集（Table I）。
     • 能力：black-box API 访问，可对任意前缀查询下一个 token 的完整概率向量；论文提到 API 按 token 计费，实际限制查询次数。
     • 受害系统：在私有数据上微调、经黑盒 API 部署的生成式 LM（实验中为 GPT-2）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分训练数据抽取、隐私防御两类；本文直接对比的基线是 TAB 重构攻击。

   训练数据抽取与记忆化

   • Carlini et al. [9, 11] 等——研究 LM 对训练数据的记忆与抽取，包括句子级抽取、canary 抽取 [8, 50, 68] 和 n-gram 级复制 [42]；作者指出这类工作不区分公开与私密信息，且多在无防御设定下评估。
   • PII 泄漏研究——掩码语言模型 [36, 61]、大型 LM [26, 54] 和 Smart Reply 分类模型 [32] 上的 PII 泄漏；作者指出这些工作主要在无缓解措施下理解泄漏。
   • 记忆化成因——Jagielski et al. [31] 研究训练数据顺序等因素，Tirumala et al. [60] 研究数据集规模、学习率、模型规模对记忆的影响。

   隐私防御

   • DP 微调——Yu et al. [67] 与 Li et al. [38] 提出在私有数据上差分隐私微调 LM 的方法；Shi et al. [57] 提出只对敏感样本加噪的 selective DP。
   • 组合防御——Stock et al. [59] 研究对 GPT-2 微调模型的 canary 抽取与 Rényi DP 防御；Zhao et al. [70] 提出结合去重、编辑与 DP-SGD，作者称“最有意思的是”用本文的风险与指标去评估该方案的效果。

   成员推断与 PII 的关联

   • Yeom et al. [65]——将属性推断与成员推断（MI）关联；本文借用这一关联方式，把 PII 重构与 record 级 MI 联系起来，并用影子模型 MI 攻击 [58] 做实证。

   基线与基准

   • 基线方法：TAB 攻击 [28]（用查询前缀从 LM 贪心解码下一段 token 来重构 PII），在 Table IV 中与本文重构攻击在三个数据集上直接对比。
   • 基准/数据集：ECHR（欧洲人权法院案件）[12]、Enron 邮件 [34]、Yelp-Health 评论子集；作者还提到 Text Anonymization Benchmark [51] 因规模太小（1,268 条记录）无法用于 DP-SGD 微调。

   作者对本文的定位：作者称本文是首个在端到端训练管线中评估 PII 清洗与 DP 相互作用的工作，且关注微调 LM 上 PII 在给定上下文（前缀+后缀）、无上下文或候选列表下的泄漏，而非任意类型的记忆化。

   收起这一问

3. 03论文如何解决这个问题？

   为三种 PII 攻击给出博弈式定义，把不可解的精确泄漏公式近似为可执行的黑盒攻击算法。

   整体思路：先为 PII 泄漏建立分类体系（extraction、reconstruction、inference）和博弈式（game-based）定义，证明精确泄漏度量不可解，再给出用黑盒查询近似这些度量的具体攻击算法，并用它们量化各防御下的泄漏。方法无统一命名，核心算法为 Algorithm 3/4（抽取）、Algorithm 6（重构/推断）。

   问题形式化与定义

   • 抽取成功率：定义为攻击者输出 PII 集合与训练集真实 PII 集合的召回期望 Succ_EXTRACTION = E[|C ∩ C̃| / |C|]；优势（advantage）定义为与无模型访问的攻击者成功率上界之差。
   • 可抽取性：EXTRACTABILITY(C; θ) = ∑_S Pr(S; θ) Pr(C|S; θ)，即 PII 序列 C 在模型生成样本中出现的期望概率；作者指出该式要对所有序列求和，不可解（intractable）。
   • 重构目标：给定前缀 S0 与后缀 S1，求 arg max Pr(S0 C S1; θ)，作者指出这是受限束搜索（constrained beam search）的实例，精确求解不可解。

   PII 抽取（Algorithm 3、4）

   • 观测泄漏（Algorithm 3）：从空提示采样 N 句，用 NER 标出与目标同类的 PII，统计目标 PII 出现频率。
   • 惰性估计（Algorithm 4）：基于两个假设——PII 遵循语法规则、同类 PII 可互换——采样后用同类 PII 替换并累加模型赋予目标 PII 的概率，逐点估计可抽取性，避免在海量生成文本上跑 NER。

   PII 重构与推断（Algorithm 6）

   • 流程：1. 用公开掩码语言模型（实现为 RoBERTa）填充查询中残留的 [MASK]；2. 重构时从目标模型 top-k 采样 N 句并用 NER 收集候选 PII；3. 把每个候选填入目标位置，按整句困惑度排序，返回困惑度最低者。
   • 推断：与重构共用 Algorithm 6，但候选集 C 由攻击者已知（假定包含正确 PII），作者观察到只需从候选中做推断的攻击者明显更强。
   • 基线泄漏处理：排除微调前公开模型已能抽取或已能正确预测的 PII，作者认为剩余泄漏可归因于模型对私有数据的观察；同时承认这会少计部分敏感泄漏（如公众人物的健康信息）。

   评测方式与关键参数

   • 数据与标注：三个数据集（ECHR、Enron、Yelp-Health），PII 用 Flair（OntoNotes 训练，F1 90.93）与 Presidio（基于 spaCy）两个 NER 标注，共 21 个实体类（附录 A）；清洗用 [MASK] 替换 PII（Algorithm 1）。
   • 训练设置：GPT-2 Small/Medium/Large/XL 四种规模，各训练 undefended、DP、scrubbed、DP+scrubbed 四种变体；DP 用 dp-transformers 库，per-sample 梯度范数上限 1.0，训练 4 个 epoch，(ε, δ) = (8, 1/N)。
   • 指标：效用为测试集困惑度；成员推断为 ROC AUC；PII 抽取为 Precision/Recall；重构与推断为 top-1 准确率（Section IV-D）。

   收起这一问

4. 04论文做了哪些实验？

   在三个数据集、四种 GPT-2 规模上评测三种攻击，DP 大幅压低泄漏但未消除，清洗加 DP 可挡住 PII 攻击但损害效用。

   实验设置

   • 被测模型：GPT-2 Small（124m）、Medium（355m）、Large（774m）、XL（1557m），各有 undefended、DP(ε=8)、scrubbed、DP+scrubbed 变体。
   • 数据集：ECHR（118,161 条记录，16,133 个唯一 person 类 PII）、Enron（138,919 条，105,880 个）、Yelp-Health（78,794 条，17,035 个）（Table VII）。
   • 基线：重构攻击对比 TAB 攻击 [28]；成员推断用影子模型攻击 [58]。
   • 指标与判定：抽取为 Precision/Recall（NER 标注生成文本中的 PII）；重构/推断为 top-1 准确率；效用为测试困惑度；MI 为 ROC AUC。
   • 采样设置：抽取实验每个目标模型经 15k 查询采样约 4m token（每查询生成 256 token，top-k 采样 k=40）；基线泄漏用公开模型 50k 查询、13m token 的样本排除。
   • 重构/推断设置：重构采样 64 个候选、top-k 采样 k=40；推断在 GPT-2-Large 上评测，候选集 |C| 为 100 和 500。

   主结果

   据 Table IV（person 类 PII 重构 top-1 准确率，本文攻击 |C|=64）：

   表格较宽，可左右滑动

   数据集 / 攻击	GPT-2 Small No DP	GPT-2 Medium No DP	GPT-2 Large No DP	GPT-2 XL No DP	GPT-2 Large ε=8
   ECHR (TAB)	0.78%	1.21%	5.81%	4.30%	0.48%
   ECHR (Ours)	2.25%	3.36%	18.27%	13.11%	0.55%
   Enron (TAB)	0.59%	0.67%	1.75%	2.19%	0.04%
   Enron (Ours)	6.29%	7.26%	12.68%	15.25%	0.55%
   Yelp-Health (TAB)	0.33%	0.37%	0.65%	1.99%	0.12%
   Yelp-Health (Ours)	0.42%	1.31%	1.69%	6.40%	0.35%

   • 作者解读：作者称本文攻击在 ECHR 上至少比 TAB 高 2.5 倍、Enron 至少 7.5 倍、Yelp-Health 约 3 倍，最高 10 倍（Enron GPT-2-Medium）；例外是 GPT-2-Small 上 Yelp-Health 仅从 0.33% 提升到 0.42%。
   • DP 下的重构：DP 模型中重构风险 ≤1%，作者称攻击在所有情形下仍优于基线，但认为泄漏太小、不构成实际攻击。
   • 模型规模：作者观察到所有数据集上更大的模型更容易被重构 PII。

   PII 抽取实验

   • 结果（Table III）：ECHR 上 GPT-2-Large 无防御时召回 22.96%、精度 29.56%；DP(ε=8) 后各规模召回约 3%、精度约 3%（如 Large 召回 2.98%、精度 2.92%）。作者据此称 DP 把泄漏压低了约一个数量级但仍泄漏约 3% 的 PII。
   • 风险因素：Fig. 5a 显示 PII 在训练集中的重复次数与泄漏频率呈线性关系（作者指出这与 Kandpal et al. [33] 在从头训练模型上观察到的超线性效应不同）；Fig. 5b 显示 DP 模型不泄漏长 token 序列，3–6 token 区间 DP 比无防御少约一个数量级。
   • 其他实体类：无防御模型可抽取 14.1% 的法律案例编号和 16.3% 的组织名；DP 模型降至 2.8% 和 4.1%；Enron 的 DP 模型中未观察到真实电话号码泄漏，但有邮箱地址泄漏（Fig. 6b）。

   PII 推断与成员推断

   • 推断结果（Table V，GPT-2-Large）：无防御时 |C|=100 准确率为 ECHR 70.11%、Enron 50.50%、Yelp-Health 28.31%；DP(ε=8) 后降至 8.32%、3.78%、4.29%。|C|=500 时 ECHR 无防御 51.03%、DP 3.71%。作者认为 DP 不能在实际设定下完全防御知情攻击者。
   • 成员推断（Fig. 7a，GPT-2-Large，ECHR）：影子模型攻击对 undefended、scrubbed、DP+scrubbed 模型的 AUC 分别为 0.96、0.82、0.505；作者称清洗能缓解 MI 但远不如 DP。
   • MI 与 PII 的关联：Fig. 7c 显示句子的记忆化分数与 PII 重构成功率正相关；Fig. 7b 显示空提示生成的样本记忆化分数接近零，作者称其对 MI 用处不大。

   其他消融与分析

   • 隐私/效用汇总（Table VI，GPT-2-Large，ECHR）：undefended 困惑度 14（遮蔽生成 PII 后 9），DP 14，scrubbed 16，DP+scrub 16；scrubbed 与 DP+scrub 的抽取、重构、推断指标均为 0% 或 1%，MI AUC 0.5。
   • 采样量（Fig. 5c，ECHR）：召回随采样量升至 23%，精度从 500k token 时的 50% 降至 4m token 时的 30%。
   • 上下文长度（Fig. 6c）：作者称在很大的上下文中推断准确率略有下降，可能因为长样本中每 token 的期望记忆更低。
   • 候选覆盖：作者报告当正确 PII 在候选集中时约 70% 能被正确预测，但重构攻击常采不到正确候选，限制了成功率。
   • 估计可抽取性（Fig. 6a）：惰性估计与观测泄漏相关，但存在假阴性离群点（实际被生成却被估为不可抽取）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出 NER 依赖、攻击覆盖和基准缺乏等局限，并提出 DP 感知清洗等后续方向。

   作者指出的局限与后续方向

   • NER 依赖导致下界：清洗与泄漏度量使用同一 NER 模型，工具会出错，因此“我们的结果提供泄漏的下界”（Section V, Need for Better Benchmarks）。
   • 需扩展到其他模型与数据：作者写道“需要进一步研究将我们的发现扩展到其他 LM 和数据集”（Section V, Limitations）。
   • 未考虑高精度低召回攻击：本文用平均情形指标，未评估 high-precision/low-recall 攻击，作者称需进一步研究其影响（Section V）。
   • 缺乏带标注的基准：作者称缺少衡量 PII 泄漏的基准数据集，Text Anonymization Benchmark 太小（1,268 条），无法兼顾隐私与效用做 DP-SGD 微调（Section V）。
   • DP 感知的清洗：作者建议设计考虑 DP 部分保护、只清洗未被保护 PII 的启发式清洗器，以获得更好的隐私/效用权衡（Section V、Conclusion）。
   • 其他扩展：作者提到可扩展到句法/语义相似匹配、利用 PII 间关联的 linkability 攻击，以及优化其他泄漏指标（Section V）。

   实验覆盖范围

   • 被测模型为 GPT-2 Small/Medium/Large/XL 共 4 个规模，均为在 WebText 上预训练后微调的 checkpoint（Section IV-C）。
   • 数据集为 ECHR、Enron、Yelp-Health 共 3 个英文数据集；重构与推断的主表只报告 person 实体类（Table IV）。
   • 防御评测包括 undefended、DP(ε=8)、scrubbed、DP+scrubbed 四种训练配置（Section IV-C）。
   • 推断攻击只在 GPT-2-Large 上评测，候选集为 100 与 500 两档（Table V）。
   • 论文未报告攻击的查询预算对重构/推断成功率的影响分析，也未报告人工评估或与人工标注的一致性。

   收起这一问

6. 06总结一下论文的主要内容

   三种黑盒 PII 攻击的定义与实证：重构比基线高至 10 倍，DP 大幅压低但未消除 PII 泄漏。

   一篇关于语言模型 PII 泄漏测量的攻击论文（IEEE S&P 2023），作者来自 University of Waterloo 与 Microsoft。

   • 问题：微调 LM 会记忆训练数据中的 PII，但清洗不完备、DP 对 PII 披露的保护程度不明，且没有端到端的量化指标。
   • 方法：为 PII 抽取、重构、推断三种黑盒攻击建立博弈式定义；精确泄漏不可解，故给出近似算法——抽取靠采样加 NER 统计，重构利用查询后缀与公开掩码模型生成候选并按困惑度排序，推断在已知候选集上排序。
   • 重构结果：在 ECHR、Enron、Yelp-Health 上，本文攻击的 top-1 准确率最高 18.27%（ECHR、GPT-2-Large、无防御），作者称比 TAB 基线高至 10 倍（Table IV）。
   • 抽取结果：ECHR 上 GPT-2-Large 无防御召回 22.96%、精度 29.56%；DP(ε=8) 后各规模召回约 3%（Table III），作者称 DP 压低约一个数量级但未消除。
   • 推断结果：GPT-2-Large 无防御、100 候选时准确率 70.11%（ECHR），DP 后降至 8.32%（Table V）；作者认为 DP 不能在实际设定下完全防御知情攻击者。
   • 结论与启示（作者口吻）：作者认为 record 级 DP 在很大程度限制了 PII 泄漏但无法单独消除，清洗仍是训练管线的必要环节；作者主张设计考虑 DP 保护的更温和清洗器，并发现句子级成员推断与 PII 重构成功率相关。

   收起这一问

相关论文