差分隐私机器学习的紧致审计

1. 01这篇论文试图解决什么问题？

   改进 DP-SGD 隐私审计：在自然数据集上得到紧贴的 ε 下界，并把所需训练次数降到两次。

   核心问题：如何让 DP-SGD 的经验隐私审计在自然（非对抗构造）数据集上也紧贴理论上界，且只需极少的训练次数。

   • 背景与动机：作者指出，DP-SGD 的理论分析被猜测过于保守，而 Nasr et al. [21] 只在最坏数据集（D=∅）上证明分析紧贴；同时现有审计需数千到数百万次训练，对大模型代价过高。论文提出两个问题：Q1，DP-SGD 的分析是否只对最坏数据集紧贴；Q2，能否用少量训练运行紧贴估计隐私泄漏。
   • 现有方法的不足：作者称已有审计 [12, 17, 21, 30] 是"universal"的，不利用隐私机制本身的信息；(ε,δ)-DP 关注概率 O(δ) 的稀有事件，需要大量观测才能见到一次，导致下界不紧或成本过高。
   • 核心观察：相同 (ε,δ) 保证的不同机制有不同 trade-off 函数（Figure 1）；用与机制匹配的 f-DP（高斯机制对应 GDP）审计，可从常见事件推断稀有事件，避免 (ε,δ) 转换的松弛。
   • 论文的贡献：一套基于 f-DP 的审计方案，作者称只需两次训练即可得到紧贴估计；并用它检测 DP-SGD 实现 bug、分析超参数与模型选择对隐私泄漏的影响。
   • 威胁模型（Section 3，按攻击能力递减）：
     • White-box access with gradient canaries：对手可见每步的私有化梯度与模型参数，可在每步以概率 q 插入任意 canary 梯度；这是 DP 理论分析的标准威胁模型。
     • White-box access with input-space canaries：对手可见中间更新，但只能插入任意训练样本（canary sample），不能直接指定梯度；作者称这与联邦学习场景吻合。
     • Black-box access：对手只能在训练开始时插入一个样本、训练结束后观察模型；作者称这对攻击者最受限、但从实践角度最现实，且不是 DP 通常分析的设置。
     • 目标：设计 D 与 z（D′=D∪{z}），使区分 M(D) 与 M(D′) 最容易；论文中 trainer、auditor、attacker 三个词互换使用。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三类：DP 与 f-DP 理论、DP-SGD 组合分析、以及既有审计方法（CP、贝叶斯、Katz-log）。

   差分隐私与 f-DP 理论

   • Dwork et al. [10]——提出 (ε,δ)-DP；Abadi et al. [2]——提出 DP-SGD（梯度裁剪加高斯噪声）。
   • Dong et al. [9]——提出 f-DP 与高斯 DP（GDP），给出假设检验解释与 µ-GDP 到 (ε,δ)-DP 的转换（Corollary 5）；本文的审计框架直接建立在 f-DP 上。
   • Kairouz et al. [14]、Wasserman and Zhou [26]——DP 的假设检验解释与隐私区域（Equation 8）。

   DP-SGD 的组合分析

   • Mironov [19]（Rényi DP）、Koskela et al. [16]（Privacy Loss Distribution，PLD）——给出比朴素组合更紧的 DP-SGD 会计方法；本文用 PLD 近似子采样高斯机制的 trade-off 函数。
   • Altschuler and Talwar [3]、Ye and Shokri [27]——凸模型上隐私泄漏随收敛饱和；作者在附录 D.1 中实证检验这一现象是否在深度模型上成立。

   DP 审计方法（本文的直接对比对象）

   • Nasr et al. [21]——用 Clopper-Pearson 置信区间从攻击的 FPR/FNR 推 ε 下界（Equation 9），证明 D=∅ 的最坏数据集上分析紧贴；论文指出其局限是只在最坏数据集紧贴、且需数千次训练。
   • Zanella-Béguelin et al. [30]——用贝叶斯方法（对 (α,β) 取无信息先验）求 ε 的可信区间，减少所需训练次数；论文指出其近似与 Clopper-Pearson 的比较存在统计口径问题，但承认其实用性，并将其扩展到 f-DP。
   • Lu et al. [17]——用 Katz-log 置信区间审计，设 δ=0，并提出"经验隐私泄漏依赖数据集"的猜想；论文明确反驳这一猜想，称其观察主要来自使用了弱于 DP 威胁模型允许的攻击。
   • Jagielski et al. [12]——早期 DP-SGD 审计工作；Tramèr et al. [24, 25]——用黑盒审计调试 DP 实现，发现 Stevens et al. [23] 的实现错误；Maddock et al. [18]——联邦学习下的 canary 构造，与本文逐步到端到端的转换思路相近。

   基线与基准：对比基线为上述四种下界方法——(ε,δ)-DP (CP) [12, 21]、(ε,δ)-DP (ZB) [30]、ε-DP (Katz) [17]，与本文的 f-DP (CP)、f-DP (ZB)；实验数据集为 CIFAR-10、Purchase 和一个随机初始化数据集。

   定位：作者称本文的区别在于"打开黑盒"、针对 DP-SGD 的具体机制（高斯/GDP）做审计，从而同时解决自然数据集紧贴性与训练次数两个问题。

   收起这一问

3. 03论文如何解决这个问题？

   用与机制匹配的 f-DP 替代 (ε,δ)-DP 做审计：高斯机制用 GDP，子采样组合用 PLD 近似，再把攻击误差转成 ε 下界。

   整体思路：审计即假设检验——区分模型由 D 还是 D′=D∪{z} 训练。已有工作用 (ε,δ)-DP 的隐私区域把攻击的 FPR/FNR 转成 ε 下界；本文改用与被审机制真实 trade-off 函数匹配的 f-DP 来做这个转换，机制是高斯时即为 GDP，从而消除定义转换带来的松弛。

   从 (ε,δ)-DP 审计到 f-DP 审计

   • 问题：相同 (ε,δ) 的不同机制 trade-off 不同（Figure 1：ε=1、δ=1e-5 下 Sampled-Gaussian、Gaussian、Laplace、RandResp 曲线不同）；用 (ε,δ)-DP 审计高斯机制时，攻击需极低的 FPR 或 FNR 才能贴近上界（Figure 2 中 FPR≈0.23 的点只能推出 ε≈0.3）。
   • 做法：直接对机制的 trade-off 函数求下界。对高斯机制，µ 的经验下界为 μ_emp^lower = Φ⁻¹(1−ᾱ) − Φ⁻¹(β̄)，其中 ᾱ、β̄ 是 FPR/FNR 的置信上界；再把 µ 下界经 Corollary 5 转成各 α 上最大的 ε 下界。
   • 两种区间：f-DP (CP) 用 Clopper-Pearson（沿用 [21]）；f-DP (ZB) 把 [30] 的贝叶斯可信区间扩展到 f-DP（Definition 6，用 Beta 后验）。

   DP-SGD 的 trade-off 函数近似

   • 单步：DP-SGD 每步是子采样高斯机制；qc=1（canary 每步必入）时退化为高斯机制，用 GDP 精确刻画。
   • 多步组合：用 PLD [16] 近似 trade-off 函数（附录 A，Algorithm 4 用 n 条支撑线逼近，作者称误差在 1e-1 量级）；逐步下界经 GDP 紧组合或 PLD 组合成端到端下界。
   • 阈值无关性：qc=1 且观测充足时，GDP 下界与判决阈值无关（Figure 4，5,000 观测下各阈值下界近似相同），而 (ε,δ)-DP (CP) 对阈值敏感；作者称这免去了留出观测选阈值的需要。

   审计流程与观测构造

   • 白盒（Algorithm 2）：每步独立采两个 batch B、B′，B′ 以概率 qc 加入 canary（梯度或输入样本）；观测为私有化梯度与 canary 梯度的点积。归一化后 O=N(0,σ²I)、O′=N(1,σ²I)，正好对应 GDP 的假设检验。
   • 黑盒（Algorithm 1）：训练 2T 个模型（T 个用 D、T 个用 D∪{z}），以 canary 样本的损失（或 log(p/(1−p))）为观测，选阈值算 FPR/FNR。
   • canary 设计：梯度 canary 用 Dirac canary（仅一个坐标为裁剪范数 C，其余为零，附录 C.2 中略优于 constant 与 random canary）；输入 canary 用 Algorithm 3 构造梯度与训练 batch 平均梯度正交的样本（附录 C.3，对比错标签、空白、对抗样本三种）。

   关键参数与设置

   • 默认：qc=1（聚焦隐私机制本身而非子采样）；除特别说明外下界给 95% 置信/可信区间；默认在 White-box access with Gradient Canaries 下用 Algorithm 2 审计。
   • 训练配置（附录 B）：CIFAR-10 上 WRN-16 训 2,500 步、batch 4,096，在 (ε=8, δ=1e-5)-DP 下约 79% 测试准确率；ConvNet batch 256、20,000 步，约 60% 准确率；Purchase 用三层全连接网络。
   • 成功判定：经验 ε 下界与会计给出的理论上界的差距；调试场景中下界超过声称上界即判定实现违规。

   收起这一问

4. 04论文做了哪些实验？

   白盒下 f-DP 在三个数据集上贴近理论 ε；能检出三类实现 bug（部分旧法漏检）；黑盒下界明显变松。

   实验设置

   • 被测模型：CIFAR-10 上的 WRN-16 与 ConvNet、Purchase 上的三层全连接网络、随机数据集（随机像素与标签，规模同 CIFAR-10）上的 WRN-16；附录 D.2 另测 WRN-40。
   • 数据集：CIFAR-10、Purchase、随机初始化数据集（Section 6.1）。
   • 基线：(ε,δ)-DP (CP) [12, 21]、(ε,δ)-DP (ZB) [30]、ε-DP (Katz) [17]；本文方法为 f-DP (CP) 与 f-DP (ZB)。
   • 指标：ε 的经验下界，95% 置信区间（CP）或可信区间（ZB）；默认威胁模型为 White-box access with Gradient Canaries（Algorithm 2）。
   • 重复次数：Figure 3 为 20 次独立运行；Figure 6 为 10 次独立运行并报告标准差；黑盒实验（Figure 11）训练 1,000 个含 canary 与 1,000 个不含 canary 的模型。

   主结果

   Table 1（白盒梯度 canary，95% 区间，经验 ε 下界；理论 ε 为会计上界）：

   表格较宽，可左右滑动

   方法	理论 ε	CIFAR-10 WRN-16	CIFAR-10 ConvNet	Purchase	Random WRN-16
   f-DP (CP)	8	5.80	6.12	6.40	7.14
   f-DP (ZB)	8	7.09	7.12	6.94	7.12
   (ε,δ)-DP (CP)	8	3.63	3.85	3.25	4.09
   (ε,δ)-DP (ZB)	8	5.07	5.15	4.65	5.09
   ε-DP (Katz)	8	4.17	3.95	4.24	4.15
   f-DP (ZB)	16	13.95	13.80	13.80	15.14

   （据 Table 1；完整表还含理论 ε=1、4 各行，此处省略）

   • 作者称，无论用 CP 还是 ZB 区间，主要增益来自用 f-DP 审计；Figure 6（CIFAR-10，理论 ε=8）中 f-DP 几乎紧贴，而此前最强下界约 5。
   • 作者称结果反驳了 Lu et al. [17]"隐私泄漏依赖数据集"的猜想：白盒梯度 canary 下，三个数据集与随机数据集的下界都贴近理论值。
   • Figure 3：用 GDP 审计时 1,000 个观测即可紧贴，而 (ε,δ)-DP (CP) 需 1 亿个观测才紧贴（20 次独立运行，δ=1e-5）。

   调试 DP-SGD 实现（Section 6.3，CIFAR-10，声称上界 ε=1.27，审计单步）

   • 裁剪顺序 bug（Figure 7）：先平均后裁剪。所有方法都能检出违规，但只有 f-DP 能给出 ε>35 的下界，作者称这说明实现"完全失效"，而其他方法下界不足 10，可能让人误以为仍保留部分隐私。
   • 偏置噪声 bug（Figure 8）：噪声种子只有 100 种取值。f-DP 与 Lu et al. [17] 的 Katz 方法能检出；直接用 (ε,δ)-DP（CP 或 ZB）未能检出。
   • 噪声尺度过小 bug（Figure 9）：f-DP 下界紧贴真实上界，在真实 ε=1.57 时即可检出违规；(ε,δ)-DP 各方法即使真实 ε 达 2.17 也未检出。

   威胁模型与泄漏分析（Section 6.4 与附录 D）

   • 输入空间 canary（Figure 10，白盒）：只能插入样本时，ε<10 范围内仍可得紧贴下界；WRN 在各数据集上几乎都紧贴，而 CIFAR-10 上 ConvNet 与 WRN 差距大，作者称模型架构对输入空间审计影响明显。只用前 250 步得到的下界高于全程 2,500 步的下界。
   • 仅裁剪不加噪（Table 2，黑盒，CIFAR-10 WRN-16，2,000 个模型）：裁剪范数 C=0.1、1.0、10.0 时 ε 下界分别为 23.4、26.8、41.0（该观测数下的最大可能下界为 44.0），作者称仅裁剪不提供隐私。
   • 黑盒威胁模型（Figure 11，训练至 ε=8，各 1,000 个模型）：CIFAR-10 WRN 上 f-DP (ZB) 下界约 1.6；其他数据集/架构明显更低，随机数据集上得不到非平凡下界。作者指出黑盒下理论与经验仍有差距，且差距大小依赖数据集与模型架构；并指出难以分离黑盒限制与子采样（Figure 5 显示 qc=1/4 时 GDP 与 PLD 都高估 trade-off）的影响。

   其他消融与分析

   • canary 梯度形状（Figure 14a，附录 C.2）：Dirac canary 略优于 constant 与 random canary；静态与每步重采（moving）canary 差别很小（Figure 14b）。
   • 输入 canary 类型（Figure 15，附录 C.3，CIFAR-10 WRN）：Algorithm 3 构造的 canary 下界最紧，优于错标签、空白、PGD 对抗样本。
   • 训练早晚期（Figure 16，附录 D.1，输入空间攻击）：CIFAR-10 上早期迭代泄漏更多，随机数据集上未见此现象；作者称原因留待未来研究。
   • 模型规模（Figure 17，附录 D.2）：f-DP 审计下 WRN-40 下界略高于 WRN-16；作者指出若用非 f-DP 方法会得出 WRN-16 泄漏更多的相反结论。
   • 增强多样性 Augmult（Figure 18，附录 D.3）：Augmult 取 1–16 时下界无明显趋势。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者明确写出的后续方向只有输入空间攻击后期下界变松的原因；实验覆盖三个数据集、四种架构与三类 bug。

   作者指出的局限与后续方向

   • 输入空间攻击后期变松的原因未明（附录 D.1）：作者写道，审计下界在训练后期变松的原因"需要进一步研究，留待未来工作"。
   • 子采样机制审计的松弛（Section 5.4）：Figure 5 显示 qc=1/4 时 GDP 与 PLD 都高估子采样高斯机制的 FPR-FNR trade-off；作者认为准确审计子采样机制可能需要 FPR 更精确、阈值更优的攻击。
   • PLD 近似引入的松弛（附录 A）：PLD 无闭式 trade-off 函数，Algorithm 4 的近似使 ε 下界变松，作者称误差在 1e-1 量级。
   • 黑盒下的残余差距（Section 6.4）：作者称黑盒设置下理论上界与经验下界之间仍有差距，且差距大小依赖数据集与模型架构。
   • 论文无独立 Limitations 章节；以上为正文与附录中明确写出的不足与未决问题。

   实验覆盖范围

   • 被测模型：WRN-16、ConvNet、三层全连接网络、WRN-40，共四种架构（Section 6.1、附录 D.2）。
   • 数据集：CIFAR-10、Purchase、随机初始化数据集（与 CIFAR-10 同规模）。
   • 威胁模型：三种均覆盖——白盒梯度 canary（默认）、白盒输入空间 canary（Figure 10）、黑盒（Figure 11、Table 2）。
   • 调试实验：覆盖三类 bug（裁剪顺序、偏置噪声、噪声尺度），均在 CIFAR-10、声称 ε=1.27、审计单步的设置下；作者指出该类审计无法捕捉由有偏子采样引起的 bug（Section 6.3）。
   • 未报告项：各次审计的具体观测数（除 Figure 3 的 1,000/1 亿、Figure 4 的 5,000、黑盒的各 1,000 个模型外）多数未逐实验给出；论文未报告运行时间或计算成本的具体数字（仅称开销变为两倍）。

   收起这一问

6. 06总结一下论文的主要内容

   用 f-DP 审计 DP-SGD：自然数据集上两次训练即得紧贴 ε 下界，并能发现旧审计漏掉的实现 bug。

   这是一篇差分隐私审计方法的论文，回答两个问题：DP-SGD 的理论分析是否只对最坏数据集紧贴，以及能否用少量训练运行完成紧贴审计。

   • 方法：把审计从 (ε,δ)-DP 换成与机制匹配的 f-DP——高斯机制用 GDP、子采样组合用 PLD 近似 trade-off 函数，再用 Clopper-Pearson 或贝叶斯区间把攻击的 FPR/FNR 转成 ε 下界；白盒下用 Dirac canary 梯度与点积观测，qc=1 时 GDP 下界与判决阈值无关。
   • 紧贴性：白盒梯度 canary 下，CIFAR-10、Purchase、随机数据集上 f-DP 下界均贴近理论值——理论 ε=8 时 f-DP (ZB) 在 CIFAR-10 WRN-16 上得 7.09，而最强的旧方法 (ε,δ)-DP (ZB) 为 5.07（Table 1）；GDP 审计 1,000 个观测即紧贴，(ε,δ)-DP (CP) 需 1 亿（Figure 3）。作者称这反驳了"隐私泄漏依赖数据集"的猜想。
   • 成本：作者称审计只需两次训练，计算开销仅为原来的两倍。
   • 调试应用：在声称 ε=1.27 的实现上，f-DP 检出三类 bug——裁剪顺序错误（下界 ε>35）、偏置噪声、噪声尺度过小（真实 ε=1.57 即检出）；其中后两类部分旧方法未能检出（Figures 7–9）。
   • 边界：黑盒威胁模型下 CIFAR-10 WRN 在 ε=8 时下界约 1.6，随机数据集上无非平凡下界；仅裁剪不加噪不提供隐私（C=10 时下界 41.0，接近上限 44.0，Table 2）。
   • 作者的结论：作者建议 DP 机器学习开发者把该审计工具纳入测试流程，并称其可集成进 TF-privacy、Opacus、JAX privacy 等库做在线估计。

   收起这一问

相关论文