审计差分隐私机器学习：Private SGD 有多私密？

1. 01这篇论文试图解决什么问题？

   DP-SGD 的实际隐私是否好于其理论分析所保证的水平，作者用投毒攻击给出 ε 的经验下界来回答。

   核心问题：DP-SGD 在实践中提供的隐私是否比其最先进理论分析所保证的更强，强多少。

   • 背景与动机：差分隐私已成为机器学习隐私标准并被 Apple、Google、美国人口普查局部署，DP-SGD 是训练私有分类模型的常用构件。但 ε 的理论分析往往不紧，且 DP 是最坏情况保证，实际部署中难以判断合适的 ε（作者举例 ε=2 时攻击者可能以约 86% 的准确率猜中每个样本的一比特信息）。
   • 现有方法不足：作者称现有投毒攻击和成员推断（MI）攻击对 DP-SGD、甚至对仅做梯度裁剪的 SGD 都表现差或平凡；Jayaraman 和 Evans [JE19] 的攻击目标是比较不同 DP 变体，量化能力弱；理论分析是否还能大幅收紧也不清楚（精确判定 ε 已被证明不可行 [GM18]）。
   • 核心观察：若算法 A 是 ε-DP，则区分 A(D) 与 A(D∪S)（S 为 k 个投毒点）的分类器准确率至多为 exp(εk)/(1+exp(εk))；因此投毒攻击的区分能力可以反推出 ε 的下界。Ma et al. [MZH19] 曾用这一联系做投毒防御，作者称将其用作审计特定机制隐私的工具是新的。
   • 论文提出：一套用投毒攻击统计测量 ε 下界的流程（Algorithm 2），以及抗梯度裁剪的投毒攻击 ClipBKD；并主张以定量的实证审计补充差分隐私的分析工作。
   • 威胁模型：
     • 目标：构造投毒集 S（k 个点）和分类器 T，以超过随机猜测的优势区分 A(D0) 与 A(D1)，从而推断 ε 下界。
     • 知识：攻击者知道算法 A 及其超参数（裁剪范数、噪声、迭代数、批大小），可对 A 做黑盒 Monte Carlo 重复训练。
     • 能力：向训练集注入/替换 k 个数据点（投毒、后门）。
     • 受害系统：TensorFlow Privacy 实现的 DP-SGD 训练的分类模型（论文称方法通用，但只研究该实现）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四组：DP-SGD 及其隐私分析、隐私攻击、DP 与投毒的关系、自动发现隐私参数。

   DP-SGD 及其隐私分析

   • [SCS13] 提出差分隐私 SGD；[BST14] 给出渐近最优的隐私分析。
   • Abadi et al. [ACG+ 16] 给出改进的具体 ε 界并展示训练神经网络的实用性；[MTZ19, DRS19, YLP+ 19] 进一步细化分析。
   • [HT19] 启发式论证不加噪声的 SGD 本身满足 DP，但作者指出其 ε 界对多数数据集仍很大（如 ε=13.01）。

   隐私攻击

   • Dinur 和 Nissim [DN03] 的重建攻击是针对聚合统计信息隐私攻击的开端；成员推断由 Homer et al. [HSR+ 08] 首次实施，[SOJH09, DSS+ 15] 做了理论分析。
   • Shokri et al. [SSSS17] 和 Yeom et al. [YGFJ18] 给出黑盒成员推断；作者称成员推断假设弱，但导致的隐私违反在量化上弱。
   • Jayaraman 和 Evans [JE19] 同样用隐私攻击理解 DP 机器学习的具体泄露，但作者指出其目标是比较不同 DP 变体的保证，攻击在量化上弱于本文（Figure 2 对比）。

   差分隐私与数据投毒

   • Ma et al. [MZH19] 针对输出扰动和目标扰动的岭回归/逻辑回归提出投毒攻击，并主张 DP 可作为投毒防御。
   • Hong et al. [HCK+ 20] 提出以 DP 防御投毒，称 DP-SGD 能有效防御已有投毒攻击。作者认为本文设计的更强投毒攻击可用来测量 DP 算法隐私的下界。

   自动发现隐私参数

   • [GM18] 证明用黑盒访问确定算法精确隐私水平代价过高（不可行）。
   • Ding et al. [DWW+ 18] 在白盒设定下结合程序分析与随机采样识别 ε-DP 违反；作者指出其方法目前限于简单算法，且发现的违反未必对应现实攻击。

   基线与基准：对比基线为成员推断 MI（[YGFJ18] 的版本，[JE19] 所用）和标准后门攻击（BadNets [GDGG17]）；基准为 FMNIST、CIFAR10、Purchase-100。

   作者将本文定位为：用新的、对裁剪鲁棒的投毒攻击把"投毒—隐私"联系用作审计工具，量化特定 DP-SGD 实现的实际隐私，而非比较 DP 变体或做防御。

   收起这一问

3. 03论文如何解决这个问题？

   把投毒攻击的区分能力经 Monte Carlo 估计转成 ε 下界，并设计沿最小方差方向投毒的 ClipBKD 抵抗梯度裁剪。

   整体思路：构造相差 k 行的数据集对 D0、D1，用投毒的影响定义输出集 O，重复训练 T 次做 Monte Carlo 估计，按 group privacy 反解出 ε 下界；核心攻击是抗裁剪的 ClipBKD。

   统计测量框架（Algorithm 2）

   • 基本量：估计 p0 = Pr[A(D0) ∈ O] 与 p1 = Pr[A(D1) ∈ O]；δ=0 时 εLB = ln(p0/p1)/k。
   • 置信处理：用 Clopper-Pearson 置信区间取 p0 的下界和 p1 的上界（各以 1−α/2 成立），Theorem 2 保证返回的 εLB 以概率 1−α 是有效下界，置信度只依赖 Monte Carlo 随机性，可靠增大 T 提高。
   • 固有上界：εLB 不超过理论上界 εth，也不超过 Monte Carlo 上界 εOPT(T, α)；T=500、α=0.01 时 εOPT = 4.54。
   • δ>0 扩展（附录 A）：把 group privacy 不等式写成关于 x=exp(ε) 的多项式，用求根算法解出 εLB；并在 p1 > p0+kδ 且 p0+p1 > 1 时改用补集 OC 计算以增大 εLB（所有实验均使用此修改）。

   基线：标准后门投毒（Algorithm 3）

   • 做法：随机取 k 行，对图像加扰动模式 Pert（实验中为一角的模式），标签改为目标类 yp，替换进训练集。
   • 测试统计量：若扰动测试点在目标类上的损失超过阈值 Z 则判 Backdoored；阈值 Z 先在 500 个干净模型和 500 个投毒模型上选出使 εLB 最大的值。

   ClipBKD：裁剪感知投毒（Algorithm 4）

   • 动机：标准后门靠增大梯度标量部分起效，但梯度裁剪打破"梯度越大效果越强"的关系；作者称需要让投毒梯度分布与干净梯度分布"可区分"而非仅仅大。
   • 设计：对数据矩阵做 SVD，取最小奇异值对应的奇异向量（方差最小方向）作为投毒点 xp，缩放到与数据集相近的范数 m；yp 取模型在 xp 上概率最小的类（使梯度范数最大）；插入 k 份 (xp, yp)。
   • 依据：对逻辑回归，投毒点与数据梯度的方差被 Var[xp·x] 上界控制，沿最小方差方向投毒可在较小梯度下达到同等效果，从而受裁剪影响更小（Figure 1 示意）。
   • 测试统计量：(f(xp) − f(0d))·yp > Z 则判 Backdoored。
   • 理论支持（附录 B）：对输出扰动的岭回归，作者证明 ClipBKD 变体得到的 εLB 与理论上界只差常数因子；附录 C 给出预训练模型下用投影梯度下降（10000 次迭代、学习率 1）构造投毒点的方法。

   成功判定与评测方式

   • 判定：以 99% 置信（α=0.01）报告 εLB，取 k = 1, 2, 4, 8 中的最好结果；与 εth 和 εOPT(500, 0.01) 对比。
   • 对比对象：MI（[YGFJ18] 形式，Algorithm 6，用训练损失做阈值、由优势 Adv 算 εLB = ln(Adv/(1−Adv))）与标准后门。

   收起这一问

4. 04论文做了哪些实验？

   在三个数据集、两类模型上比较 ClipBKD、标准后门与 MI 的 εLB，并扫描裁剪范数、噪声与初始化随机性。

   实验设置

   • 被测模型：logistic regression（LR）和两层前馈神经网络（FNN，宽度 32），均用 TensorFlow Privacy 的 DP-SGD 训练；CIFAR10 上模型加在非私有预训练的 CIFAR100 卷积网络之上，只微调最后一层。
   • 数据集：FMNIST（取 0、1 两类并下采样为每类 3000 训练/1000 测试）、CIFAR10（取 0、1 两类，10000 训练/2000 测试）、Purchase-100（子采样为 10000 训练/10000 测试）。
   • 基线：MI（[YGFJ18]/[JE19] 所用版本）和标准后门攻击（5x5 白色方块在左上角）；标准后门只有图像数据集结果。
   • 指标：εLB（99% 置信，α=0.01），对照理论 εth 与 εOPT(500, 0.01)=4.54；训练准确率作为效用参考。
   • 试验次数：ClipBKD 用 T=500 次试验，报告 k=1,2,4,8 的最大值；MI 用 1000 个样本、对 10 个训练模型取平均。
   • 训练超参（Table 1）：FMNIST 24 epochs、lr 0.15、batch 250；CIFAR10 20 epochs、lr 0.8、batch 500；P100 100 epochs、lr 2、batch 250，l2 正则 1e-5（LR）/1e-4（FNN）。

   主结果

   Figure 2 给出六个数据集-模型组合上三种攻击的 εLB 对比（具体曲线数值图注未逐一标注，正文给出代表性数字）：

   表格较宽，可左右滑动

   设置	ClipBKD εLB	MI εLB	出处
   P100, FNN, εth=4	0.46	0.04	正文 §4.2
   FMNIST, 无噪声（εth=∞）标准后门最高	—	—	εLB ≤ 0.11，§3.2

   • 作者称对每个数据集和模型，ClipBKD 的 εLB 超过 MI 2.5x–1500x；上表代表例为 12.1x。
   • 作者称 ClipBKD 在 FMNIST 上平均比标准后门好 3.84x；标准后门在 CIFAR10 上从未得到正的 εLB，作者归因于预训练模型需要更多投毒点。
   • 作者称有限 εth 时多数 εLB 与 εth 的差距小于 12.3x，最小 6.6x；P100、εth=4 时差距 8.7x。

   超参数敏感性（Table 2，FMNIST + FNN）

   • 设置：裁剪范数 0.5/1/2，噪声使 εth ∈ {1,2,4,8,16,∞}，初始化随机性 ∈ {固定, 0.5σ, σ, 2σ}（σ 为 Glorot 初始化方差）。
   • 结果：固定初始化时 εLB 最高，与 εth 相差 4.2–7.7x；εth=∞ 且固定初始化时达到完美推断，εLB = 4.54 = εOPT(500, 0.01)。例如 εth=8 固定初始化下裁剪范数 0.5/1/2 对应 εLB 为 1.61/1.85/1.90。
   • 作者解读：εth 增大（噪声减小）εLB 增大；初始化随机性减小 εLB 增大，作者认为初始随机化可能起重要作用；除固定初始化外裁剪范数减小 εLB 减小，且 εLB 对裁剪范数比对噪声更敏感，而现有分析只考虑噪声乘数。

   P100 上的敏感性（Table 3）

   • 设置：同上但无固定初始化（作者称因 0.5σ 初始化已达 εOPT），P100 使用 l2 正则、更高学习率和更多 epochs。
   • 结果：εth=∞、裁剪范数 2、0.5σ 初始化时 εLB = 4.54，达到 εOPT；εth=16、0.5σ 时为 0.80/0.77/0.71（裁剪范数 0.5/1/2）。
   • 作者解读：P100 上裁剪范数和初始化随机性的作用减弱，因此无需固定初始化即可达到 εOPT。

   其他消融与分析

   • 效用：作者报告所有超参数设置下训练准确率为 96–98%（Table 2 注）。
   • 负面结果：标准后门在无噪声 FMNIST 上 εLB 至多 0.11（§3.2）；在 CIFAR10 上始终无正 εLB（Figure 2 注）。
   • 理论验证：附录 B 证明岭回归输出扰动下 ClipBKD 变体的 εLB 与 εth 只差常数因子。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出三个未来方向；实验覆盖三个数据集、两类模型，仅针对 TensorFlow Privacy 的 DP-SGD。

   作者指出的局限与后续方向

   • 缩小上下界差距（§5）：攻击在量化上还能推进多少，下界与最坏情况上界之间的差距能否闭合。
   • 纳入更多特征的隐私分析（§5）：能否把具体的梯度裁剪范数和初始化随机量纳入 DP-SGD 的隐私分析。
   • 攻击实例的现实性与可解释性（§5）：攻击产生的实例有多现实，能否扩展攻击为非专家提供容易理解的隐私风险示例。
   • 实证审计的定位（§1.1、§5）：作者称不主张用实证方法确定性地测量算法隐私（无法预见所有未来攻击），完全以实证方式确定精确隐私水平没有希望，实证方法应作为分析工作的补充。
   • 研究范围说明（§4.1）：作者称考察六个数据集-模型组合是为展示技术可发现新隐私风险，全面的实证研究不是本文重点。

   实验覆盖范围

   • 被测模型为 LR 和宽度 32 的两层 FNN 共两类，数据集为 FMNIST（二分类子集）、CIFAR10（二分类子集）、P100 共三个（§4.1）。
   • 审计对象仅为 TensorFlow Privacy 中的 DP-SGD 实现（§1.1 脚注）。
   • 对比攻击为 MI（[YGFJ18] 版本）和标准后门；标准后门只在 FMNIST、CIFAR10 上运行（§4.2）。
   • 超参扫描覆盖裁剪范数 {0.5,1,2}、εth ∈ {1,2,4,8,16,∞}、初始化随机性四档，k ∈ {1,2,4,8}，T=500、α=0.01（Table 2、Table 3）。
   • 论文未报告 CIFAR10 上的超参扫描表，也未报告 MI 的逐设置置信区间。

   收起这一问

6. 06总结一下论文的主要内容

   用抗裁剪投毒攻击审计 DP-SGD，作者称其实际 ε 下界距理论上界约 10 倍以内，未来分析收紧空间有限。

   一篇用攻击审计差分隐私实现的工作：问 DP-SGD 的实际隐私是否比理论分析保证的更强。

   • 问题：DP-SGD 的 ε 理论分析可能偏保守，部署者无从判断实际隐私水平；作者称已有成员推断和投毒攻击对 DP-SGD 量化能力弱。
   • 方法：把投毒攻击转成隐私测量工具——构造相差 k 行的数据集对，用后门测试统计量区分两种训练分布，T=500 次 Monte Carlo 试验加 Clopper-Pearson 区间给出 99% 置信有效的 εLB；并提出 ClipBKD，沿数据梯度最小方差方向（SVD 最小奇异向量）投毒，使攻击在梯度裁剪下仍有效。
   • 主要结果：
     • 作者称在 FMNIST、CIFAR10、P100 的 LR 与 FNN 上，ClipBKD 的 εLB 比 MI 高 2.5x–1500x（代表例：P100、FNN、εth=4 时 0.46 对 0.04）。
     • FMNIST 上平均比标准后门高 3.84x；标准后门在 CIFAR10 上无正 εLB。
     • 有限 εth 时多数 εLB 与 εth 差距在 12.3x 以内、最小 6.6x；固定初始化、无噪声时达到 Monte Carlo 上界 εOPT(500, 0.01)=4.54。
     • 作者称这比此前方法得到的下界好约 10 倍、距最坏情况上界约 10 倍以内，而理论改进曾把上界收紧超 1000 倍，因此未来类似幅度的收紧不太可能。
   • 发现的现象：εLB 随噪声减小、初始化随机性减小而增大；对裁剪范数比对噪声更敏感（FMNIST），作者认为裁剪范数和初始随机化值得纳入隐私分析。
   • 作者结论：DP-SGD 的最坏情况隐私界正接近其极限；定量实证审计可像密码分析之于密码学一样补充差分隐私的理论工作。

   收起这一问

相关论文