「仅凭理论能给你什么？」差分隐私合成数据生成的紧审计实验

1. 01这篇论文试图解决什么问题？

   如何严格审计 DP-SDG 实现，验证其理论 DP 保证在实践中是否成立。

   核心问题：DP-SDG 实现的实际信息泄露可能高于理论保证，需要严格审计来验证理论 ε 是否在实践中成立。

   • 场景与重要性：DP-SDG 用于发布与敏感数据统计相似的合成数据集，已开始实际部署（如 2021 年 Microsoft 与联合国国际移民组织发布的人口贩运相关 DP 合成数据集）；作者指出多个流行 DP 工具（含表格 DP-SDG）中已发现导致 DP 违规的 bug。
   • 现有方法不足：作者称以往对 DP-SDG 的隐私研究多用黑盒攻击和随机采样的平均情况数据集，可能得到过松的经验估计；而判别式模型审计中有效的主动白盒攻击尚未用于 DP-SDG。
   • 核心假设：DP 保证对最坏情况目标记录和最坏情况相邻数据集都成立，因此审计也应在这些设置下进行；不同实现的最坏情况数据集可能不同。
   • 论文提出：一个包含多种 MIA、多个威胁模型和最坏情况数据集选择的审计框架，并用它审计 PrivBayes、MST、DPWGAN 三个算法各自的两个实现。
   • 威胁模型：
     • 目标：在区分游戏中判断目标记录 xT 是否用于训练，以估计经验泄露 εemp。
     • 知识：攻击者知道相邻数据集 D 和 D′，可选择最坏情况目标记录（审计 DP 的标准假设）。
     • 能力：black-box 只能访问合成数据 S；passive white-box 另可访问训练好的生成模型 G 及内部参数；active white-box 还可向训练过程插入任意 canary 梯度。
     • 受害系统：6 个 DP-SDG 实现（PrivBayes、MST、DPWGAN 各两个实现）。

   收起这一问

2. 02有哪些相关研究？

   相关工作涵盖 DP-SDG 审计、针对合成数据的 MIA、DP-ML 经验隐私估计与 DP 实现审计四类。

   DP-SDG 审计

   • Houssiau et al. [28] 提出 TAPAS 工具箱并审计 DP-SDG，但只针对单一算法的单一实现，用黑盒 Querybased 攻击在 ε=10 下审计 MST 只得到过松的估计；论文指出本文审计覆盖更多算法与实现、威胁模型更强、估计更紧。

   针对合成数据的 MIA

   • DCR 启发式 [27, 39] 是早期黑盒方法，被许多软件库和公司采用；论文实验发现它低估泄露。
   • Stadler et al. [60] 用影子建模表明合成数据中的离群记录易受黑盒 MIA 攻击，并发现 PrivBayes 与 PATE-GAN 实现中的元数据违规；论文指出其目标与本文不同——不做审计、只考虑黑盒攻击。
   • Hayes et al. [26] 的 LOGAN 是此前唯一针对 SDG 的白盒 MIA（针对 GAN），本文将其用于 DPWGAN，并提出针对 PrivBayes 和 MST 的白盒 MIA。

   DP-ML 经验隐私估计与紧审计

   • Jayaraman et al. [30]、Jagielski et al. [29] 的 DP-ML 审计方案一般只得到过松估计；Nasr et al. [51] 用 (ε, δ)-DP 定义和 Clopper-Pearson 区间审计，在 ε=10 需百万次运行；Zanella-Béguelin et al. [74] 用 credible intervals 减少训练次数；Nasr et al. [49] 用 µ-GDP 定义表明 1000 次运行足以在 ε=10 审计。
   • Nasr et al. [49] 对用 DP-SGD 训练的判别模型给出紧审计，称自然数据集配合可选任意 canary 梯度的白盒攻击者即可收紧；论文指出本文范围更广——考虑三种生成模型训练算法，且生成模型输出维度高、信号多，需要实现特定的最坏情况数据集才能收紧。
   • Andrew et al. [5]、Steinke et al. [62] 等提出 one-shot 审计（只用一次训练），但作者称这些方法针对 DP-SGD、不提供紧估计，且不清楚如何用于生成模型。

   DP 实现审计

   • DP-Sniper [9]、DP-Opt [53] 不考虑 DP-SDG；Delta-Siege [38] 旨在放大已有区分器以发现浮点 DP 违规（含 MST），作者称其与本文正交。

   基线与基准：黑盒基线攻击为 Querybased [28] 和 DCR；白盒基线为 LOGAN [26]；实验数据集为 Adult 和 Fire（2018 NIST Synthetic Data Challenge 使用过的两个表格数据集）。作者将本文定位为：作者称首个对 DP-SDG 算法及其实现的大规模审计。

   收起这一问

3. 03论文如何解决这个问题？

   用 MIA 玩 DP 区分游戏估计 εemp，系统比较三种威胁模型与最坏情况记录、数据集。

   整体思路：让攻击者在 DP 区分游戏 中区分机制在相邻数据集 D 与 D′ 上的输出，用攻击的假阳性率 α 和假阴性率 β 经 Clopper-Pearson 置信区间换算成经验下界 εemp；εemp ≫ ε 判为 DP 违规，εemp ≪ ε 说明审计过松。

   审计框架与成功判定

   • εemp 计算：对 (ε, δ)-DP 机制用隐私区域公式换算；对满足 µ-GDP 的机制先用 μ_emp = Φ⁻¹(1−α) − Φ⁻¹(β) 估计 µ，再按 µ-GDP 到 (ε, δ)-DP 的转换定理得到 εemp。含义：攻击者区分能力越强，εemp 下界越高。
   • 置信度：所有下界以 95% 置信度（Clopper-Pearson）给出，并经五折交叉验证得到误差棒。
   • 最大可审计 ε：即使攻击完美区分，置信区间仍给 α、β 下界，从而限制可估计的 εemp 上限。

   威胁模型（§3.2）

   • black-box：只见合成数据 S 和算法说明，不见训练好的生成模型 G。
   • passive white-box：另见 G 及其内部参数。
   • active white-box：还可向训练插入任意 canary 梯度（沿用 Nasr et al. [49] 在判别模型上的设定，本文用于使用机器学习的 DP-SDG）。
   • 最坏情况数据集：攻击者可选最坏情况相邻数据集；本文构造 small（|D−|=2，DPWGAN (Synthcity) 因运行失败取 4）、narrow（只含 3 列）、repeat（xT 在 D 出现一次、在 D′ 出现两次）等性质的数据集。

   最坏情况目标记录选择（§3.4）

   • 用 Meeus et al. [46] 的脆弱记录识别程序先选出 V=100 条最脆弱记录，对每条跑 64 次重复的小型 MIA，取 AUC 最高者为最坏情况目标记录。

   MIA 实例（§4.3）

   • 黑盒：DCR（输出目标记录与最近合成记录的负欧氏距离，先 one-hot 编码）；Querybased（影子合成数据集上针对 xT 的查询答案作特征，训练 Random Forest 元分类器）。
   • 白盒（PrivBayes/MST，本文新提出）：影子生成模型上提取白盒特征训练元分类器；特征两种——Fnaive（直接取模型参数）与 Ferror（参数与 D 中精确值之差的和）；实验后 PrivBayes 用 Fnaive、MST 用 Ferror。
   • 白盒（DPWGAN）：LOGAN [26]，用判别器对目标记录的输出作分数。
   • 主动白盒（DPWGAN）：改造 Nasr et al. [49, 51] 的梯度 canary 攻击：只向判别器插入 Dirac canary 梯度，用单步训练前后参数差提取聚合梯度，将各步观测求和得分数。

   实验配置（§4、§5）

   • 被审对象：PrivBayes (DS)、PrivBayes (Hazy)、MST (NIST)、MST (Smartnoise)、DPWGAN (NIST)、DPWGAN (Synthcity)；PrivBayes 满足 edit DP、纯 ε-DP，只能用 (ε, δ)-DP 审计（δ=0）；MST、DPWGAN 满足 (ε, δ)-DP、add/remove，用 µ-GDP 审计（Table 2）。
   • 数据集：Adult（裁剪分箱为 11 个类别属性）、Fire（从 32 裁剪到 10 个类别属性）。
   • 运行规模：每个实验训练 10,000 个 SDG 模型——6,000 个影子模型训练元分类器（不用影子建模的攻击不训练）、2,000 个用于选最优阈值、2,000 个测试计算 FPR/FNR。

   收起这一问

4. 04论文做了哪些实验？

   在 6 个实现上比较黑盒、白盒、主动白盒审计，并自动检测出 5 处 DP 违规。

   实验设置

   • 被审实现：PrivBayes (DS)、PrivBayes (Hazy)、MST (NIST)、MST (Smartnoise)、DPWGAN (NIST)、DPWGAN (Synthcity)，共 6 个。
   • 数据集：Adult（11 个类别属性）、Fire（10 个类别属性）；平均情况实验 |D|=1000。
   • 攻击：黑盒 Querybased、DCR；白盒 LOGAN（DPWGAN）、本文新攻击（PrivBayes/MST）；主动白盒梯度 canary（仅 DPWGAN）。
   • 指标：经验下界 εemp（95% 置信，Clopper-Pearson，五折交叉验证误差棒）；部分处报 AUC。
   • 理论 ε 档位：黑盒实验取 ε=1.0 与 4.0；白盒与主动白盒实验取 ε=1.0、2.0、4.0、10.0；早停违规实验取 ε=0.1、0.4、1.0、4.0。
   • 重复次数：每个实验 10,000 次模型训练（6,000 影子 + 2,000 选阈值 + 2,000 测试）。

   主结果

   黑盒审计（Figure 3，ε=1.0 与 4.0，平均情况数据集）显示：4 个非 NIST 提交实现（PrivBayes (DS)、PrivBayes (Hazy)、MST (Smartnoise)、DPWGAN (Synthcity)）εemp ≫ ε，源于直接从输入学习元数据的"元数据违规"；而 MST (NIST) 与 DPWGAN (NIST) 的 εemp ≈ 0。白盒对比黑盒（ε=4.0，实现特定最坏情况数据集，数值见 §5.2 与 §5.5）：

   表格较宽，可左右滑动

   实现	黑盒 εemp	白盒 εemp	出处
   PrivBayes (DS)	4.35	4.62	§5.2
   PrivBayes (Hazy)	2.64	3.35（§5.5 为 3.23）	§5.2、§5.5
   MST (NIST)	0.00	2.06（§5.5 为 3.10）	§5.2、§5.5
   MST (Smartnoise)	≈0	3.22	§5.2
   DPWGAN (NIST)	0.00	主动白盒 2.88（§5.5 为 3.02）	§5.3、§5.5

   • 作者称白盒攻击在几乎所有实现上都比黑盒得到更紧的估计，MST 上差异最大。
   • 作者称 PrivBayes (DS) 白盒 εemp=4.62 > ε=4.0 暴露了 DataSynthesizer 库中另一处 DP 违规，作者认为最可能源于其预处理步骤。
   • 注：§5.2 与 §5.5 对同一设置给出不同数字（如 MST (NIST) 2.06 与 3.10），两处均照抄，论文未说明差异原因。

   主动白盒审计 DPWGAN

   • 测了什么：用改造的梯度 canary 攻击审计 DPWGAN (NIST)，最坏情况数据集 small+repeat（Figure 8）。
   • 结果：ε=1.0、2.0、4.0、10.0 时 εemp 分别为 0.56、1.29、2.88、8.31。
   • 作者解读：对 DPWGAN 这类机器学习模型，需要最强的主动白盒攻击才能产生紧估计，白盒攻击在此设置下不够强。

   自动发现 DP 违规

   • 早停违规（新发现）：DPWGAN (NIST) 在 batch_size=1 时，黑盒审计在 ε=0.1、0.4 下 εemp=35.8、34.9（≫ ε），ε=1.0、4.0 时 εemp < ε（Figure 9）；作者认为问题在于 ε < 0.7 时隐私会计依赖数据集大小且未加噪，导致 D 与 D′ 上训练迭代数不同；白盒与主动白盒攻击只审计判别器，未检测出该违规。
   • 噪声尺度违规（已知）：PrivBayes (DS) v0.1.4 白盒审计在 ε=1.0、2.0 下 εemp=2.03、3.92，准确反映真实 ε 约为声称值两倍；ε=4.0 时只能发现配置有误但量不准，ε=10.0 时因触及最大可审计 ε 上限而未检出（Figure 10）。
   • PRNG 复用违规（新发现）：DPWGAN (Synthcity) 在所有最坏情况数据集下均现 DP 违规，作者经查代码发现库为可复现性复用随机种子，使代码确定性化（§5.1.2）。

   其他消融与分析

   • Querybased vs DCR：24 组实验中 Querybased 发现 16 组违规，DCR 只发现 7 组；Querybased 发现而 DCR 漏掉的 9 组中，DCR 的 AUC ≈ 0.5、Querybased ≥ 0.95（§5.1.1）。
   • 最坏情况数据集（黑盒，ε=4.0，Figure 5）：PrivBayes (Hazy) 在 small+narrow+repeat 下 εemp=2.64，small+narrow 下 1.38；PrivBayes (DS) 两种数据集下分别为 4.36、4.35；MST (NIST)、MST (Smartnoise)、DPWGAN (NIST) 在所有最坏情况数据集下 εemp ≈ 0。
   • 白盒特征集（附录 A）：PrivBayes 上 Fnaive 优于 Ferror；MST 上 Ferror 略紧，故分别采用。
   • 最坏情况数据集（白盒，附录 B）：PrivBayes 两实现以 small+narrow 与 small+narrow+repeat 最紧；MST 两实现与 DPWGAN (NIST) 以 small+repeat 最紧。
   • 负面结果：白盒审计对 DPWGAN (NIST) 即使最坏情况数据集也不紧（§5.2）；MST 白盒估计在小 ε 处不如 PrivBayes 紧，作者认为可能源于 MST 的域压缩技术。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出审计成本高、最大可审计 ε 受限等局限，并计划探索 one-shot 估计与 CI 部署。

   作者指出的局限与后续方向

   • 计算成本高：审计需训练数千个合成数据集和模型，源于影子建模与 Clopper-Pearson 置信区间（§7.5）。
   • 最大可审计 ε 受限：给定测试观测数，即使攻击完美区分，95% 置信上界仍限制可估计的 εemp；用 (ε, δ)-DP 在 ε=10 审计需百万级观测，credible intervals 在 2,000 测试观测下只把上限提高 0.51；µ-GDP 审计只需约 22 个观测但不适用于 PrivBayes 这类纯 DP 机制（§7.5）。
   • one-shot 审计不适用：已有 one-shot 技术 [5, 62] 不提供紧估计，且不清楚如何用于生成模型；作者计划未来探索 DP-SDG 的 one-shot 或少样本经验隐私估计（§7.5）。
   • 生成器的白盒攻击：早停违规主要影响生成器，而现有白盒/主动白盒攻击只审计判别器；作者称如何有效攻击生成器是未来研究方向（§5.4.1）。
   • 减少审计所需模型数：作者认为降低审计所需模型数量值得未来研究（§7.4）。
   • CI 部署：作者计划探索把审计程序部署进持续集成流水线（§7.5）。

   实验覆盖范围

   • 被审实现为 PrivBayes、MST、DPWGAN 三个算法各两个实现，共 6 个（Table 2）。
   • 数据集为 Adult 与 Fire 两个类别型表格数据集（§4.1）。
   • 威胁模型覆盖 black-box、passive white-box、active white-box 及最坏情况目标记录、相邻数据集、超参数（batch_size）（§3.2、§5.4.1）。
   • 主动白盒攻击只针对 DPWGAN 实例化（§4.3.3）。
   • 每个实验训练 10,000 个模型，下界以 95% 置信度给出（§5）；论文未报告攻击成功率的人工复核。

   收起这一问

6. 06总结一下论文的主要内容

   对 6 个 DP-SDG 实现的严格审计：黑盒 MIA 过松，白盒加最坏情况数据集收紧，自动发现 5 处违规。

   一篇 DP 合成数据生成（DP-SDG）实现的审计论文，目标是验证理论 DP 保证在实践中是否成立。

   • 问题：DP-SDG 实现中的 bug 可能使实际泄露超过理论 ε；作者称以往黑盒攻击加平均情况数据集的审计方式估计过松。
   • 方法：用 MIA 玩 DP 区分游戏，把攻击的 FPR/FNR 经 Clopper-Pearson 区间换算成经验下界 εemp；系统比较 black-box、passive white-box、active white-box 三种威胁模型与最坏情况目标记录、相邻数据集；提出针对 PrivBayes/MST 的新白盒攻击，并把 Nasr et al. 的梯度 canary 攻击改造到 DPWGAN 的判别器上。
   • 黑盒审计（Figure 3）：4 个非 NIST 实现存在元数据违规，εemp ≫ ε；DCR 只发现 24 组实验中的 7 组违规，漏报处 AUC ≈ 0.5，而 Querybased ≥ 0.95。
   • 白盒与主动白盒：ε=4.0 时白盒审计对 PrivBayes (DS)、PrivBayes (Hazy)、MST (Smartnoise) 得 εemp=4.62、3.35、3.22，黑盒为 4.35、2.64、≈0（§5.2）；DPWGAN (NIST) 需主动白盒，ε=10.0 时 εemp=8.31（§5.3）。
   • 违规发现：自动审计发现 4 个实现中的已知元数据违规、DPWGAN (Synthcity) 的 PRNG 复用违规，以及 DPWGAN (NIST) 的新早停违规（batch_size=1、ε=0.1 时 εemp=35.8）。
   • 作者结论：要紧估计 DP-SDG 的隐私泄露，需要白盒 MIA、实现特定的最坏情况数据集，对机器学习类 DP-SDG 还需主动白盒攻击；作者认为自动化审计可替代难以扩展的人工检查，并计划探索 one-shot 估计与 CI 部署。

   收起这一问

相关论文