私有预测的隐私审计

1. 01这篇论文试图解决什么问题？

   作者提出审计私有预测算法隐私泄漏的框架，为这类推理阶段加噪的 DP 算法给出经验下界。

   核心问题：如何审计私有预测（private prediction）算法的差分隐私泄漏，为其 RDP 保证给出经验下界。

   • 场景与动机：DP 给出隐私泄漏的理论上界，审计给出实际下界，两者对照可发现分析松弛、实现错误或关键假设。已有审计工作只针对 DP 训练算法，而机器学习也可以在推理阶段做到私有——模型非私有训练、预测加噪后发布；作者称这类私有预测与大语言模型任务适配等场景日益相关，但没有已知审计技术。
   • 现有方法的不足：标准审计做法是对整个查询序列的完整输出分布做审计，但输出空间是离散高维的（nQ 个查询、C 个类，输出空间为 C^nQ），经典技术难以直接应用；且 (ε,δ)-DP 的组合定理有损失，组合下界本身无效。
   • 核心观察：逐查询用 Renyi DP 审计可以利用其无损组合性质，再组合成多查询的下界；同时精确计算 noisy argmax 在相邻直方图间的 Renyi 散度，可把审计与理论之间的差距归因于"分析松弛"或"对抗者能力不足"。
   • 论文贡献：作者提出一个审计框架，实例化具有不同投毒与查询能力的对抗者，审计 PATE、CaPC、PromptPATE、Private-kNN 四个算法，并提出 RDP 审计技术与精确 Renyi 散度计算。作者称这是私有预测领域的首个审计框架。
   • 威胁模型（审计即对抗者实例化，术语照抄论文）：
     • 目标：估计训练数据的隐私泄漏下界，形式化为区分 S 与 S′ 的成员推断式假设检验。
     • 知识与能力：crafter 分 natural（加分布内点）与 poisoning（加对抗点）两种；distinguisher 分 natural（从自然分布取查询）与 adversarial（重复同一查询）两种。
     • 受害系统：PATE、CaPC、PromptPATE、Private-kNN 的私有预测接口，对抗者观察接口返回的标签序列。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四类：DP 训练审计、私有预测攻击、标签-only 成员推断、RDP 审计方法。

   DP 训练算法的审计

   • Ding et al. [2018]——提出检测多种经典 DP 算法（含 noisy argmax）违规的方法；论文指出本文需要的是 RDP 审计而非其 ε-DP 审计，且用与私有预测相关的输入来度量 ML 算法的泄漏，而非只审计 noisy argmax 本身。
   • Nasr et al. [2023]、Steinke et al. [2023]、Andrew et al. [2023]（附录 B.2）——分别用两次训练运行、单次训练运行（需多个 canary）审计 DP-SGD，以及在联邦学习中估计（非下界）ε；作者称本文是私有预测的首次审计，为私有预测设计 canary 是未来工作。
   • Nasr et al. [2021]——adversary instantiation 的审计思路，本文框架沿用这一思路。

   私有预测上的攻击

   • Malek Esmaeili et al. [2021]——在 label DP 下对 PATE 跑特定类型对抗者的攻击；论文指出本文目标是更一般、更细粒度地审计私有预测。
   • Wang et al. [2022]——展示对私有预测查询的测试时攻击；论文指出本文目标是度量训练数据的隐私泄漏（其参数化建模策略被本文借用）。

   标签-only 成员推断

   • Choquette-Choo et al. [2021]、Li and Zhang [2021]——只用返回标签对传统分类器做成员推断攻击；本文同样只通过返回标签度量泄漏。

   RDP 审计

   • Kong et al. [2023]——用变分刻画下界一般 RDP 保证；论文指出本文的审计面向离散输出空间、带攻击解释。

   被审计的算法（即实验对象）：PATE [Papernot et al., 2016, 2018]、CaPC [Choquette-Choo et al., 2020]、PromptPATE [Duan et al., 2023]、Private-kNN [Zhu et al., 2020]；对比的"基线"是各算法的理论隐私分析（data-independent 与 Papernot et al. [2018] 的 data-dependent 分析）以及本文的精确 Renyi 散度计算。

   作者将本文定位为：把审计从 DP 训练扩展到私有预测，并用精确散度计算区分分析松弛与对抗者强度，这是已有工作都没有覆盖的。

   收起这一问

3. 03论文如何解决这个问题？

   框架分 crafter、私有预测算法、distinguisher 三部分，核心是用 Renyi 散度 2-cut 做逐查询 RDP 审计并无损组合。

   整体思路：把审计实例化为"crafter 造相邻数据集 → 私有预测算法生成接口 → distinguisher 选查询并比较输出"的流水线，逐查询审计 RDP 再组合，并用精确 Renyi 散度计算作上界参照。

   私有预测的统一框架

   • Algorithm 1：训练集 S 划分为 m 份，各训一个 teacher；预测时对每个查询选 k 个 teacher，把预测聚成直方图 HS，加高斯噪声（尺度 σ）后取 argmax 输出标签，即 Predictions = arg max{HS + N(0, σ²)}。
   • 隐私定义：预测接口 A(S) 满足 (α, ε_α)-RDP，当对任意查询序列 Q，输出 (A(S) ↔ Q) 关于 S 满足 RDP（Definition 3）。
   • 两种理论记账：data-independent（假设发布整个带噪直方图，保守）与 data-dependent（Papernot et al. [2018] 提出，teacher 高度一致时隐私代价更小，需用 smooth sensitivity 私有发布隐私参数）。

   三类对抗者

   • Nat-MIAQ：natural crafter + adversarial distinguisher，模拟对分布内训练样本做成员推断、但可对抗选查询的对抗者。
   • Pois-MIAQ：poisoning crafter + adversarial distinguisher，模拟能选最坏投毒点以最大化成员推断效果的更强对抗者。
   • Pois-MINQ：poisoning crafter + natural distinguisher，只能静态投毒、用自然查询区分；作者指出其泄漏上界了学生模型（PATE/CaPC/PromptPATE 原始用法）的泄漏，因为自然查询上才能以合理预算训出可用的学生模型。

   RDP 审计：2-cut 与精确散度

   • 2-cut 审计：Renyi 散度没有假设检验解释，但其 2-cut（对所有输出子集取诱导伯努利分布散度的上确界）有，且是 Renyi 散度的下界：D_α²(μ₁|μ₂) := sup_O 1/(α−1)log[p₁^α p₂^1−α + (1−p₁)^α (1−p₂)^1−α]。用成员推断攻击的 FP/FN 代入、Clopper-Pearson 置信区间界定各项，得到对所有样本量都统计有效的下界。
   • 精确 Renyi 散度（改进上界）：给定直方图 H，noisy argmax 返回类 c 的概率可写成积分式（Eq. 4），由此直接算相邻直方图间的精确 Renyi 散度；作者称这是给定攻击下最紧的计算，优于已有 data-dependent 分析，用于区分"分析松弛"与"对抗者松弛"。
   • 其他审计方法（附录 C）：k-cut、bootstrap 版 2-cut/k-cut；主文用 2-cut，因为它始终有效、有攻击解释、在 0 处和全阶数上有效（Table 2）。

   各算法的参数化假设

   • 动机：单查询隐私代价低、信噪比低，每查询约需 10^8 次实验才能得到合理下界，全量重训不现实，故用参数化模型模拟训练随机性、直接采样直方图。
   • PATE：HS(q) = Mult(k, Pq)，HS′(q) = Mult(k−1, Pq) + Mult(1, Pq′)，用 Ng 次训练实例的最大似然估计 Pq、Pq′。
   • CaPC：数据确定性划分，HS(q) = Σ Mult(1, Pq^i)，S′ 中第一个 teacher 的训练集加入投毒点。
   • PromptPATE：温度 0 采样、训练阶段全确定，无需参数化假设；唯一随机性来自直方图高斯噪声。
   • Private-kNN：每个数据点即 teacher，以概率 γ 子采样后取 top-k 近邻投票；HS′ 中投毒点以概率 ν 进入 top-k（ν 按投毒点与查询的距离排名 rq 分段给出）。

   成功判定与报告方式

   • 审计输出是 RDP 下界 ε_ℓ：算法对任何 ε < ε_ℓ 不满足 (ε,δ)-DP；用 Clopper-Pearson 区间保证统计有效。
   • 报告时按 Theorem 1 把 RDP 转成 δ=10^-6 的 (ε,δ)-DP 画图；作者说明该转换对审计是松弛的（是上界），仅为展示方便，原始 RDP 图在附录 F。

   收起这一问

4. 04论文做了哪些实验？

   在 7 个数据集上审计 4 个算法，作者称理论分析不紧、易投毒算法泄漏更高、无查询控制时泄漏低得多。

   实验设置

   • 被审计算法：PATE、CaPC、PromptPATE、Private-kNN；对比线为 data-dependent 理论值（Private-kNN 用 data-independent 的 subsampled Gaussian 理论）与本文的精确 RDP 计算。
   • 数据集：PATE/CaPC 用 MNIST、CIFAR10、Fashion MNIST；PromptPATE 用 SST2、AGNEWS、DBPedia、TREC；Private-kNN 用 CIFAR10、Fashion MNIST、SST2、AGNEWS。
   • 模型：MNIST 用 LeNet-5，Fashion MNIST/CIFAR10 用 Wide ResNet(16,4)（Adam，lr 0.03，batch 16）；PromptPATE 用 MISTRAL-7B、one-shot 提示、温度 0；Private-kNN 用 ViT-L/16（ImageNet21k 预训练）提图像特征、RoBERTa-Large 提文本特征（附录 E）。
   • 超参数：PATE/CaPC 在 MNIST/Fashion MNIST 上 250 个 teacher、σ=40，CIFAR10 上 200 个 teacher、σ=25；PromptPATE 200 个 teacher、每 teacher 一个随机示例；Private-kNN k=200、γ=0.2、图像 σ=30、文本 σ=20（附录 E）。
   • 样本量：PATE/CaPC 与 Private-kNN 审计 nQ=1000 个查询，PromptPATE 审计 200 个查询；每查询约 10^8 次蒙特卡洛实验；Nat-MIAQ/Pois-MIAQ 画泄漏最大的查询作为最坏情况代理。
   • 指标与判定：2-cut 审计给出 RDP 下界（Clopper-Pearson 区间），另算精确 Renyi 散度；统一转成 δ=10^-6 的 ε 展示。

   主结果

   主结果在 Figure 3（对抗查询）与 Figure 4（自然查询）的柱状图中，转换文本未给出各柱的具体数值，只能确认坐标轴与相对关系：

   表格较宽，可左右滑动

   算法	数据集	图 3 纵轴范围	图中曲线/柱（图例）
   PATE	MNIST、CIFAR10、FMNIST	ε 0–10	data dependent theory、Exact RDP、Nat-MIAQ、Pois-MIAQ
   CaPC	MNIST、CIFAR10、FMNIST	ε 0–10	同上
   PromptPATE	SST-2、AG News、DBPedia、TREC	ε 0–3.5	同上
   Private-kNN	SST-2、AG News、CIFAR10、FMNIST	ε 0–2.5（Figure 5）	Theory、Nat-MIAQ、Pois-MIAQ、Pois-MINQ

   • 分析不紧：作者称所有图中精确 RDP 计算都低于 data-dependent 理论值，说明 Papernot et al. [2018] 的数据依赖分析有改进空间；Figure 2 的合成直方图实验里，精确计算低于先前理论估计，2-cut 审计贴近精确结果。
   • 投毒能力的影响：作者称相对精确 RDP，PATE 泄漏最小、CaPC 次之、PromptPATE 最大，与各场景投毒难易一致；Pois-MIAQ 在 PATE 上比 Nat-MIAQ 泄漏更多，在 CaPC 和 PromptPATE 上两者相近。
   • 查询能力的影响：作者称 Pois-MINQ 的泄漏在所有算法上都远低于 Nat-MIAQ 和 Pois-MIAQ，原因有二：自然查询含 teacher 一致的"易查询"、且投毒难以同时改变多个查询的回答；Pois-MINQ 泄漏排序为 PATE << CaPC < PromptPATE，PATE 上泄漏可忽略。

   Private-kNN 审计

   • 设置：每个数据点作 teacher，比较 Nat-MIAQ、Pois-MIAQ 与三种 Pois-MINQ（从测试集、训练集、整个嵌入空间选投毒点）。
   • 结果：Figure 5 显示即使最强对抗者与理论界之间也有较大差距（理论为 data-independent）；Pois-MIAQ 与 Nat-MIAQ 泄漏相近且高于 Pois-MINQ。
   • 嵌入空间对抗者：作者报告允许在嵌入空间投毒（相对自然输入空间）使文本分类数据集上的隐私泄漏翻倍（Figure 5 右图）。

   审计方法对比（附录 C）

   • 合成直方图实验：Figure 6 在相邻直方图 [14,12,10,8,6] 与 [13,13,10,8,6]（σ=2）上比较四种审计；作者称 k-cut 与 bootstrap 方法在小阶数 α 上可能更紧，但收益跨直方图不一致。
   • 性质表：Table 2 汇总四种方法在"始终有效、攻击解释、0 处有效、全阶数有效"四个性质上的表现，只有 2-cut 置信区间法四项全满足，故主结果用它。
   • bootstrap 的局限：真实散度为 0 时 bootstrap 失效；误差率 O(1/√n)，散度小于 1/√n 时不可靠；私有预测单查询泄漏小，要可靠需超过 10^12 次实验，不现实。

   其他消融与分析

   • Pois-MINQ 提示词变体（附录 E.2/F.3）：PromptPATE 测了 Confident、Unconfident、All same、Mapping 四种对抗提示，结果报告每数据集最强者。
   • 梯度匹配投毒：作者尝试用 Geiping et al. [2020] 式梯度匹配为 Pois-MINQ 找更强投毒点，未超过简单错标点。
   • 平均 vs 最坏情况：附录 F 同时给出最坏与平均情况的柱状图和代表性 RDP 曲线（Figure 7–31）。
   • 重复查询的缓解：作者指出本文的对抗查询都是重复同一查询，可用缓存输出限制这种泄漏。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出改进理论分析、更强攻击、利用随机划分等方向，并称统计技术与多查询投毒可改进审计。

   作者指出的局限与后续方向

   • 改进理论分析（第 7 节）：精确 Renyi 散度计算避免了 Papernot et al. [2018] Prop. 8 的悲观 union bound，但对所有相邻直方图求值在计算上不可行；更深入刻画 Eq. 4 的积分或可减轻负担。
   • Private-kNN 的分析（第 7 节）：其分析依赖子采样放大，审计的松弛指向结合子采样的 data-dependent 分析的改进空间。
   • 更强攻击（第 7 节）：自然查询一致地降低测得的泄漏，可能源于弱攻击；未来可设计能用少量投毒点影响多个自然查询的投毒攻击；纳入 group privacy 的审计或能给出更紧下界（附录 D 给出框架）。
   • 随机划分的放大（第 7 节）：PATE 的随机数据划分似乎在经验上降低了泄漏，未来或可利用这一随机性，或设计对其鲁棒的更强投毒。
   • Limitations 段（第 7 节末尾）：作者称审计可被更好的统计技术改进（提高紧度或降低计算量），能攻击多个查询的更好投毒技术可提高自然查询审计的紧度。
   • Pois-MINQ 投毒（第 5.1 节）：设计更强的投毒攻击是改进审计的机会（梯度匹配未超过简单错标点）。

   实验覆盖范围

   • 被审计算法为 PATE、CaPC、PromptPATE、Private-kNN 共 4 个；数据集为 MNIST、CIFAR10、Fashion MNIST、SST2、AGNEWS、DBPedia、TREC 共 7 个（每个算法用其中 3–4 个）。
   • 教师数 200–250，噪声 σ ∈ {20,25,30,40}；审计查询数 PATE/CaPC/Private-kNN 为 1000、PromptPATE 为 200；每查询约 10^8 次蒙特卡洛实验。
   • 对抗者覆盖三种实例（Nat-MIAQ、Pois-MIAQ、Pois-MINQ），其中对抗查询均为重复同一查询；Pois-MINQ 在 PromptPATE 上测 4 种提示、Private-kNN 上测 3 种投毒点来源。
   • PATE/CaPC 的审计依赖参数化（多项分布）假设模拟训练随机性，PromptPATE 因温度 0 无需该假设；论文未报告各算法在所测数据集上的效用（如准确率）。
   • 论文未报告精确 Renyi 散度对所有相邻直方图取上确界的 data-independent 界（作者称组合空间过大，未研究）。

   收起这一问

6. 06总结一下论文的主要内容

   作者提出私有预测审计框架，审计四个算法后称理论分析有松弛、投毒与查询能力是泄漏主因。

   这是一篇差分隐私审计论文：把审计从 DP 训练扩展到推理阶段加噪的私有预测，为这类算法的 RDP 保证给出经验下界。

   • 问题：DP 训练已有审计技术，私有预测（非私有训练、预测加噪）没有；输出空间离散高维、(ε,δ)-DP 组合有损，使经典审计无法直接套用。
   • 方法：框架分 crafter（natural/poisoning 构造相邻数据集）、私有预测算法、distinguisher（natural/adversarial 选查询）三部分，实例化 Nat-MIAQ、Pois-MIAQ、Pois-MINQ 三类对抗者；技术上用 Renyi 散度 2-cut 做逐查询审计并无损组合，另提出 noisy argmax 相邻直方图间精确 Renyi 散度的积分计算作上界参照。
   • 结果一：在合成直方图和全部四个算法上，精确计算低于 Papernot et al. [2018] 的 data-dependent 理论值，作者称私有预测的隐私分析存在松弛、可以改进。
   • 结果二：泄漏排序与投毒难易相关——PATE 最小、CaPC 次之、PromptPATE 最大；Pois-MIAQ 在 PATE 上超过 Nat-MIAQ，在另两个算法上相近。
   • 结果三：只能用自然查询的 Pois-MINQ 泄漏远低于能控制查询的对抗者，PATE 上几乎无泄漏；Private-kNN 上允许嵌入空间投毒使文本数据集泄漏翻倍。
   • 结论与启示：作者认为查询控制能力是最大泄漏的关键因素，易投毒的算法泄漏更高；重复查询可用缓存输出缓解；改进理论分析、更强多查询投毒攻击、利用随机划分与 group privacy 是后续方向。

   收起这一问

相关论文