论文指出密码学模型认证的假设缺口：审计通过但部署失效

密码学模型认证（CMC）往往只保证固定审计集上的性质，不保证同分布新样本上仍然成立。

• 场景：作者以保险理赔模型为例：审计方要在不看到模型与专有数据的前提下，用承诺和零知识证明（zero-knowledge proof, ZKP）检查准确率、公平性或差分隐私。作者认为，认证若只反映审计当时的行为，部署后会给出错误的安全感受。
• 现有定义的缺口：多数方案把 ZKP 的 soundness 绑定在语句 x = (comh, comS, Saudit) 上。作者称，这不蕴含分布谓词 F：在新样本 Stest ← D 上，f 以非可忽略概率成立。审计集来自公开基准、或在承诺模型前披露时，该缺口可被利用。
• 核心观察：攻击不必改被验证的训练过程。知道认证流程后，提供方可伪造训练数据，使在其上诚实训练的模型通过审计，但在同分布其他数据上表现异常。作者认为，用公开测试集、或审计中让模型方学到大量测试集的方案，不太可能同时安全。
• 本文做法：给出数据伪造攻击、攻击博弈，以及面向分布谓词的安全定义和通用协议模板 Πcsp，并称该模板在模型通过审计时，被认证性质在部署时也成立。
• 威胁模型（§2）：
  • 目标：恶意提供方（prover）要通过审计，同时把与认证目标冲突的行为嵌进模型，例如公平性审计下仍优先准确率，或提高拒赔。
  • 知识：部分场景在审计开始前获得部分或全部审计数据，对应公开基准或复用测试集。差分隐私攻击不需要审计数据。审计方为 honest-but-curious verifier。
  • 能力：可提交任意模型参数与任意数据，包括改写全部训练数据的标签和特征，或直接设定参数；不必执行审计方指定的协议。投毒比例无上界。
  • 受害系统：交互式审计协议输出是否通过的比特。模型与训练数据对审计方保密；承诺用于绑定审计与部署所用模型。

密码学认证

• 零知识证明：Zhang et al. (2020) 验证决策树预测与准确率；Liu et al. (2021) 的 zkCNN 面向卷积网络预测与准确率；Kang et al. (2022)、Wang and Hoang (2023) 做 DNN 或通用推理与准确率证明。公平性方面，Shamsabadi et al. (2022) 的 Confidential-PROFITT、Franzese et al. (2024) 的 OATH、Yadav et al. (2024) 的 FairProof、Zhang et al. (2025) 的 Fairzk 分别处理树、端到端公平或个体公平。Shamsabadi et al. (2024) 的 Confidential-DPproof 证明 DP-SGD 训练被正确执行。训练过程证明还包括 Abbaszadeh et al. (2024)、Garg et al. (2023)、Pappas and Papadopoulos (2024)、Sun et al. 的 zkDL。
• MPC：附录 A 将 Chang et al. 的 HOLMES 与 Duddu et al. 归入安全多方计算，用于互不信任方在不公开输入的情况下联合计算；§4.2 又引用二者作为零知识统计检验。

黑盒、统计与盒外审计

• 黑盒测试：Saleiro et al. 的 Aequitas、Tramer et al. 的 FairTest 用查询响应检查不公平或偏差；Tan et al. 蒸馏透明模型以理解黑盒模型。
• 盒外信息：Mitchell et al. 的 model cards 让模型方额外提供文档、超参数、训练数据或内部评估。作者只作分类，未逐篇与本文对照。

投毒与公开基准

• 数据投毒：Barreno et al. (2010)、Steinhardt et al. (2017) 中，模型方是防御者，外部攻击者注入规模不超过干净集的辅助数据。作者对比的是威胁模型：CMC 中攻击者是服务提供方，防御者是看不到模型与数据的外部审计方。
• 公开基准：Hardt (2025)、Zhang, Dorner, and Hardt (2025) 讨论公开基准的不足。作者称，要求新鲜审计数据与这些工作在语义上相关，但它们不考虑密码学安全。

基线与基准

• 案例研究基线：Table 1 的九篇 CMC 工作，按准确率、群体公平、个体公平、差分隐私，以及是否抵抗 data-forging、是否持续验证来标。
• 实验基准：ACSEmployment、Adult、COMPAS、German Credit、Default Credit、Communities & Crime；附录另用 ACS Income、Adult Income 与 8 维高斯混合。

作者称，既有 CMC 的机密性可从 ZKP 与承诺推出，但并未形式化“通过审计当且仅当底层分布上性质成立（允许可量化误差）”。本文用攻击博弈写出固定数据集与分布推广之间的缺口，并给出可证明满足该目标的模板。作者同时称，这不是说先前构造在密码学技术上错误。

论文分两条线：数据伪造攻击说明固定数据集认证的缺口，commit-sample-prove 模板 Πcsp 要求审计集在模型承诺之后、独立于模型与训练数据抽取。

不安全语法与攻击博弈

• 统一语法：审计方从 D 抽样或使用公开集 Saudit 发给提供方；提供方承诺模型 comh 与可选训练数据 comS；双方对关系 R 做 ZKP。R 检查经验谓词 f、承诺打开。只查准确率时可不使用 Strain，如 Zhang et al.。
• 缺口：作者把目标写成分布谓词。固定数据集上 f(h, Strain, Saudit) = 1，并不推出

F(h, S_train)=1 ⟺ Pr_{Stest← D}[f(h, S_train, S_test)=1]>p 其中 p 非可忽略，D 为总体 Q 上的分布。攻击博弈假定检查 f 的流程完全正确，从而把失败归因于推广而非 ZKP 实现。

• 获胜条件（Definition 3）：审计方抽 Saudit ∼ D^ℓ；对手输出 hA 与 Strain。须同时满足 f = 1、F = 0，以及效用谓词 L = 1。保险例子中，审计目标是准确率超过 0.95，L 为拒赔概率超过 0.9；该例子使用 {0,1}^d 上的简化分布。

三类数据伪造

• 准确率（Algorithm 1）：用审计点及其真实标签，再在每个数值特征方向上加入 ±ε 的邻域点并标为 0，使决策树过拟合审计点、在邻域外学成常数 0。时间复杂度为 O(|Saudit| d)。训练用 CART 直到叶同质。Theorem 1 称：对任意 x，T(x) = 1 仅当它落在某个审计点的 L∞ 半径 ε 内。作者称，ε 选得合适时，对手以概率 1 赢得攻击博弈；脚注假设几乎总输出 0 的模型在该场景中并不高度准确。
• 公平性（Algorithm 2）：审计点改标随机标签，使敏感属性两组在审计集上结果分布相同；邻域点则按敏感属性 k 标注，使审计集外按敏感属性决策。作者用 demographic parity 作为公平度量。
• 差分隐私（Algorithm 3）：不需要审计数据。将目标子集 T 中的点再复制 n−1 份，破坏 DP-SGD 所依赖的敏感度假设，再输入 Shamsabadi et al. 对“正确训练过程”的证明。作者将其与 Wilson et al. 关于多查询属于同一用户时 SQL 差分隐私失效的现象对照。

统计检验检不出的论证

• 思路：把审计集的多份副本加入训练集，使训练数据的分布性质靠向审计数据，同时保持 Algorithm 1 的攻击效果。
• 范围：对 (γ, c)-magnitude insensitive 的函数族，Theorem 2 给出 |f(Saudit) − f(Saudit^k || δ)| ≤ ε 的条件，其中 δ 是 Algorithm 1 添加的点，k 足够大。作者称该族包含可由归一化直方图近似的均值和标准差。
• 推论：Corollary 1（正文亦称 Corollary 2）称，对给定显著性水平 α 和任意特征 j，可构造训练集使其与 Saudit 的 Welch t 检验不拒绝均值相等。附录 D 给出证明。作者据此认为，单靠这类统计检验不能阻止 Definition 3 中的对手。

安全模板 Πcsp

• 流程：Prove 先用均匀随机串承诺模型并发送 com；Audit 再抽 Saudit ∼ D^n 发回；双方用 ZKP 证明 f(h, Saudit) = 1 且 com 打开为 h。可推广到还依赖 Strain 的 F 与 f。
• 谓词关系：f 应近似分布谓词 F，并以放松谓词 F̃ 控制伪阳性。伪阴性 pfnr 服务完整性，伪阳性 pfpr 服务 soundness。审计方只在有限样本上检查 f，故 soundness 相对 F̃ 而不是 F，作者称这一放松是必要的。
• 安全性质：完整性（诚实且 F = 1 时，除 pfnr 外应通过）、计算绑定、对半诚实审计方的零知识，以及 F̃-relaxed knowledge soundness。非正式 Theorem 3 称：若 Commit 与 ZKP 满足附录 B 的标准性质，则 Πcsp 的完整性误差为 pfnr，knowledge soundness 误差约为 pfpr。正式证明在 §F.2，用学习理论的集中界，以及证明系统中“知识提取与交错概率检验”的技巧；计算绑定情形需要元提取器，并用新的 Saudit 回绕。

准确率与人口统计均等实例

• 准确率：经验误差 ℓ̂S 与真实误差 ℓ(h) = E[I(h(x) ≠ y)]。f 为 ℓ̂S(h) ≤ t+δ，F 为 ℓ(h) ≤ t，F̃ 为 ℓ(h) ≤ t+2δ。Lemma 3 用 Hoeffding 给出

Pr[|ℓ̂_S(h)−ℓ(h)|≥δ]≤ 2e^−2nδ2 从而 pfnr 与 pfpr 都不超过该上界。作者称，nδ² 足够大时，真实误差 ≤ t 则审计方大概率接受；若接受，则即使证明方作恶，真实误差至多 t+2δ。

• 样本量：作者给出 (n, δ) = (10k, 0.02) 或 (40k, 0.01)，两种伪率均 ≤ 0.001。ZKP 代价随 n 增长；作者称实践中数据集常为数万到数十万量级。
• demographic parity：经验差 Δdp 与条件概率差 Δ̂dp。f 为 Δdp ≤ t+2δ，F 为 Δ̂dp ≤ t，F̃ 为 Δ̂dp ≤ t+4δ。Lemma 4 将两种误差界为 4e^{-2 nmin δ²}，nmin = min(n0, n1)。通过审计时，作者称真实 parity 至多 t+4δ。

实验设置

• 模型：主实验为 SciKit-Learn 1.6.1 的 decision tree classifier，Python 3.12.3。附录 G 另用 XGBoost，以及神经网络（Figure 8 为 226M 参数；ACS Employment 的网络参数量论文未说明）。
• 数据：六个公平性基准为 ACSEmployment、Adult、COMPAS、German Credit、Default Credit、Communities & Crime。每次划分：评估集 30%，审计集 1000 条（German Credit 因更小而为 500），其余为初始训练集。论文未报告各数据集总样本数。
• 攻击参数：p ∈ [0, 1] 同时控制有多少审计点贡献 ±ε 邻域（标签翻转），以及 Strain 中多少行标签被翻转。p = 0 为诚实训练；p = 1 时审计集纳入训练集，每个审计点生成 2d 个翻转标签邻域点，Strain 标签全部取反。主实验的 ε 数值论文未报告。
• 实现差异：准确率实验是修改后的 Algorithm 1，附加点标签为 1−ry 而非 0，并加入初始训练集。公平性实验按 Algorithm 2：诚实点随机标签，恶意点按敏感属性标注；敏感属性为 sex。
• 指标与重复：准确率；公平性图的纵轴为 1 − demographic parity gap，正文另报告 fairness gap。Figure 3–6 为 10 次平均，误差线为一个标准差。为通过显著性 0.05 的 Welch t 检验，按 Corollary 2 向训练集加入额外审计集副本。判定使用数据集标签与敏感属性，论文未使用 LLM 评审。
• 案例研究：Table 1 分析九篇已有 CMC，不是新跑的模型实验。

主结果

表格较宽，可左右滑动

来源	设置	审计集准确率	新样本/held-out
摘要 / §1	某次数据伪造；数据集与模型未写明	超过 99%（摘要）；审计要求 99%（§1）	低于 30%（摘要）；30%（§1）
Figure 6 正文	ACSEmployment，决策树，p 接近 1	接近 1	降至约 0.6
§G.2	ACS Employment，神经网络，10 次平均	88.82%	69.83%

• 作者称 Figure 3 与 Figure 5 的六个基准上都维持高审计准确率，同时压低真实评估表现。文本未给出这两张图的端点数值，因此上表不填。
• 摘要的“超过 99% / 低于 30%”与 §1 的“要求 99% / 仅 30%”是同一概括的两种写法，论文未把它对应到某张图。它与 Figure 6 的约 0.6、§G.2 的 69.83% 不是同一数字。
• Figure 6 还写拒赔率：p 接近 1 时，审计集拒赔率接近完全诚实时的拒赔率，独立样本上的拒赔率接近 1。

公平性与检测

• 公平性：Figure 4 使用三个数据集，正文未点名是哪三个。作者称审计集上 fairness gap 接近 0，部署时接近 1。图注写纵轴 Fairness = 1 − demographic parity gap，10 次平均、误差线为一个标准差；端点数值文本未给出。
• Welch 与 Levene：Table 2 只报告 ACSEmployment 上 Age、Education、Military Status，并按标签条件化，比较完全诚实与完全恶意。作者称恶意训练集的汇总统计与审计集很接近，攻击的检验统计量平均小于诚实训练。α = 0.05 时期望假阳性约 5%，作者观察到的检测真阳性率为 0%。Age、label = 0 时，诚实 t 统计量 0.6521、ANOVA 0.6200，攻击为 0.0033、0.0026。
• 作者解读：这与附录 D 的理论结果一致。作者同时称，实际审计方只看到单次训练，不能靠多次运行的平均值区分诚实与恶意。

案例研究

• Table 1：九篇中，作者称六篇至少部分易受 data-forging 影响。韧性 ✗ 为 Shamsabadi et al. [42]、Shamsabadi et al. [41]、Bourrée et al. [9]。▲（pd，公开数据集）为 Zhang et al. [56]、Liu et al. [35]、Wang and Hoang [48]。✓ 为 Yadav et al. [51]、Franzese et al. [21]、Kang et al. [33]。持续验证 ✓ 仅 Yadav 与 Franzese。
• 与正文的对应：§6.1 称 Zhang et al. 若用公开数据集，则落入 Definition 3，并可用 §4.1 的攻击；把其 ZKP 接入 Πcsp 可恢复对同分布新数据集的保证。Liu et al.、Wang and Hoang 的扩展方式相同。Kang et al. 先承诺模型再由客户揭示测试集，作者称不受该数据伪造影响，但没有审计集之外的形式化准确率保证。
• 不能直接套用模板的工作：Confidential-DPproof 证明的是训练过程，训练数据由提供方选择；作者称 §5.3 的做法不适用，复制样本会破坏其隐私分析。Confidential-PROFITT 若提供方不必诚实承诺训练数据，则在承诺模型前自选审计集时易受伪造；与 Πcsp 结合还需处理中间节点的公平性检查。

其他消融与分析

• XGBoost（§G.1）：ε = 1.0，500 棵树、最大深度 10、η = 0.3、L2 λ = 1.0、γ = 0；正确标签的审计集复制 2d 份。数据集为 Default Credit、Adult Income、ACS Income，5 次运行。作者称修改后的攻击在三个基准上避开准确率审计；端点准确率未报告。
• Figure 8：226M 参数网络，8 维高斯混合，横轴 duplicity 为扰动副本数。正文未给端点准确率，也未报告重复次数。
• 部分知识：作者称准确率与公平性攻击在对手只知道一小部分审计集时仍然有效；未给出最小有效比例。
• 差分隐私：Algorithm 3 在 §4.1 给出，§7 的实证对象是准确率、公平性与统计检测。论文未报告该攻击的隐私损失或效用数字。
• 理论配置：§5.3 的 (n, δ) = (10k, 0.02) 与 (40k, 0.01) 使准确率实例的伪阳、伪阴上界 ≤ 0.001；这是集中界，不是表格式实验结果。

作者指出的局限与后续方向

• 其他统计检验（§8）：除 Welch t 检验与 Levene 检验外，其他统计检验能否检出攻击仍待观察。作者认为不太可能有效，并把分析留作后续。
• 神经网络（§8）：决策树攻击有形式化论证，神经网络只有初步证据。作者把网络容量与攻击效果之间的形式关系列为后续方向。
• 新鲜数据的实践限制（§8）：模板要求审计数据在服务方承诺模型之前保持隐藏。作者称这给实践带来限制：审计方须定期采集新鲜数据（审计中通常会揭示审计集）、用安全多方计算等在审计中隐藏数据，或对用户数据持续审计。作者称三者的利弊应由后续工作更细评估。
• 无审计集的性质（§8）：如何安全认证不涉及审计集的分布性质，例如差分隐私训练，作者称仍不清楚。针对 §4.1 第三种攻击的对策，作者认为可能需要更进一步的 CMC，以认证训练数据的良构性。
• 隐私证明（§6.2）：作者称，为 Zhang et al. 使用的经验谓词做法不适用于 Confidential-DPproof。让每个个体用不同密钥签署记录、从而阻止复制，并证明能抵抗更一般的数据伪造，超出本文范围，留作后续。作者还称，成员推断成功率一类经验隐私审计常常计算开销大，训练数据假设在 CMC 中难以验证。
• 只给出数据集保证的方案（§6 与 §E.2）：作者称，不受数据伪造影响的工作仍只认证所选审计集或客户已提交的查询。对相应分布做类似 §F.2.1、§F.2.2 的分析会有意义。Confidential-PROFITT 与本文技术的结合并不直接，中间节点公平性的推广需要仔细分析，作者留作后续。

实验覆盖范围

• 案例研究按 Table 1 覆盖九篇工作，性质包括准确率、群体公平、个体公平和差分隐私，并区分单次部署前审计与持续验证。
• 决策树主实验使用六个命名基准；审计集 1000 条，German Credit 为 500；评估集占 30%；Figure 3–6 各为 10 次运行的均值和一个标准差。
• 公平性实验以 sex 为敏感属性、demographic parity 为度量，Figure 4 含三个数据集；正文未列出这三个名字。
• XGBoost 在 Default Credit、Adult Income、ACS Income 上各 5 次；Figure 8 使用 226M 参数网络和 8 维高斯混合；ACS Employment 神经网络报告 10 次平均准确率。
• 统计检测的数值在 Table 2，特征为 ACSEmployment 的 Age、Education、Military Status，显著性水平 0.05。论文未报告主实验的 ε、Algorithm 3 的实证隐私损失，以及 Figure 8 的重复次数和端点准确率。

这篇工作同时给出对 CMC 的数据伪造攻击，以及先承诺、后抽样的认证模板。

• 问题：隐私保护审计用承诺和 ZKP，在不公开模型与训练数据时检查准确率、公平性或差分隐私。作者认为，只在固定 Saudit 上成立的 f，并不等于同分布新样本上的 F。审计集公开或在承诺前披露时，提供方有动机通过审计，却在部署数据上追求另一目标。
• 攻击：对手不破坏被验证的训练或推理步骤，而是构造 Strain。决策树准确率攻击在审计点邻域放置改写标签的点；公平性攻击让审计集上看起来满足 demographic parity，审计集外按敏感属性决策；差分隐私攻击复制目标样本以破坏敏感度，且不需要审计数据。攻击博弈还要求效用谓词 L 成立。作者论证，对一类可由直方图近似的函数，增加审计集副本可使 Welch t 检验不拒绝。
• 模板：Πcsp 中提供方先承诺模型，审计方再从 D 抽 n 个独立样本，然后用 ZKP 证明经验谓词 f。作者在 §F.2 给出论证，并称完整性误差为 pfnr，F̃-relaxed knowledge soundness 误差约为 pfpr。准确率实例中，接受意味着真实误差至多 t+2δ；(n, δ) 为 (10k, 0.02) 或 (40k, 0.01) 时，两种伪率上界 ≤ 0.001。
• 结果：摘要报告某次攻击审计集准确率超过 99%、同分布新样本低于 30%，§1 写作审计要求 99%、新样本 30%；论文未点名该次的数据集。Figure 6 在 ACSEmployment 上、p 接近 1 时，审计准确率接近 1，真实准确率约 0.6，独立样本拒赔率接近 1。§G.2 的神经网络在 ACS Employment 上 10 次平均为审计 88.82%、held-out 69.83%。Table 1 九篇中六篇至少部分易受影响。Table 2 在 α = 0.05 下，作者观察到的检测真阳性率为 0%。
• 作者的结论：先前 CMC 不一定在密码学实现上错误，但其保证可能与现实审计所需的分布保证不对齐。作者认为，使用已知公开测试集、或在审计中让模型方学到大量测试集的方案，不太可能安全；持续抽取新鲜数据对审计基础设施是重要的。