ExecCert：为机器遗忘提供可执行发布认证

部署时要回答的是：待发布的有限精度产物是否满足预定证书或当前重训练契约。

• 场景：用户撤回同意、数据过时或发现错误时，需要去掉训练记录的影响；作者另引欧盟被遗忘权。在保留集上从头重训练是自然参考，但作者称其代价推动了更低删除代价的近似遗忘。
• 现有不足：认证遗忘把删除机制联系到声明的参考，但作者称分析管的是数学更新，部署产物被假定实现了该更新。顺序删除后，精确保留集与经舍入推进的服务状态分开演化。
• 核心观察：候选可以准确求解存储方程，甚至存储残差为零，仍违反相对当前保留集重训练的契约。作者因此称只核验存储计算不够。
• 提出的层：作者提出 Executable Release Certification（ExecCert），放行前检查具体候选是否满足预先固定的契约。一条路径是原生证书闭合，另一条是 Retraining-Reference Release Verification（RRV）。
• 判定：属于可接受集才算符合；不符合却返回 CERTIFIED 为误放行。未结论的候选仍可能符合；通过策略门的才是已发布产物（Section 3）。

认证遗忘假定部署产物实现数学更新；外部审计关心哪次计算跑过；验证数值则针对固定系统。

认证近似移除

• 完整重训练：在保留集上完整重训练是自然精确参考，但要处理全部幸存数据。精确遗忘对准同一输出分布，不必逐字重跑原训练（Ginart 等，2019）。
• 偏差上界：Guo 等（2020）、Sekhari 等（2021）、Gupta 等（2021）、Chien 等（2024）、Zhang 等（2024b）、Koloskova 等（2025）、Zou 等（2025）与 Pandey 等（2026）用影响函数或牛顿步、随机机制，或可跨删除序列组合的保证，界定相对声明参考的偏差。
• 共享假定：作者称这些结果界定的量不同，但都假定分析管的是数学更新，部署产物实现了该更新。

外部删除审计

• 不信任运营方时：Thudi 等（2022）、Weng 等（2024）、Eisenhofer 等（2025）、Zhang 等（2024a）与 Maheri 等（2026）审计执行轨迹与来源、探测已发布模型里被删记录的残留影响，或附上规定计算已被执行的密码学证明。
• 作者的区分：作者称自己的验证者在内部、计算已知，问题是产物是否满足用精确算术陈述的契约。证明规定更新已运行，并不说明累积了多少舍入；作者称二者可以组合。

有限精度与固定系统

• 已知会打破精确算术保证的场景：作者举差分隐私（Mironov，2012）、随机平滑（Voracek 与 Hein，2023）、已部署网络验证（Szász 等，2025）和认证鲁棒性上的浮点问题（Jin 等，2024）。
• 验证数值：Krawczyk（1969）、Oishi 与 Rump（2002）、Rump（2010）、Hager（1989）为线性残差、近似逆和低秩更新提供严格包围。作者称这些工具是对固定系统认证解。
• 因子更新：Cholesky downdate 与迭代精化可更新数值求解（Higham，2002；Rump，2010）。作者称维护因子本身并不验证它与变化中的精确系统的关系，因子验证和残差包围仍属于发布证书。

基线、数据与定位

• 实验基线：存储方程核验；按需的保留残差、校正残差与新验证因子；维护验证因子；增量 RRV 的范数球与方向性读出（Table 4、Table 6）。
• 接入对象与数据：Newton-update removal（Guo 等，2020；MNIST 3-vs-8）、Newton direct perturbation（Zou 等，2025；合成 logistic-ridge）、ScaleGUN（Yi 与 Wei，2025；Cora、ogbn-arxiv）、CEU（Wu 等，2023）。顺序服务用 PKU-SafeRLHF-QA；受控诊断用 CIFAR-10 与 AG-News。
• 作者定位：ExecCert 是数学机制与待发布具体产物之间的一层。作者称 ScaleGUN 研究的是图传播上的相关转移，RRV 转的是有限精度服务状态到保留集系统。

生成器、发布契约和验证器分开。放行前，ExecCert 只在建立已执行候选属于预先固定的可接受集后才返回 CERTIFIED；否则策略门可以修复、重算、重编码或扣下候选。

两条发布路径

• 原生证书闭合：源方法已给出证书量 q(θ; I) 不超过阈值 b 时，可接受集就是满足该不等式的参数。ExecCert 不改这个条件，只为已执行候选构造严格上界，上界不超过 b 才认证。
• RRV：部署直接要求相对当前保留集重训练的保真度，而源证书不一定表达该距离时使用。精确参考 θR 由声明的训练目标、可变模型部件和契约输入唯一确定。
• 欧氏参数契约：预声明距离和容差 τ > 0。欧氏情形要求已执行候选到 θR 的 Frobenius 距离有严格上界，即 |θ̃−θ_R|_F ≤ C。验证器不显式求出 θR。
• 证据何时构造：按需 RRV 在请求认证时构造；增量 RRV 在删除过程中维护，发布时再合成。同一绝对界还可转成相对参数保真度、固定读出误差和带间隔的决策一致（Section 3.2）。

参数误差上界

• 岭回归前向证书：精确参考满足 HθR = B，H 为 d×d 非奇异阵，P 近似其逆。逆缺陷的 2-范数上界 δ < 1，校正残差的 Frobenius 范数上界为 ρ 时，Lemma 1 给出 C=ρ/(1−δ)。
• 增量与按需：对称正定正规矩阵上的岭回归头两条路径都用残差和逆缺陷界。删除过程中的增量路径用秩一转移更新认证数值状态。
• 强凸后更新证书：可微强凸目标上，用当前保留集目标的梯度范数上界 g⁺ 除以强凸常数下界 μ⁻ 作为到精确极小点的距离上界。作者称这不需要逆证明状态，并覆盖 L2 正则 logistic 与 softmax 头（Proposition 3、Section D.1）。
• 固定读出：对检查候选之前声明的表示阵 Z，参数证书给出读出误差的范数球界；校正残差还提供误差方向的计算中心，剩余不确定性绕该中心包围（Proposition 1）。Corollary 1 给出二分类符号与多类 top-1 一致的间隔条件。

增量参考转移

• 两套系统：精确统计量随删除做秩一修正；服务另存有限精度统计量。增量 RRV 维护二者的分量包围，以及近似逆、缺陷跟踪器和半径。
• 守卫转移：有符号秩一变化用 Sherman–Morrison 型更新。分母、矩阵向量积和状态转移在提交前检查，失败则按配置重建。成功转移为 O(d²)，稠密逆重构为 O(d³)。d 是每个岭回归头的特征维。
• 算术范围：验证器端点用 binary64 外向舍入；存储统计量可为 FP32 或 FP64，FP32 在验证前精确提升。作者称 TF32、混合精度累加和 fastmath 重结合不在认证模型内；溢出、非有限值或守卫失败则该转移不可提交（Section C.1）。
• 发布时合成：存储残差和存储逆缺陷被转到精确保留集系统，得到 Lemma 1 所用的 δ 与 ρ，再得到 C。分量形式保留残差的方向交互（Section C.4）。

事务发布与派生契约

• 检查点：非发布检查点可提交已验证内部状态而不放出产物。发布检查点须每个已声明契约都认证后，才放出当前候选。
• 修复不同于重建：改变候选的修复、重算或重编码产生新产物，必须重新认证。只改验证器证据的证明状态重建不改变候选。
• Theorem 1：若以有效统计量与逆缺陷包围初始化，只接受保持两条不变量的守卫转移，并在每个声明的发布检查点把转移后的界用到具体候选上，且候选变更被重新认证、发布相对已认证产物是原子的，则每个已发布产物满足每个已声明的重训练参考契约。按需 RRV 是只在检查点构造证据的特例。
• 随机发布与格式：噪声尺度须预先声明。作者称该界可与高斯、拉普拉斯发布保证以及牛顿直接扰动半径的可执行闭合组合，且等协方差高斯检验参数本身不是常规 (ε, δ)-DP 保证（Section B.2）。若某有限格式到认证参考中心的距离下界在扣掉参考半径后仍大于相对容差乘以范数上界，则该格式中没有张量满足相对契约（Proposition 2）。

实验设置

• 四个问题：参考转移能否避免误放行且证书不过分保守；增量证据能否在不削弱认证时降低生命周期成本；接入四份已发表实现后发布决定如何变化；生产者精度或输出格式何时限制契约（Section 5）。
• 顺序服务：冻结 Llama-3.2-3B-Instruct 表示上的 d = 3073 二分类岭回归头，数据为 PKU-SafeRLHF-QA。七条 1,000 请求删除流，发布容差 10^{-3}，固定读出为 3,000 条密封表示（Section 5、E.1）。
• 受控诊断：DINOv2 配 CIFAR-10，RoBERTa 配 AG-News，均为多类岭回归头。容差研究固定 14,000 个输出；压力研究为三流、三条件数水平、两种统计量存储精度，共 18 条轨迹（E.1）。
• 已发表实现：Newton-update removal 用官方 MNIST 3-vs-8 配置，不改目标扰动、更新、累积预算和阈值。Newton direct perturbation 用合成 logistic-ridge，评估 100 个 leave-one-out 状态。ScaleGUN 与 CEU 不改更新规则和放出候选（Section 5.3、D）。
• 对照与指标：候选与契约固定。对照包括存储方程核验、按需 RRV、维护验证因子和增量 RRV（Table 4）。指标为误放行、条件覆盖、证书膨胀 τcert/τtrue − 1、延迟、生命周期时间和状态大小。
• 标签与重复：离线标签来自独立重训练与高精度区间，不计入在线计时（Section 5、F）。保证匹配比较为三条留出流乘七个声明检查点，共 21 个状态；延迟每状态 10 次重复（Table 1）。

主结果

压力总体按存储精度分开。增量 RRV 一行是证明重建前的首次检查。四个 FP32 参考区间未判定，不计入符合或不符。

Swipe horizontally to read the table

路径	总数	符合	认证的符合	误放行
FP32 存储方程	9000	7293	7293	1703
FP32 增量 RRV（首次检查）	9000	7293	4838	0
FP64 增量 RRV	9000	9000	9000	0

据 Table 5。

• 误放行：作者称存储方程核验放行了几乎全部不符合候选，而 RRV 没有误放行。未判定区间不计入两侧。
• 重建后的覆盖：仅重建证明状态后，FP32 增量路径的条件覆盖为 67.24%；同批候选上新因子按需路径为 99.97%（Section 5.1、Table 7）。作者称 FP32 与 FP64 之间会改变放出的候选，跨精度比较是生产者策略比较。
• 紧度：另一固定总体有 14,000 个 FP32 输出，容差从 10^{-5} 扫到 10^{-2}。作者报告每个输出的认证阈值都不低于独立审计的已实现最小容差（Section 5.1）。Figure 2 标注证书膨胀中位数为 0.22%，第 95 百分位 ≤ 0.83%；作者称对 95% 的输出，证书约在独立参考的 1% 以内。图注写覆盖缺口是符合比例减去认证比例，且重建或生产者补救不改变该总体。

顺序服务中的证据复用

• 测了什么：同一候选、固定读出和发布契约上，比较新验证因子、维护验证因子，以及增量 RRV 的范数球与方向性读出。Table 1 不扫描保留行，状态大小不含保留行。
• 结果：方向性增量 RRV、新因子和维护因子均为 21/21；范数球增量为 0/21。中位延迟分别为 1.056 s、2.611 s、2.453 s 和 0.801 s（Table 1）。Table 6 中按需保留残差为 0/21，校正残差为 21/21。作者称方向性增量延迟约为新因子的 40%。
• 作者解读：维护因子的覆盖与新因子相同，作者据此称不能把结果归因于弱基线。范数球在相同状态上失败；把读出范数上界换成认证下界后，每个范数球证书仍高于容差。作者称复用只有在证明状态保留与契约相关的误差方向时才保住强度。方向性增量约在每 1,000 请求 22 次检查处低于新因子（Figure 3 标注约 22；附录 E.3 为 21.5），并在已评估日程上低于维护因子；每次请求都检查时，相对维护因子生命周期成本降 42.7%（Section 5.2）。作者称该交叉点因工作负载而异。Figure 3 图注写维护因子与新构造的交叉约在每 1,000 请求 214 次，位于图中低频区域之外；附录 E.3 写 214.3。

已发表方法上的发布时核验

• Newton removal：原生闭合把重训练边界移动 0–4 个请求；直接再认证还能标出保守的源停止（Table 2）。Table 3 中 seed 0、1、2 的原生停止为 251、232、277，ExecCert 为 249、232、273，差为 −2、0、−4，Direct upper 为 0.00304、0.00324、0.00421。
• Newton direct perturbation 与 ScaleGUN：FP32 上直接界相对无方向组合的中位比为 2.28×，P95 为 2.49×，最大为 2.56×（Table 3）。FP64 因直接界可接近零，作者报告绝对间隙中位数 0.134。ScaleGUN 的 15/15 cheap-update 证书仍有效（Table 2）；Table 3 中这些比率是源预算消耗，15 个合计中位数 0.68%、最大 1.28%，另有 9 个检查点走源回退。
• CEU：声明容差 τpar = 10^{-3}（D.1；Table 3 记为 0.10%）不被支持。已实现误差中位数 8.86%、最大 9.47%；RRV 上界中位数 14.06%、最大 14.84%（Table 3）。Table 2 将这两个中位数写为 8.9% 与 14.1%。作者称后更新 RRV 认证的是放出头所支持的更弱保真度，更新规则未改。

生产者精度与输出格式

• 精度：Table 7 中，FP32 新因子按需路径条件认证 99.97%，生命周期 444.7 s，状态 11.4 MiB；FP32 增量路径为 67.24%、502.1 s、20.4 MiB。FP64 两条路径均为 100.00%，生命周期分别为 378.4 s 与 413.5 s。4,162 次低精度证明刷新由界高于容差触发，而非逆状态无效；提交前中位界为 1.014τ，提交后为 0.830τ，每次提交都恢复认证，占 FP32 生命周期 4.39%，且不改变候选（E.4）。
• 格式：Figure 3(b) 横轴为最小可达相对误差 τmin，图例含 FP32、FP16、BF16。作者称某格式的认证下界超过声明契约 τpar 时该格式被排除；BF16 不可达，同等大小的 FP16 仍可达，FP32 仍可行。作者称有些失败要改生产者或编码，而不是收紧验证（Section 5.4）。
• 决策间隔：七条流的 56 个检查点上，间隔证书覆盖声明决策的 95.0%–95.8%；独立离线审计的平均观测一致率为 99.96%，作者写明后者不用作认证覆盖（E.3）。Section 5.2 称一次决策审计覆盖约 95% 的声明安全头决策。

其他消融与分析

• Table 6：按需保留残差 0/21，中位 5.163 s，P95 5.410 s，状态 72.1 MiB；校正残差 21/21，中位 5.341 s。二者都扫描保留行。
• 校正残差若给出到参考的界，仍通过三角不等式认证原快照，各项外向求值，不把校正后的参数当作发布对象（E.3）。
• 范数球与方向性增量共享逆缺陷证明状态，只差读出证书（E.1）。方向性增量状态 430.6 MiB，新因子 286.5 MiB（Table 1）。
• Newton 直接扰动的源中心界 A⁺ 中位数 0.087，P95 0.341，最大 0.945；比率在状态内形成后再汇总（Table 3）。
• ScaleGUN：Cora 为 12 个 cheap-update、84 个头，预算消耗中位数 0.59%、最大 0.83%；ogbn-arxiv 为 3、120、1.24%、1.28%（Table 3）。
• 离线参考由保留行独立重构，验证逆缺陷证书包围重训练解；精度提高到每个分类被判定为止。未判定的四个 FP32 区间不进入符合分母（Table 5、Section F）。

作者指出的局限与后续方向

• 证书范围：原生闭合继承源方法自己的证书范围；RRV 只认证到其唯一指定重训练参考的声明距离（Section A）。
• 固定读出：固定读出结论只覆盖检查候选之前声明的输入表示，对集合外输入不作结论（Section A）。
• 噪声尺度：随机发布校准假定预先声明的公共尺度；噪声尺度随候选反应的自适应发布策略需要另行分析（Section A）。
• 更大可训练块：可复用证明状态针对中等维可变头。作者称扩到更大可训练块需要利用额外结构，因为稠密逆证据到不了那个规模（Section A）。
• 证明状态寿命：与统计删除容量不同，寿命依实例、由条件数决定，而不是一个通用删除次数。守卫失败会触发认证重建，以更高成本恢复不变量，但不对服务能吸收的删除次数设固定上界（Section A）。
• 不建立语义遗忘：参数或固定读出保真度不建立语义遗忘或多轮自适应隐私；ExecCert 补充的是上游保证。增量实现覆盖冻结表示上的中等维可变岭回归头（Section 6）。

实验覆盖范围

• 顺序服务：冻结 Llama-3.2-3B-Instruct，d = 3073 二分类岭回归头，PKU-SafeRLHF-QA，七条 1,000 请求流，容差 10^{-3}，固定读出 3,000 条密封表示（Section 5、E.1）。
• 受控与压力：DINOv2/CIFAR-10、RoBERTa/AG-News；容差扫描 14,000 个固定输出；压力为 18 条轨迹，Table 5 每种精度 9,000 条（E.1、Table 5）。
• 已发表方法：四份实现的更新规则不改，只在发布时加核验；Newton 扰动为 100 个 leave-one-out 状态，ScaleGUN 为 Cora 与 ogbn-arxiv 上 15 个 cheap-update（Section 5.3、Table 3）。
• 对照与重复：Table 4 的六种验证构造在 21 个匹配状态上比较，延迟每状态 10 次重复；离线标签来自独立保留行重构与高精度区间（Table 1、Section F）。
• 论文写明的条件：Section A 写自适应噪声尺度需要另行分析，稠密逆证据不扩展到更大可训练块；Section 6 写增量实现覆盖冻结表示上的中等维可变岭回归头。格式比较从同一 master head 编码 BF16、FP16 与 FP32（E.4）。

ExecCert 是放在遗忘生成器与发布门之间的认证层，用来检查具体有限精度产物是否满足预先声明的契约。

• 问题：认证遗忘的数学保证管的是精确更新。顺序删除中，精确保留集与舍入后的服务状态分开演化，存储方程成立仍可能偏离当前重训练。
• 方法：原生闭合为源证书量构造严格上界。RRV 不显式求出重训练参考，而用残差与逆缺陷，或强凸目标上的后更新梯度，给参数距离上界。增量 RRV 用守卫秩一转移以 O(d²) 维护证据，发布时再转到精确保留集。
• 误放行：FP32 压力总体的首次检查中，增量 RRV 误放行为 0，认证 4,838/7,293 个符合输出；存储方程核验误放行 1,703（Table 5）。仅证明重建后条件覆盖为 67.24%，同批候选上新因子按需路径为 99.97%（Table 7）。
• 成本与紧度：方向性增量 RRV 在 21/21 个匹配状态上认证，中位延迟 1.056 s，新因子为 2.611 s；范数球路径为 0/21（Table 1）。作者称每次请求都检查时，相对维护因子生命周期成本降 42.7%。Figure 2 上证书膨胀中位数 0.22%，第 95 百分位 ≤ 0.83%。
• 已发表实现：Newton 原生闭合将重训练边界移动 0–4 个请求；FP32 直接界中位比无方向组合紧 2.28×（Table 3）。ScaleGUN 的 15/15 cheap-update 证书仍有效。CEU 在 τpar = 10^{-3} 下不被支持，RRV 上界中位数 14.06%，已实现误差中位数 8.86%（Table 3）。
• 作者结论：作者把发布时失败分成三种：数学证书对已执行产物闭不上；验证器相对发布日程过弱或成本过高；生产者或输出格式使契约不可能。作者称应据此决定改验证还是改产物。参数或固定读出保真度不建立语义遗忘或多轮自适应隐私。