Proof-of-Learning 当前比想象中更不可靠

1. 01这篇论文试图解决什么问题？

   PoL 验证是否鲁棒悬而未决：作者系统分析其假设漏洞并提出可复现、低成本的欺骗攻击。

   核心问题：Proof-of-Learning（PoL）的验证机制能否鲁棒地抵御欺骗（spoofing），目前既无形式化保证，已有反例又不可靠。

   • 问题场景：PoL（Jia et al. [2]）让模型拥有者记录训练检查点作为算力投入的证明，验证者重放部分训练步骤并在权重空间比对，用于证明模型所有权或委托计算的正确性。作者指出，Jia et al. 放弃了密码学方法以换取可扩展性，因此无法给出形式化安全分析。
   • 现有工作的不足：Zhang et al. [3] 提出反例称可以低成本欺骗 PoL，但作者称其实验针对的是被弱化的 PoL 实例——结果要么无法复现，要么把检查点间隔 k 等本应由验证者设定的超参数交给攻击者控制，调小 k 和 δ 即可阻止其攻击（Section 2.3）。
   • 核心观察：作者把 PoL 验证拆为两个角色——高效验证更新序列的有效性、确立先后次序（precedence）——并指出鲁棒性依赖可复现性（reproducibility）与代表性（representativeness）两个假设，而验证这些假设可归结为学习理论中的开放问题。
   • 论文贡献：作者提出两种新的结构正确欺骗攻击（infinitesimal update、blindfold top-Q），作者称它们在不同 PoL 配置下都能复现、保证成功，且成本仅为以往欺骗策略的一小部分；并对确立先后次序的随机欺骗（stochastic spoofing）做了理论性质分析与实证探索。
   • 威胁模型（Section 3）：
     • 目标：为窃取来的模型权重 WT 伪造能通过验证的证明，且成本低于诚实训练。
     • 知识：攻击者完全知道 WT 和模型架构，知道验证参数 δ、Q 及更新选择机制。
     • 能力：无法访问中间训练状态、随机源等其他训练信息；按先前工作假设可访问训练数据集，但作者称所提攻击不依赖该假设。
     • 受害系统：Jia et al. [2] 提出的 PoL 验证机制（含 top-Q 高效验证）。

   收起这一问

2. 02有哪些相关研究？

   围绕 PoL 及其欺骗展开：Jia et al. 提出协议与初步欺骗分析，Zhang et al. 的反例被作者指出三处问题。

   PoL 协议及其安全分析

   • Jia et al. [2]——提出 Proof-of-Learning 协议：证明者记录训练轨迹（权重、数据索引、数据签名、辅助信息），验证者重放更新并以阈值 δ 在权重空间比对；提出 top-Q 机制只验证每轮范数最大的 Q 个更新以提高效率。作者指出该工作未能给出形式化安全分析，且其 top-Q 选择机制只孤立地看单个更新的范数，不满足作者提出的代表性假设（Assumption 2）。
   • Thudi et al. [13]——关于机器遗忘的可审计定义的工作；本文借用其形式化方式定义以某权重结尾的有效证明集合 AD,WT。

   针对 PoL 的欺骗攻击

   • Jia et al. [2] 自身分析了序列反转（sequence inversion）与定向重训练（directed retraining）两类欺骗，认为前者计算下界不低于诚实训练，后者产生的不连续性会被 top-Q 机制检出。
   • Zhang et al. [3]——提出基于对抗样本思想的两种欺骗：Attack 1（合成对抗数据产生指定更新）与 Attack 2（合成检查点初始化，使更新幅度远小于 δ）。作者指出三点：Attack 1 双方都无法实现收敛；Attack 2 假设攻击者能设定 k 和 δ（如 CIFAR-100 上 k=100、δ=0.1），作者称这属于被弱化的实例，k、δ 缩小一个数量级后攻击不收敛；两攻击还需计算二阶导数，成本高。

   支撑性技术工作

   • Shumailov et al. [21]——数据排序攻击（data ordering attacks），通过操纵 mini-batch 顺序获得期望的梯度更新；本文在 Section 7.2 借其思路评估随机欺骗的可行性。
   • Scieur et al. [23]——Regularized Non-linear Acceleration（RNA）优化器；本文在附录 C 借鉴其轨迹外推思路设计对抗更新规则。
   • Tramèr et al. [9]——模型窃取攻击，构成 PoL 所有权证明动机的背景。

   定位：作者称本文是首次系统研究 PoL 鲁棒性所需假设的工作，按被利用的假设（可复现性、代表性）对漏洞与攻击分类；与 Zhang et al. 只针对可复现性假设、且威胁模型不现实不同，本文攻击不依赖训练设置、成本更低，并首次探索代表性假设这一此前未被考察的漏洞（附录 D）。

   收起这一问

3. 03论文如何解决这个问题？

   把 PoL 验证拆为两个角色，形式化可复现性与代表性假设，再针对每个假设各设计一种欺骗攻击。

   整体思路：将 PoL 验证的两个角色——高效验证更新有效性、确立先后次序——各自依赖的假设形式化，证明最优验证阈值存在但构造是开放问题，然后针对假设的违反分别提出 infinitesimal update attack 和 blindfold top-Q attack 两种结构正确欺骗。

   问题形式化

   • 证明定义为 P(T, W_T) = (W, I, H, A)：W 为训练中记录的模型状态（每 k 步记录一次权重，k 为检查点间隔），I 为各步所用数据，H 为数据的密码学签名，A 为超参数等辅助信息。
   • 验证：验证者从 Wt 重放 k 步得到 W′t+k，若 d(W_t+k, W′_t+k) < δ 则接受该步；δ 由验证者事先设定，需大于复现误差 εrepr 且远小于参考距离 dref。
   • 有效证明集合 AD,WT：以 WT 结尾、用数据集 D 生成、在度量 d 下通过阈值 δ 的证明全体；诚实训练是该集合上的概率分布（Definition 2）。

   角色一：高效验证的理论分析（Section 4）

   • 可复现性假设（Assumption 1）：用相同更新规则、数据和元数据重放第 t 步，复现误差存在上界 δ。
   • 最优阈值存在：Lemma 1 证明对给定 TPR τ，存在以诚实更新均值为中心的最小 ℓ2 阈值；Corollary 1 推广到所有度量球边界 Lebesgue 测度为 0 的度量（含全部 ℓp 与余弦相似度）。Lemma 2 对称地证明给定 FPR 上界 λ 存在最大阈值。
   • 方向敏感的阈值设计：Lemma 3 证明若 ||g − g′|| < α·min{||g||, ||g′||}，则 g 与 g′ 夹角有界；作者据此建议把阈值设为 α·min{||g||, ||g′||} 而非常数，附录 E（Figure 10、11）显示 α=1 时可挡住已知攻击，但作者称这仍不是可证明最优的机制。
   • 代表性假设（Assumption 2 + Definition 4）：若只验证更新子集，该子集须满足"子集全部有效 ⇒ 全序列有效"；Lemma 4 证明验证代表性子集等价于验证全部更新。作者认为 Jia et al. 的 top-Q 机制只看单个更新的范数，不满足该假设。

   角色二：确立先后次序的理论分析（Section 5）

   • 廉价性假设（Assumption 3）：任何由 (D, WT) 生成证明的算法，其期望成本不低于诚实训练的期望成本；违反者即随机欺骗。
   • c-cheap 算法（Definition 6）：期望成本低于诚实训练期望成本 c 倍（c ∈ [0,1)）的证明生成算法。
   • Lemma 5 给出 c-cheap 算法的稳定性性质：以 2/3 概率其输出落在诚实分布下测度不超过 ζ 的子集内；Lemma 6 给出诚实采样获得 c-cheap 证明所需查询次数的下界。作者称这些只是必要条件，此类算法是否存在是开放问题。

   攻击设计（Section 6）

   • infinitesimal update attack：在随机初始化 Ŵ0 与受害权重 WT 之间线性插值生成检查点，使相邻检查点距离远小于 δ；把学习率 η 设为趋于 0，使任何梯度下更新幅度都小于 δ/k；记录的数据可以是随机值。每步成本仅 1 次前向传播（FP），保证成功，且作者称静态 δ 下验证者无法检测。
   • blindfold top-Q attack：攻击者已知 Q，每轮用大学习率制造 Q 个幅度大但有效的更新（各需 k 次有效梯度计算），其余更新用线性插值生成且幅度更小，使 top-Q 机制恰好选中那 Q 个有效更新；期望每步成本 (3·k·Q)/s + 1 FPs（s 为每轮步数）。

   成功判定

   • 结构正确欺骗成功 = 证明含无效更新但通过验证，判据为归一化复现误差 ||εrepr|| 小于 δ；成本以 FP 为单位核算（1 次反向传播约等于 2 FPs，附录 B）。

   收起这一问

4. 04论文做了哪些实验？

   两种新攻击在 CIFAR-10/100 上以约 1 FP 每步通过验证；针对先后次序的随机欺骗实验均未成功。

   实验设置

   • 被测模型：ResNet-20（CIFAR-10）、ResNet-50（CIFAR-100），沿用 Jia et al. [2] 的设置。
   • 数据集：CIFAR-10、CIFAR-100；batch size 128，训练 200 epochs。
   • 重复次数：除特别说明外所有实验重复 5 次，图中含置信区间。
   • 基线：重新实现 Zhang et al. [3] 的 Attack 2（作者称也用过其官方代码复现）。
   • 指标：归一化复现误差 ||εrepr||（max_t εrepr(t)/dref）与阈值 δ 的比较；攻击成本以 FP 计。
   • 验证者设定：Section 6.1 假设最强验证者，即验证全部更新；δ 手动设为 0.008（Figure 4）。

   主结果

   论文没有汇总数值表，主结果以图呈现：

   表格较宽，可左右滑动

   实验	设置	结果（出处）
   infinitesimal update attack	CIFAR-10/100，δ=0.008，验证全部更新	所有步		εrepr		远小于 δ，通过验证（Figure 4a、4c）
   Zhang et al. Attack 2（基线复现）	同上	同样通过验证，但		εrepr		始终高于本文攻击（Figure 4b、4d）
   blindfold top-Q attack	Q=5，每轮 5 个有效大更新	验证者始终选中这 5 个有效更新，无效更新未被检出（Figure 5）
   独立训练模型间距离	30 对收敛模型，ℓ2 距离	ResNet-20/CIFAR-10：71.472 ± 0.186；ResNet-50/CIFAR-100：58.056 ± 0.205（Table 1）

   • 作者称 infinitesimal update attack 的 ||εrepr|| 始终低于 Zhang et al. 的 Attack 2，且成本更低：前者每步 1 FP，后者至少 (43·n+1)·k FPs（n 为优化迭代次数，附录 B）。
   • 作者称 Figure 5 中 top-Q 曲线（蓝色）始终位于 Q=5 红线左侧，即只要验证者不使用更大的 Q，就无法发现无效更新。
   • Table 1 中两组距离的 one-tailed t 检验 p 值分别为 8.65×10⁻⁷⁷ 和 5.43×10⁻⁷³；作者据此认为独立训练几乎不可能收敛到相同权重。

   随机欺骗的实证探索（Section 7）

   • 数据排序攻击：对数据集中每个数据点，检查其梯度更新是否拉近攻击者模型与 WT 的 ℓ2 距离；Figure 6（CIFAR-10/100，epoch 0 与 200）及附录 Figure 12、13 的直方图中所有值均为负，即没有任何单点更新能拉近距离。作者认为数据排序攻击不太可能成功。
   • 合成对抗数据：交替优化合成数据与模型权重以逼近 WT；Figure 7 中训练损失与距离损失曲线趋势相反。作者称这不能排除进一步操纵损失的可能，但暗示可能存在不兼容性。
   • 对抗更新规则（附录 C）：借鉴 RNA 设计 Adversarial RNA Step，每轮 10 步，ResNet-20/CIFAR-10 上重复 5 次；Figure 8b 中距离持续下降，但 200 epochs（与诚实训练相同成本）后仍明显大于 0，无法生成有效欺骗。

   其他消融与分析

   • 改进阈值验证：按 Lemma 3 设自适应阈值（α=1）后，两种已知欺骗的 ||εrepr|| 持续大于 δ 被拒绝；用 100 倍小学习率诚实训练的模型在 5 次运行中均通过（Figure 11）。
   • Zhang et al. Attack 1：作者与 Zhang et al. 双方均未能使其实现收敛，未纳入后续评估（Section 2.3、3.1）。
   • Zhang et al. Attack 2 复现：作者复现发现 k 偏离原设置（如 CIFAR-100 取 k=10）时攻击不工作（Section 6.1 脚注 3）。
   • 成本对比：blindfold top-Q 期望每步 (3·k·Q)/s + 1 FPs；Zhang et al. 并行化的 Attack 3 仍需 43·n + 1 FPs 每步（附录 B）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出多个开放问题：最优验证的构造、代表性子集选择、随机欺骗是否存在；实验仅覆盖两个数据集与架构。

   作者指出的局限与后续方向

   • 最优验证策略未解决：如何实例化最优逐步验证策略、攻击者能否绕过它，仍是开放问题（Section 4.1.3 与 Section 9）。
   • 代表性子集选择未解决：如何选择能代表训练过程的更新子集、被选更新的何种性质使其更重要、与 DNN 优化算法有何关联，均为开放问题（Section 4.2）。
   • 随机欺骗是否存在未解决：c-cheap 算法（Definition 6）是否存在、在什么更新规则和验证方案下存在，是开放问题；Lemma 5、6 给出的稳定性和查询复杂度只是必要条件（Section 5）。
   • 实证研究不完备：作者称任何实证研究都是非完备的，其他随机欺骗攻击可能存在，其出现可能依赖学习理论的进展（Section 7 结尾）。
   • 改进阈值仍非可证明最优：α=1 的自适应阈值能挡住已知攻击，但角度阈值同样受实现细节（机器、库）影响，机制不是可证明最优的（Section 4.1.3）。
   • 后续方向：用密码学承诺机制（尤其是数据承诺）与时间戳补充 PoL；在未来工作中证明随机欺骗对手能否存在、实例化最优验证策略（Section 8、9）。

   实验覆盖范围

   • 被测模型为 ResNet-20（CIFAR-10）与 ResNet-50（CIFAR-100）共 2 个架构，数据集为 CIFAR-10、CIFAR-100（Section 6）。
   • 攻击实验的验证设置：Section 6.1 验证全部更新、δ=0.008；Section 6.2 仅测 Q=5；实验重复 5 次。
   • 随机欺骗评估覆盖数据排序、合成数据、对抗更新规则（RNA 变体）三类策略，均假设攻击者可访问训练数据（Section 7、附录 C）。
   • 蒸馏类欺骗（distillation-based spoofing）不在本文讨论范围（Table 3）。
   • 论文未报告攻击在 CIFAR-10/100 以外数据集或 ResNet 以外架构上的表现，也未报告改进阈值机制对验证开销的具体影响。

   收起这一问

6. 06总结一下论文的主要内容

   作者系统拆解 PoL 验证的两类假设，提出两种低成本可复现欺骗，并把鲁棒性归结为学习理论开放问题。

   一篇针对 Proof-of-Learning（PoL）鲁棒性的攻击与分析论文。PoL 用训练检查点日志证明算力投入，此前 Zhang et al. 的反例与 Jia et al. 的原始安全主张相互矛盾。

   • 问题：作者称 Zhang et al. 的攻击针对被弱化的 PoL 实例——假设攻击者能设定检查点间隔 k 与阈值 δ，双方也都无法复现其 Attack 1；PoL 真正的系统性漏洞未被识别。
   • 方法：把验证拆为"高效验证有效性"与"确立先后次序"两个角色，形式化可复现性与代表性假设；证明最优逐步阈值对所有 ℓp 度量存在（Lemma 1、Corollary 1），但构造最优策略、选择代表性子集、随机欺骗是否存在都是开放问题。
   • 攻击结果：infinitesimal update attack（插值检查点 + 趋于 0 的学习率）在 δ=0.008、验证全部更新的设置下，CIFAR-10/100 上所有步 ||εrepr|| 远小于 δ 并通过验证，每步成本 1 FP，低于 Zhang et al. Attack 2 的至少 (43·n+1)·k FPs（Figure 4、附录 B）；blindfold top-Q attack 在 Q=5 时让验证者始终只选中 5 个有效更新（Figure 5）。
   • 随机欺骗结果：30 对独立训练的收敛模型间 ℓ2 距离达 71.472 ± 0.186（ResNet-20/CIFAR-10）与 58.056 ± 0.205（ResNet-50/CIFAR-100）（Table 1）；数据排序、合成数据、对抗更新规则三类策略均未能在诚实训练成本内逼近受害权重（Figure 6、7、8b）。
   • 作者结论：当前无法形式化证明 PoL 验证机制的鲁棒性；作者认为数据承诺、时间戳等密码学原语与 PoL 结合是有前景的方向，并给出了 α=1 的自适应阈值作为能挡住已知攻击的改进（Figure 11），但称其仍非可证明最优。

   收起这一问

相关论文