关于近期针对多分辨率自集成防御的自适应攻击实现错误的说明
A Note on Implementation Errors in Recent Adaptive Attacks Against Multi-Resolution Self-Ensembles
作者指出 Zhang et al. [2024] 对多分辨率自集成防御的自适应攻击因实现错误使扰动超出 L∞ = 8/255 上限最高 20 倍，正确约束后防御保持非平凡鲁棒性。
- Zhang et al. [2024] 报告用自适应攻击把多分辨率自集成防御的对抗准确率降到接近零，作者核查该结果是否成立。
- 作者复现并检查攻击代码，发现每轮 PGD 各自满足 L∞ = 8/255，但下一轮以上一轮的扰动图为起点，扰动跨轮累积；随后在正确约束下用 54 层 ResNet152 自集成重测。
- 扰动最高达 L∞ = 160/255（超出标准上限 20 倍）；正确约束后防御在 CIFAR-100 上对抗准确率 > 20%。作者还称成功的有界攻击往往与人类感知一致。
- 作者称 > 20% 是初步（preliminary）结果；人类感知证据来自 EPFL 一次讲座中两个示例图片，论文未报告参与人数和统计。
- 威胁模型
- 攻击者以 L∞ = 8/255 为标准扰动上限，对多分辨率自集成防御（multi-resolution self-ensemble）实施多轮重启的自适应攻击（adaptive attack），目标是在 CIFAR-100 上降低防御的对抗准确率；被分析的攻击实现因跨轮累积使扰动最高达 L∞ = 160/255。
- 被测模型
- multi-resolution self-ensemble (ResNet152)
- 基准
- CIFAR-100
- 指标
- adversarial accuracyL∞
Stanislav Fort 发表注记指出，Zhang 等人 2024 年针对多分辨率自集成防御的自适应攻击存在实现错误，攻击实现允许对抗扰动超出标准 L∞ = 8/255 约束最高 20 倍，最高达到 L∞ = 160/255。Fort 是该防御的提出者之一。当攻击被正确约束在设定边界内时，该防御仍保持非平凡的鲁棒性。作者还提出，约束正确的自适应攻击样本往往与人类感知一致，这提示需要重新考虑对抗鲁棒性的度量方式。
深度解读
这篇论文试图解决什么问题？
核查 Zhang et al. [2024] 对多分辨率自集成防御的自适应攻击结果，发现其扰动因实现错误超出标准上限。
核心问题：Zhang et al. [2024] 报告用自适应攻击把多分辨率自集成防御（Fort and Lakshminarayanan [2024]）的对抗准确率降到接近零，这篇技术笔记核查该结论是否成立。
- 问题场景：对抗鲁棒性评测通常以 L∞ = 8/255 为标准扰动上限，并假设该幅度下的扰动不会改变人眼对类别的判断；攻击若突破这个上限，结论就不再可比。
- 现有结果的疑点：Zhang et al. [2024] 用多轮重启逐步精炼扰动的自适应攻击，报告防御的对抗准确率接近零；作者在 NeurIPS 2024 前的复现验证中得到不一致的结果。
- 核心观察：作者检查作者的代码仓库后发现，单轮 PGD 正确地把扰动约束在 ε 内，但多轮实现以上一轮的扰动图为新起点，扰动跨轮累积，最高达 L∞ = 160/255，即超出标准上限最高 20 倍。
- 论文内容：记录该实现错误及原作者的确认；在正确约束下用更强的 54 层 ResNet152 自集成重新测量；并报告一个附带观察——作者称成功的有界自适应攻击产生的扰动往往与人类感知一致。
- 威胁模型：
- 攻击者目标：在 L∞ 威胁模型下欺骗多分辨率自集成分类器，降低其对抗准确率。
- 知识与能力：自适应攻击（adaptive attack），多轮重启、对失败样本继续施加 PGD；论文未说明攻击者对模型内部的知识程度。
- 受害系统：多分辨率自集成防御（multi-resolution self-ensemble），评测数据集为 CIFAR-100。
有哪些相关研究？
论文只围绕两项工作展开：被核查的 Zhang et al. [2024] 自适应攻击，和被攻击的 Fort and Lakshminarayanan [2024] 防御。
这篇技术笔记没有独立的 Related Work 一节，正文只引用并讨论了少数几项工作。
被核查的攻击
- Zhang et al. [2024]（Gradient masking all-at-once: Ensemble everything everywhere is not robust）——提出多轮重启的自适应攻击，报告把多分辨率自集成防御的对抗准确率降到接近零。作者指出其结果来自超出标准上限的扰动，原作者已通过邮件和公开渠道承认实现错误。
被攻击的防御
- Fort and Lakshminarayanan [2024]（Ensemble everything everywhere: Multi-scale aggregation for adversarial robustness）——提出多分辨率自集成防御，即本文作者的前作，是被攻击和被重新评测的对象。
其他引用
- Tramer [2024]——Zhang et al. [2024] 资深作者公开承认错误的记录，作为证据引用。
- Fort [2024]——作者在 EPFL AI Center 的讲座，其中向听众展示了被攻击图片，作为人类感知观察的来源。
定位：作者把本文定位为对 Zhang et al. [2024] 结果的实现层面更正，而非新攻击或新防御；论文没有设置对比基线方法或额外基准。
论文如何解决这个问题？
复现攻击代码定位跨轮累积错误，在正确 L∞ = 8/255 约束下用更强的自集成重测，并用两个示例考察人类感知。
整体思路：先复现 Zhang et al. [2024] 的攻击并追踪扰动幅度以定位实现错误，再在标准 L∞ = 8/255 约束下重新实现自适应攻击并测量防御的对抗准确率，最后通过讲座展示考察成功攻击与人类感知的关系。
错误定位与复现
- 复现方式：作者用带严格扰动追踪的自写实现复现攻击，结果与原报告不一致，随后检查作者的代码仓库。
- 累积机制：单轮 PGD 内部正确地把扰动钳制在 ε 内（Listing 1），但多轮自适应攻击把上一轮输出的扰动图作为下一轮起点（Listing 2），n 轮后实际 L∞ 可达 nε。
- 复现数值：作者复现测得第 2 轮 L∞ ≈ 15.8/255、第 3 轮 ≈ 23.6/255、第 4 轮 ≈ 30.54/255，符合近似模式 L∞(n) = 8n/255；默认 n = 20 轮时扰动最高达 L∞ = 160/255。
正确约束下的重测
- 防御配置：基于 ResNet152 全部 54 层的多分辨率自集成，按 Fort and Lakshminarayanan [2024] 的描述实现；作者称该配置强于 Zhang et al. [2024] 使用的演示版本（基于公开 Colab notebook）。
- 攻击设置：保持标准 L∞ = 8/255 上限的自适应攻击；论文未给出 PGD 步数、EOT 次数等完整参数（Listing 2 中出现 num_eot=10）。
- 测量对象：CIFAR-100 上 L∞ 攻击下的对抗准确率。
人类感知考察
- 展示方式：2024 年 11 月在 EPFL AI Center 的讲座上，向听众展示两张被成功攻击的图片（Figure 2），并给出一个有限的候选类别集合供选择。
- 观察设计：比较听众的类别选择与模型预测是否一致；论文未报告参与人数、选择分布或统计检验。
论文做了哪些实验？
复现确认扰动按约 8n/255 累积、最高 160/255；正确约束下 54 层 ResNet152 自集成在 CIFAR-100 上对抗准确率 > 20%。
实验设置
- 被测系统：多分辨率自集成防御，本文使用基于 ResNet152 全部 54 层的版本；Zhang et al. [2024] 使用的是基于公开 Colab notebook 的演示版本。
- 数据集：CIFAR-100；论文未报告评测样本量。
- 攻击：多轮重启的自适应攻击，单轮为 PGD；标准上限 L∞ = 8/255；出错实现默认 n = 20 轮。
- 指标：对抗准确率（adversarial accuracy）和扰动的 L∞ 幅度。
- 评审方式：人类感知部分为讲座听众在有限候选类别中选择，论文未报告人数与统计方法。
- 重复次数：论文未报告。
主结果
设置 结果 出处 Zhang et al. [2024] 出错实现，扰动 L∞ 上限 最高 160/255（超出标准上限最高 20×） 摘要、第 2.2 节 作者复现，第 2 / 3 / 4 轮扰动 L∞ ≈ 15.8/255、≈ 23.6/255、≈ 30.54/255 第 2.2 节 正确约束 L∞ = 8/255，54 层 ResNet152 自集成，CIFAR-100 对抗准确率 > 20%（作者称为初步结果） 第 3 节 Zhang et al. [2024] 原报告（依赖超限扰动） 对抗准确率接近零 第 1 节 - 作者认为，原报告接近零的鲁棒性来自超出标准上限的扰动，正确约束后防御保持非平凡（non-trivial）鲁棒性。
- Figure 1 展示了作者代码生成的一个 L∞ ≈ 83/255 的真实扰动示例，图注称该扰动对人眼清晰可见。
人类感知观察
- 测了什么：在 EPFL 讲座上展示两张被成功攻击的 CIFAR-100 图片（Figure 2：house→road、sea→mountain），让听众从有限类别集合中选择。
- 结果：作者报告听众一致地把扰动后的 house 图选为 road、sea 图选为 mountain，与模型预测一致；论文未给出人数或比例。
- 作者解读：作者认为部分被标记为"成功"的 L∞ = 8/255 攻击可能真正改变了人和模型共用的感知特征，建议重新考虑对抗鲁棒性的度量方式。
其他消融与分析
- 论文没有其他消融实验；第 2.2 节给出逐轮扰动幅度的复现记录（见主结果表）。
有什么可以进一步探索的点？
作者建议重新考虑对抗鲁棒性的度量方式；> 20% 为初步结果，人类感知证据仅来自两个示例。
作者指出的局限与后续方向
- 初步结果：第 3 节把 > 20% 的对抗准确率称为"preliminary adversarial accuracy"，即初步测量。
- 重新度量鲁棒性：第 3 节与第 4 节作者提出，可能需要改进对抗鲁棒性的测量方式，不应把所有 L∞ = 8/255 下的预测改变都当作鲁棒性失败，而应考虑扰动是否真正改变了感知相关特征。
- 对标准假设的质疑：作者认为 L∞ = 8/255 扰动绝不改变人类类别判断这一常规假设受到其观察的挑战，建议采用更细致（more nuanced）的评测指标。
实验覆盖范围
- 被测防御为多分辨率自集成，本文实验使用基于 ResNet152 全部 54 层的版本，数据集为 CIFAR-100。
- 攻击评测仅覆盖 L∞ = 8/255 上限下的自适应攻击；论文未报告 PGD 步数、重启轮数、查询次数等完整攻击预算。
- 论文未报告对抗准确率的评测样本量和重复次数。
- 人类感知证据来自 EPFL 一次讲座中的两张示例图片（Figure 2），论文未报告参与人数、选择比例或统计检验。
- 论文未在 CIFAR-100 以外的数据集或其他防御上重测。
总结一下论文的主要内容
一篇技术笔记：Zhang et al. [2024] 的攻击因实现错误使扰动超限最高 20 倍，正确约束后防御保持非平凡鲁棒性。
这是一篇技术笔记，核查并更正了 Zhang et al. [2024] 对多分辨率自集成防御（Fort and Lakshminarayanan [2024]）的自适应攻击结果。
- 问题：Zhang et al. [2024] 报告用多轮重启的自适应攻击把该防御的对抗准确率降到接近零；作者复现时结果不一致。
- 发现：攻击实现中每轮 PGD 各自满足 L∞ ≤ 8/255，但下一轮以上一轮的扰动图为起点，扰动跨轮累积，作者复现测得第 2–4 轮分别约 15.8/255、23.6/255、30.54/255，符合约 8n/255 的模式；默认 20 轮时最高达 L∞ = 160/255，即超出标准上限最高 20 倍。原作者已通过邮件和公开渠道承认该错误。
- 重测：在正确的 L∞ = 8/255 约束下，用基于 ResNet152 全部 54 层的更强自集成在 CIFAR-100 上测得对抗准确率 > 20%（作者称为初步结果），与原报告的接近零形成对照。
- 附带观察：作者称成功的有界自适应攻击往往产生与人类感知一致的扰动——EPFL 讲座中，听众把被攻击的 house、sea 图片分别选为 road、mountain，与模型预测一致。
- 作者结论：实现验证在对抗机器学习研究中很关键；同时作者认为应重新考虑对抗鲁棒性的度量方式，因为部分 L∞ = 8/255 下的"成功"攻击可能真正改变了感知相关特征。
相关论文
共同使用 CIFAR-100