RobustBench：标准化的对抗鲁棒性基准

1. 01这篇论文试图解决什么问题？

   对抗鲁棒性评测易错、常高估鲁棒性，作者提出标准化基准 RobustBench 以在有限算力内准确比较防御。

   核心问题：对抗鲁棒性研究缺乏系统、可信的标准化评测，导致难以分辨哪些防御真正提升了鲁棒性。

   • 场景与重要性：作者称该领域已有 3000 多篇论文，但哪些防御真正有效、哪些只是让常用攻击高估了鲁棒性，往往不清楚；精确计算 robust accuracy 即使对单层网络也是 NP-hard。
   • 现有方法不足：作者称许多看似鲁棒的防御被自适应攻击攻破；Tramèr et al. 观察到即使做了自适应评测的防御仍可能被新的自适应攻击打破；认证方法给出的下界常明显低估鲁棒性，因此基准只测上界。
   • 核心观察：作者在许多防御中看到重复出现的模式（零梯度、随机化、推理时优化循环）使标准攻击失效却未必真正提升鲁棒性，因此主张对入榜模型施加限制。
   • 论文提出什么：RobustBench 基准，包括基于 AutoAttack 的标准化排行榜（120+ 模型）、统一接口的 Model Zoo（80+ 模型），以及基于所收集模型对分布偏移、校准、OOD 检测、公平性、隐私泄漏、平滑性和迁移性的分析。
   • 威胁模型：
     • 攻击者知识：fully white-box setting，模型对攻击者完全已知。
     • 扰动集合：l∞（CIFAR-10/100 上 ε∞=8/255，ImageNet 上 ε∞=4/255）与 l2（ε2=0.5）；阈值取自文献，保证扰动内真实标签不变。
     • common corruptions：无攻击者，按腐蚀类型与严重度平均的分类准确率评测。
     • 受害系统：满足三条限制（梯度非零、前向确定、无推理时优化循环）的图像分类器。

   收起这一问

2. 02有哪些相关研究？

   相关工作涵盖攻击库与竞赛、已有鲁棒性基准、自适应攻击建议及常用测试模型；作者称 RobustBench 与它们的区别在于标准化 worst-case 评测加限制。

   攻击库与竞赛

   • FoolBox、Cleverhans、AdverTorch、AdvBox、ART、SecML、DeepRobust 等库主要实现流行对抗攻击，部分含基础防御，但作者指出它们不包含最新的 SOTA 模型。
   • NeurIPS 2017/2018 两场对抗竞赛 [79, 10] 针对特定攻击寻找最鲁棒模型，但有截止日期，只能反映当时最佳防御。

   已有基准与排行榜

   • DEEPSEC（Ling et al.）测试多种攻击与防御组合；论文转述 Carlini 的批评：报告平均而非 worst-case、评测威胁模型与训练不一致、扰动过大。
   • RayS（Chen and Gu）是 hard-label 黑盒攻击并形成排行榜；作者指出其 robust accuracy 相比原始评测仍倾向高估。
   • Dong et al. 评测了少量防御（CIFAR-10 上 3 个 l∞、2 个 l2）；作者指出其未包含部分最佳防御与攻击、个别结果高于原论文，且不设模型限制。
   • RobustML 收集防御的鲁棒性声明与外部评测；作者指出其完全依赖社区提交、无基线攻击，提交不够频繁，无法提供最新全景。

   自适应攻击与标准测试模型

   • Athalye et al.、Carlini et al.、Tramèr et al. 等提出自适应攻击建议，并显示多个防御可被攻破；Tramèr et al. 观察到许多做过自适应评测的防御仍被新攻击打破。
   • 新攻击常在 Madry et al. 与 Zhang et al. 的公开模型上测试；作者指出每个数据集仅两个模型不构成足够大的测试床，且反复评测可能使攻击过拟合这两个防御。

   基线与评测方式：RobustBench 以 AutoAttack（Croce and Hein）为标准化评测攻击，含白盒与黑盒攻击；并欢迎自适应攻击等外部评测作为补充。

   作者定位：与上述基准相比，RobustBench 的特点是（1）用强攻击集成做 worst-case 基线评测并整合外部评测，（2）在 AutoAttack 中加入可靠性 flag，（3）威胁模型与训练时一致且定义清晰，（4）评测最新防御而不仅是标准防御，并开源 Model Zoo。

   收起这一问

3. 03论文如何解决这个问题？

   RobustBench 通过模型限制、AutoAttack 标准化评测、可靠性 flag 与 Model Zoo 四部分构成可持续更新的鲁棒性基准。

   整体思路：在明确威胁模型与模型限制下，用参数无关的攻击集成 AutoAttack 给出 robust accuracy 的上界，辅以 flag 机制与外部自适应评测修正，并以 Model Zoo 统一分发模型。框架名称为 RobustBench。

   问题设定与形式化

   • 对分类器 f 与扰动集合 ∆，成功对抗扰动 δ 满足 argmax_c f(x+δ)_c ≠ y 且 δ∈∆；robust accuracy 定义为对 ∆ 内所有扰动都预测正确的样本比例。
   • 精确计算不可行，基准只报告由攻击得到的上界，作者称上界通常比认证下界紧得多。
   • 威胁模型：fully white-box；CIFAR-10/100 上 ε∞=8/255、ε2=0.5，ImageNet 上 ε∞=4/255；common corruptions 按腐蚀类型与严重度取平均准确率。

   模型限制

   • 入榜分类器须满足：对输入梯度一般非零；前向传播完全确定；前向传播中无优化循环。
   • 作者给出的理由：违反这些限制的非认证防御往往只是让梯度攻击更难，而非真正提升鲁棒性，且缺乏可标准化的可靠评测；若未来出现可靠的标准化评测方法，将放宽限制。

   评测流程

   • l∞/l2 防御用 AutoAttack 评测：四个攻击顺序执行——自动调步长的 PGD（分别用交叉熵损失与 DLR 损失）、targeted FAB、黑盒 Square Attack；后续攻击只攻击前面未成功的点。
   • 选择理由（作者称）：同时含白盒与黑盒攻击、无需调超参，且几乎对所有模型都比原论文报告给出更低鲁棒准确率。
   • 标准化评测由基准方独立于模型作者运行以保证可复现；若有其他攻击给出更低 robust accuracy，排行榜单列 worst-case 结果。
   • 可靠性 flag：当 Square Attack 比 AutoAttack 中白盒梯度攻击多降低超过 0.2% robust accuracy 时输出警告，提示可能需要自适应攻击；另集成自动检测违反三条限制的 flag。

   新防御收录与 Model Zoo

   • 新条目须满足三条限制、有公开论文、分享模型 checkpoint；暂缺 checkpoint 可临时入榜但标记为 unverified，且可能被移除。
   • Model Zoo 收集排行榜模型的 checkpoint（经作者授权），目前只收 PyTorch 实现，均为 ResNet/WideResNet 变体；两行代码即可按标识加载模型。
   • 各数据集与威胁模型的模型数量见 Table 1（如 CIFAR-10 l∞：Model Zoo 39 个、排行榜 63 个）。

   成功判定与复现

   • 鲁棒性以 AutoAttack（或更低的外部评测）给出的 robust accuracy 上界为准；common corruptions 以平均准确率为准。
   • 附录 E 报告 AutoAttack 在四个随机种子下的波动与运行时长（Table 2），并固定 torch==1.7.1、torchvision==0.8.2 以保证 ImageNet 结果可复现。

   收起这一问

4. 04论文做了哪些实验？

   实验含 120+ 模型的排行榜评测、AutoAttack 复现性与 flag 案例，以及基于 Model Zoo 的分布偏移、校准、OOD、公平性、隐私、平滑性与迁移性分析。

   实验设置

   • 被测模型：排行榜共 120+ 模型（Table 1：CIFAR-10 l∞ 63 个、l2 18 个、corruptions 15 个；CIFAR-100 l∞ 14 个、corruptions 4 个；ImageNet l∞ 6 个、corruptions 7 个），架构为 ResNet/WideResNet 等变体；分析部分主要用 CIFAR-10 l∞ 模型。
   • 数据集：CIFAR-10、CIFAR-100、ImageNet（固定 5000 张验证子集）；分布偏移分析用 CIFAR-10-C、CIFAR-10.1、CINIC-10；OOD 检测用 CIFAR-100、SVHN、Describable Textures。
   • 评测方式：AutoAttack 集成（APGD-CE、APGD-DLR、targeted FAB、Square Attack）；公平性实验用 APGD-DLR（3 个目标类、各 20 次迭代），作者称与完整评测平均差小于 0.5%。
   • 指标：clean/robust accuracy、ECE（15 个等宽 bin，网格搜索温度 t∈[0.001,1.0] 步长 0.001）、AUROC、RSD、membership inference accuracy、local Lipschitz constant（N=256，PGD 50 步、步长 ε/5）。
   • 重复次数：复现性实验对 4 个模型各跑 4 个随机种子（Table 2）；迁移性实验用 10 步 PGD（步长 ε/4）与 FGSM 两种攻击。

   主结果

   排行榜主结果（CIFAR-10，据 Table 3、Table 4）：

   表格较宽，可左右滑动

   模型	l∞ clean	l∞ robust	l2 clean	l2 robust
   Rebuffi et al. (WRN-70-16, extra)	92.23	66.56	95.74	82.32
   Gowal et al. (WRN-70-16, extra)	91.10	65.87	94.74	80.53
   Rebuffi et al. (WRN-106-16)	88.50	64.58	未报告	未报告
   Rade and Moosavi-Dezfooli (WRN-34-10, extra)	91.47	62.83	未报告	未报告
   Carmon et al. (WRN-28-10, extra)	89.69	59.53	未报告	未报告
   Madry et al. (WRN-34-10)	87.14	44.04	未报告	未报告
   Xiao et al. (DenseNet-121)	79.28	7.15	未报告	未报告
   Standard (WRN-28-10)	94.78	0.0	94.78	0.00

   • 作者称 AutoAttack 几乎对所有模型都给出比原论文更低的 robust accuracy（Figure 2 中图），多个已发表防御的报告值被高估。
   • 作者观察到 l∞ 榜前列仍是 PGD 对抗训练的变体，辅以额外数据、early stopping、weight averaging 等改进；额外数据能缓解鲁棒性-准确率权衡，但高鲁棒模型的 clean accuracy 仍低于标准训练模型。
   • l2 榜上最佳模型的 standard accuracy 高于标准模型（95.74% 对 94.78%），robust accuracy 82.32% 对 0.00%（附录 F）。

   flag 机制与自适应评测案例

   • 测了什么：Xiao et al. 模型中黑盒 Square Attack 比白盒攻击多降超过 10 个百分点，触发 flag。
   • 结果：用 30 次随机重启（原为 1 次）的 Square Attack 自适应攻击，robust accuracy 从 AutoAttack 的 18.50% 降至 7.40%；原论文报告 52.4%。Table 3 中该模型列为 7.15%。
   • 作者解读：AutoAttack 未完全失效（已揭示低于报告值的鲁棒性），但精确值被高估；目前排行榜仅该模型被 flag。

   复现性与运行时长

   • 测了什么：4 个不同威胁模型/数据集的模型，各 4 个随机种子重复 AutoAttack（Table 2）。
   • 结果：Gowal et al.（CIFAR-10 l∞）62.82% ± 0.016，11.8 h；Rebuffi et al.（CIFAR-10 l2）78.80% ± 0.000，15.1 h；Wu et al.（CIFAR-100 l∞）28.84% ± 0.018，6.6 h；Salman et al.（ImageNet l∞）25.31% ± 0.010，1.6 h（单张 Tesla V100）。
   • 作者解读：不同种子结果非常接近；鲁棒性较低的模型评测更快（找到对抗样本后不再继续攻击）。

   基于 Model Zoo 的性质分析

   • 分布偏移：CIFAR-10 上 robust accuracy 的提升与 CIFAR-10-C/10.1/CINIC-10 上 standard accuracy 提升相关（Figure 3）；l2 鲁棒模型在 CIFAR-10-C 上提升明显；跨数据集的 robust accuracy 也呈正相关（Figure 10）。
   • 校准：多数 l∞ 鲁棒模型欠自信（最优温度小于 1）；未校准时 ECE 平均 21%，Pang et al. 模型高达 70%，标准模型为 4%；温度缩放缩小差距但未完全消除（Figure 4）。l2 模型中有两个校准更好：Engstrom et al. 1.41% 对标准模型 3.71%（未缩放），Gowal et al. 1.00% 对 1.11%（缩放后）（Figure 11）。
   • OOD 检测：l∞ 鲁棒训练相比标准训练降低 AUROC；额外数据在标准训练下有帮助、在鲁棒训练下无类似改进；l2 模型与标准模型大体相当，Augustin et al. 更好（Figure 5、12）。
   • 公平性：各类别 robust accuracy 差异大，l∞ 下 "deer" 类下降明显；平均 robust accuracy 越高 RSD 越低，但 MART 在约 57% 鲁棒性水平下 RSD 明显更高（Figure 6）。
   • 隐私泄漏：membership inference accuracy 在鲁棒模型间差异大，有的低于标准模型，与 robust accuracy 无强相关，主要由 generalization gap 决定；l2 模型高于 l∞ 模型（Figure 7、14、15）。

   其他消融与分析

   • 平滑性：标准模型在各层 local Lipschitz constant 最高，鲁棒模型更平滑；输出层 Lipschitz 常数与 robust accuracy 呈明显关系（Figure 16、17）。
   • 迁移性：对抗样本在鲁棒→鲁棒、非鲁棒→鲁棒、非鲁棒→非鲁棒间迁移强，鲁棒→非鲁棒迁移弱，l∞ 与 l2 下均成立（Figure 18、19）。
   • ImageNet 预处理：不同 PyTorch/torchvision 版本可使 standard accuracy 相差至多 0.16%（5000 点），故固定版本（附录 E）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出限制带来的潜在偏见、威胁模型代表性不足等局限，并计划扩展新威胁模型与任务；实验目前限于图像分类三个数据集。

   作者指出的局限与后续方向

   • 限制可能带来社区偏见、抑制某些方向的研究；作者称没有这些限制就无法可靠评测，正努力尽量放宽（附录 A）。
   • 基准上的好表现不保证真实部署中的安全，l_p 与 corruption 鲁棒性可能不足以代表所有现实威胁模型（Sec. 5、附录 A）。
   • common corruptions 是人工生成的，可能与真实世界腐蚀不同（附录 A）。
   • 未来计划：保持排行榜更新，并增加新数据集与新威胁模型，候选包括稀疏扰动（l0/l1、对抗补丁）、多 l_p 范数扰动、对抗优化的 common corruptions、训练时未见的扰动集合（Sec. 5）。
   • 另一方向是为基于 test-time adaptation 的防御（不满足"无优化循环"限制）发展标准化评测（Sec. 5）。
   • 作者认为基准的结构与原则可推广到图像分割、图像检索、自然语言处理、恶意软件检测等任务与领域，并欢迎各社区贡献（Sec. 5）。

   实验覆盖范围

   • 被测模型为排行榜上 120+ 个图像分类模型，架构为 ResNet/WideResNet 等变体，Model Zoo 收录其中 80+ 个（Table 1）。
   • 数据集为 CIFAR-10、CIFAR-100、ImageNet（固定 5000 张验证子集）；威胁模型为 l∞、l2 与 common corruptions。
   • 性质分析（校准、OOD、公平性、隐私、平滑性、迁移性）主要在 CIFAR-10 的 l∞ 模型上进行，l2 与 CIFAR-100 的部分结果在附录 F。
   • 复现性实验覆盖 4 个模型 × 4 个随机种子（Table 2）；公平性实验用缩减预算的 APGD-DLR（3 目标类 × 20 迭代）。
   • 论文未报告排行榜各模型评测的总查询次数；迁移性实验只用 PGD-10 与 FGSM 两种攻击生成对抗样本。

   收起这一问

6. 06总结一下论文的主要内容

   RobustBench 是带模型限制与 AutoAttack 标准化评测的对抗鲁棒性基准，含 120+ 模型排行榜、80+ 模型 Model Zoo 及多维性质分析。

   RobustBench 是一个图像分类对抗鲁棒性标准化基准，目标是解决鲁棒性评测易错、防御进展难以比较的问题。

   • 要解决的问题：作者称许多防御只是让常用攻击高估鲁棒性；精确评测不可行，认证下界又过松，因此需要可靠的上界评测与明确的威胁模型。
   • 方法要点：入榜模型须梯度非零、前向确定、无推理时优化循环；用 AutoAttack（APGD-CE、APGD-DLR、FAB、Square Attack 顺序集成）在 fully white-box 设定下评测 l∞（8/255，ImageNet 4/255）与 l2（0.5），并设 flag 提示黑盒攻击明显优于白盒时可能高估；Model Zoo 统一提供 80+ 模型。
   • 主要结果：排行榜收录 120+ 模型；CIFAR-10 l∞ 榜首 Rebuffi et al. robust accuracy 66.56%，l2 榜首 82.32%（Table 3、4）；作者称 AutoAttack 几乎对所有模型都低于原论文报告值；被 flag 的 Xiao et al. 模型经 30 次重启 Square Attack 从 18.50% 降至 7.40%；四个随机种子下 AutoAttack 波动不超过 ±0.018（Table 2）。
   • 分析发现：作者称多数 l∞ 鲁棒模型欠自信、校准更差（未校准 ECE 平均 21%，标准模型 4%）；鲁棒训练降低 OOD 检测；隐私泄漏与鲁棒性无强相关、主要由 generalization gap 决定；鲁棒模型更平滑；对抗样本从鲁棒到非鲁棒模型迁移弱。
   • 作者结论：标准化基准加 flag 与自适应补充评测能在有限资源下给出尽可能准确的鲁棒性评估；同时提醒基准表现好不代表真实部署安全，并计划扩展到新威胁模型、新任务与 test-time 防御的标准化评测。

   收起这一问

相关论文