研究者提出最小范数攻击集成，用鲁棒性曲线替代单一 ε 评测

固定 ε 与预定攻击集成的鲁棒评测，可能因曲线形状改变排序，也给不出离经验最坏情况的距离，还不能按查询预算调节强度。

• 部署场景： 作者认为，测量 DNN 对对抗扰动有多鲁棒，对部署很关键。常用指标是鲁棒准确率：在指定 ℓp 与最大扰动 ε 下仍分类正确的输入比例。作者称 RobustBench 用固定的四攻击集成 AutoAttack（AA）给鲁棒模型排序。
• 作者列出的不足： 鲁棒性是曲线不是单点；曲线可以相交或以不同速率衰减（Figure 1 为两条假想曲线），单一 ε 的排序会变。只评部分范数会加重该问题：对稠密扰动（ℓ2、ℓ∞）较鲁棒的模型，对稀疏扰动（ℓ0、ℓ1）可能弱得多，而作者称现有基准不覆盖稀疏扰动。AA 没有工具检查其鲁棒准确率离经验最优（纳入 AA 之外的攻击）有多近，高分可能来自强防御或弱攻击。固定流水线也不能改攻击或其相对成本。
• 评测所假设的攻击： 池内是白盒、基于梯度的最小范数攻击，目标是无目标误分类，不指定错误类；代价以对目标模型的前向与反向次数计。被评系统是 CIFAR-10 与 ImageNet 上的分类器。
• 作者的做法： 用 ℓ0、ℓ1、ℓ2、ℓ∞ 上的最小范数攻击池定义攻击前沿，即该池对一个模型能给出的最坏情况鲁棒估计；把评测写成在可控查询预算下逼近这条前沿。再定义防御前沿与 Defense Optimality Index（DOI），按整条曲线到防御前沿的差距排序，而不必选定参考 ε。

固定 ε 的集成评测

• Carlini 等（2019）： 指出固定 ε 评测很脆弱，可能把攻击失败当成真鲁棒，并主张在多个扰动预算上测试、按防御特性调整攻击。作者在实验中给出固定 ε 排序随预算变化的结果。
• AutoAttack（Croce 与 Hein，2020）： 由 APGD-CE、APGD-DLR、FAB、Square 组成的固定、无参数集成，被作者称为鲁棒基准的事实标准。Section 6 把“不覆盖评测算法最优性”说成这一组方法的共同情况。
• Adaptive-AA、Sparse-AA、AutoAE： Yao 等（2021）自动调节 AA 超参；Zhong 等（2024）把固定集成用于分组通道约束下的像素级 ℓ0；Liu 等（2023）的 AutoAE 在单一固定 ε 上贪心分配迭代。作者指出 AutoAE 因此不延伸到曲线评测。

完整曲线

• 曲线而非单点： Biggio 与 Roli（2018）、Carlini 等（2019）、Göpfert 等（2019）、Risse 等（2021）被作者在背景中当作应驱动评测的工具；作者称最佳实践长期建议报告完整的鲁棒–扰动曲线，但当前基准仍在单一、任意的 ε 上评测。

鲁棒基准与攻击最优性

• RobustBench（Croce 等，2021）： 在 ℓ2、ℓ∞ 的固定预算上用 AA 维护鲁棒准确率排行榜。论文把它作为固定流水线评测的对照。

• Guo 等（2023）： 提出含 23 个数据与模型导向指标的多视角评测，指标包括测试样本完整性、模型结构和对抗行为。作者指出它与 AttackBench 都没有给出组合攻击的方法。

• AttackBench（Cinà 等，2025）： 用 Attack Optimality Index（AOI）衡量单个攻击离池内最小可达扰动有多近。作者在 Section 2.2 指出其两点限制：攻击被单独评估，且每个攻击被分配同一固定查询预算。

• 基线与数据： 对照是 AA。模型来自 RobustBench 及原始来源，数据为 CIFAR-10 与 ImageNet。AA 参考 ε：CIFAR-10 上 ℓ1 为 12、ℓ2 为 0.5、ℓ∞ 为 8/255；ImageNet 上 ℓ1 为 40、ℓ2 为 3.0、ℓ∞ 为 4/255。ℓ0 没有 AA 基线。

作者在结论中称，该工作把基于曲线、考虑最优性且可配置的评测，定位为固定 ε 排行榜的一种可用替代。

整体做法是：用一个最小范数攻击池估计每条鲁棒–扰动曲线，再在总查询预算下选出逼近攻击前沿的子集；防御侧用 DOI 比较各模型曲线与防御前沿的面积差。

曲线与最小范数攻击

• 曲线： 对分类器 fθ，理想曲线 ρ⋆(ε; fθ) 是数据集上最小误分类扰动的 ℓp 范数仍大于 ε 的样本比例，p 取 0、1、2、∞。经验曲线用攻击返回的距离 d 代替该最小范数，因而只是估计。
• 攻击目标： 最小范数攻击寻找使预测类改变、且 x+δ 仍在输入域内的最小扰动。无目标形式只要求误分类，不指定结果类；目标形式把优化导向某个 t≠y，但产生的任何误分类仍算有效解。
• 上界： 迭代梯度求解器返回的距离上界真实最小范数。论文未给出闭式解。

攻击前沿与 AOI

• 前沿： 给定攻击池 A 与查询预算 Q，逐样本前沿距离是池内各攻击距离的最小。对应曲线是该池能给出的最紧经验曲线。
• AOI： 单次攻击的 AUREC 是其曲线从 0 积到前沿鲁棒准确率降为 0 的 εmin。单模型 AOI 为

AOI(a,f_θ)=(ρ(0;f_θ)ε_min(f_θ)−AUREC_a(f_θ))/(ρ(0;f_θ)ε_min(f_θ)−AUREC_a^⋆(f_θ)) 即相对经验前沿的归一化面积差，取值在 0 到 1，仅当两条曲线在该区间重合时为 1。全局 AOI 是模型集合上的平均。更强攻击的 AUREC 更小。

贪心预算分配

• 决策变量： 集成由向量 q 指定，qa 是分给攻击 a 的查询数；查询是前向与反向次数之和。单攻击上限为 T，总预算为 Q。纳入集成的是 qa>0 的攻击。全池都跑到 T 时 AOI 按构造为 1，但是参考上界，实用预算下一般达不到。
• 约束 C： 对第 k 个最可能错误类的目标运行，查询数不能超过第 k−1 类；随机重启只有在对应的无目标基运行已激活时才能获得查询。
• 算法： Algorithm 1 从空分配开始。候选更新把某个攻击的预算提到网格 S 上的更大值，增益是 AOI 增量除以新增查询，以偏向省查询的改进。每步取可行集中单位增益最大且增益为正的更新，直到预算用尽或没有正增益。因为分配只增不减，可在 4k、8k、12k 记下嵌套集成。

攻击池与 APGDmin

• 池： Table 2 列入 PDPGD（四范数）、PDGD（ℓ2）、FMN（四范数）、APGDmin（ℓ1、ℓ2、ℓ∞）、Alma（ℓ1、ℓ2）、DDN（ℓ2）、σ-zero（ℓ0）。除 Alma、DDN 外，表中重启数为 5；各求解器都原生支持目标搜索。基线求解器用默认超参；ℓ0 的 PDPGD 把硬阈值换成 ℓ2/3 凹代理的闭式近端算子。
• APGDmin： 作者给出的最小范数版 APGD，一次运行里搜索小扰动，而不是在多个半径上重复调用定点攻击。它保留投影梯度更新，但按样本调整半径 εt：用对偶范数梯度做一阶边界估计来初始化；沿用 FMN，成功迭代后把半径收到当前最佳扰动范数，否则扩大。更新率用余弦衰减，步长随半径比缩放，检查点把步长减半并从最佳对抗样本重启。ℓ2、ℓ∞ 仅有这些改动；ℓ1 还保留 ℓ1-APGD 的稀疏符号方向、无动量更新、到 ℓ1 球与输入域交集的精确投影，以及稀疏比检查点。
• 运行设置： 无目标运行种子 42；另对置信度最高的 9 个错误类做目标运行，仍以无目标误分类为成功；5 次 ℓp 球随机初始化，种子 43–47。每攻击最多 500 步，对应 T=1000 次查询，每 10 次查询记录距离。候选预算 S 为 100 到 1000、步长 100。

防御前沿与 DOI

• 防御前沿： 集成在每个样本上给出距离后，跨模型集合取最大，得到一个“用最大的最小范数扰动使该样本误分类”的经验上界模型。其曲线由同一指示函数得到，积分上界 εdef 对集合内每个模型相同。
• DOI：

DOI(f_θ)=(AUREC_E(f_θ))/(AUREC^⋆_def) 取值在 0 到 1，仅当该模型曲线与防御前沿在 [0, εdef] 上重合时为 1；更低表示离集合内可达到的最高经验鲁棒性更远。作者写明它相对于池、范数、集成强度和模型多样性，是经验量。

实验设置

• 模型与划分： Table 1 的 30 个鲁棒模型：CIFAR-10 的 C1–C20，ImageNet 的 I1–I10，来自 RobustBench 及原始来源。seed 0 分层划分：17 个训练（CIFAR-10 12 个、ImageNet 5 个），13 个留出（C3、C4、C6、C10、C12、C16、C18、C19 与 I3、I6、I8、I9、I10）。集成在训练池上构造，在留出集上测试。
• 数据与范数： 每个模型–范数对使用固定的 1000 样本验证子集。范数为 ℓ0、ℓ1、ℓ2、ℓ∞。对抗训练所用范数因模型而异，见 Table 1；ImageNet 十个模型的训练范数均为 ℓ∞。
• 预算与池： 查询档 Q 为 4k、8k、12k，集成嵌套。攻击池与 APGDmin、500 步、T=1000、重启与目标运行见第 3 问。硬件为一张 NVIDIA H100 NVL（94 GB）。
• 指标： 逐模型 AOI；标准 AA 参考 ε 上的鲁棒准确率 ρ(εref)；用 E12k 对全部 30 个模型计算 DOI。CIFAR-10 的 εref 为 ℓ1=12、ℓ2=0.5、ℓ∞=8/255；ImageNet 为 40、3.0、4/255。
• AA 如何进入 AOI： AA 只在单一 ε 报告鲁棒准确率，不返回逐样本最小范数，不能直接算 AOI。作者在由攻击前沿得到的 9 个距离分位数加 εref 上跑 AA，再线性插值重建曲线并计算 AOI。AA 的实际查询数 QAA 随模型变化，见 Table 6。
• 成功判定： 模型预测类改变即误分类；曲线用距离是否大于 ε 的指示函数。论文未写独立评审模型或人工一致性。

主结果

下表为留出集、Q=12k 的 AOI（%），据 Table 4。13 个留出模型中列入 E12k AOI 最低的 I3，以及至少在一个范数上低于 AA 的 C16、C18、I6、I8，并保留 C6、C10、I9。省略 C3、C4、C12、C19、I10；训练模型见 Table 4 上半。

表格较宽，可左右滑动

模型	ℓ1：AA / E12k	ℓ2：AA / E12k	ℓ∞：AA / E12k
C6	97.33 / 99.00	97.19 / 99.69	99.46 / 99.63
C10	97.53 / 98.77	96.61 / 99.80	99.00 / 99.78
C16	99.22 / 99.22	99.99 / 99.95	99.52 / 99.87
C18	98.17 / 98.78	98.01 / 99.69	99.65 / 99.62
I3	96.26 / 98.31	93.67 / 98.42	98.31 / 99.12
I6	98.36 / 99.04	96.80 / 99.52	99.55 / 99.37
I8	98.38 / 99.04	96.82 / 99.64	99.56 / 99.50
I9	97.93 / 98.83	95.60 / 99.21	98.29 / 99.24

• 作者对留出 AOI 的概括： Section 5.2 称，Q=12k 时集成的 AOI 在 ℓ1 上 13/13、ℓ2 上 12/13、ℓ∞ 上 10/13 不低于 AA，且三范数上均值更高、波动更低。引言称 ℓ1 从 Q=4k 的 8/13 升到 12k 的 13/13，ℓ2 在 4k 已是 12/13。Table 4 中 ℓ2 的例外是 C16（AA 99.99，E12k 99.95）；ℓ∞ 在 12k 低于 AA 的是 C18、I6、I8。
• 预算增大： 留出集平均 AOI 从 4k 到 12k，ℓ1 为 97.83±0.53 到 98.94±0.23（+1.12），ℓ2 为 98.83±0.71 到 99.56±0.37（+0.73），ℓ∞ 为 99.29±0.39 到 99.57±0.21（+0.28）。作者认为 ℓ∞ 增益最小，可能是因为所研究防御里 ℓ∞ 更常见，低预算已接近饱和；并称 ℓ2 仍保持相对 AA 的最大差距。
• 迁移： Figure 2 中训练（蓝）与留出（红）的平均 AOI 随 Q 上升，作者称四范数、三档上两条曲线最大差距低于 0.4 个百分点，并称贪心分配泛化到未见防御、没有明显过拟合。

参考 ε 上的鲁棒准确率

• 测了什么： Table 6 比较 ρ(εref)，不是整条曲线的 AOI。作者写明分配目标是训练模型上的曲线 AOI，不是专门优化 εref，低预算时这一点不利于其集成。
• 留出集： ℓ2 在每一档都是 13/13 不低于 AA（鲁棒准确率更低或相等算更强），12k 的平均改进为 1.5±1.6 个百分点。ℓ1 在 8k 为 7/13、12k 为 10/13，12k 平均改进 0.6±0.7 个百分点。ℓ∞ 在 8k 与 12k 都是 5/13，12k 平均差为 −0.2±0.3，方向利于 AA。
• 全池与查询： 30 个模型、12k 时，不低于 AA 的数量为 ℓ2 的 29、ℓ1 的 20、ℓ∞ 的 13。留出模型–范数对为 28/39，全池为 62/90。留出集上 AA 的 QAA 范围为 ℓ1 的 219–3682、ℓ2 的 372–7006、ℓ∞ 的 192–6691；Table 6 中最大 QAA 为训练模型 C11 在 ℓ2 上的 7566。作者称其集成用预定的 Q。

排序不稳定与曲线交叉

• 交叉： Figure 4 给出两对在 AA 参考 ε 之后才反序的防御：CIFAR-10 的 ℓ2 上为 C9/C19（虚线 εref=0.5），ImageNet 的 ℓ∞ 上为 I1/I3（虚线 εref=4/255），作者称后者是观察到的唯一 ℓ∞ 情形。作者称参考点上的领先不必代表整条曲线上的相对鲁棒性。
• 名次： Figure 5 在一组扰动预算上重算 AA 排序。作者称 CIFAR-10 的 ℓ2 上有 17 个防御至少移动 5 个名次；ImageNet 的 ℓ∞ 上 10 个模型都至少移动 2 个名次。图中坐标经文本抽取后与正文不完全对齐，名次结论以正文为准。
• 曲线个例： Figure 3 把 I3 的 ℓ2 标为最好情况、I6 的 ℓ∞ 标为最坏情况。作者称集成在 I3 上优于 AA，在 I6 上仍有竞争力。图中曲线端点数值文本未完整保留，不转写。

DOI 与跨范数不对称

• 排序： Table 7 用 4k、8k、12k 的集成计算 DOI（公式在 [0,1]，表中数值为 1.3–87.8 这一量级，表题未标百分号）。作者称八个（范数，数据集）组合中有六个在三档上严格序不变；CIFAR-10 的 ℓ1 只在 4k 有 C19/C20 并列，ℓ0 在 4k 有局部换位、到 8k 解消。作者称这是经验稳定性而不是保证，因为前沿和 DOI 会随查询预算变化，ℓ0 上已能看到。
• 跨范数： 作者称 C6（ℓ∞ 训练）在 ℓ∞ 上排第一，在其他范数落入后一半；C15、C16（ℓ0 训练）相反；C8（ℓ1 训练）在 ℓ0、ℓ1、ℓ2 接近前列，在 ℓ∞ 接近末尾。C11 在 ℓ0 排第五，在 ℓ1、ℓ2 进入前二；C10 在 ℓ0 排第 19，在 ℓ∞ 排第 9。C9 在 ℓ1、ℓ2、ℓ∞ 的并集上训练，ℓ0、ℓ1 接近前列，ℓ∞ 排第 15。
• ImageNet： 作者称 I4、I9、I10 在四范数上都接近前列；I2、I3、I4、I9、I10 在 ℓ0、ℓ1、ℓ2 上构成前一半。作者称这些模式也可见于 Figure 6；图注写 30 条 E12k 曲线按 DOI 着色，红色虚线为防御前沿。图中曲线高低文本未保留。

其他消融与分析

• ℓ0： Table 5 无 AA 基线；留出集 12k 的 AOI 为 98.1–99.8，最低为 C16 的 98.1。
• 集成构成（Table 3）： ℓ0 以 σ-zero 为主，辅以较小的 PDPGD 与 FMN；ℓ1 主要是两种损失的 APGDmin 基运行与重启；ℓ2 以 PDGD 的重启和目标运行为主，辅以 Alma 与 APGDmin；ℓ∞ 集中在 APGDmin 与 PDPGD 重启，另有一次 FMN 基运行。
• 提前拒绝： Section 5.3 称距离上界真实最小扰动，从 4k 增到 12k 只能使候选曲线下移或不变。作者称 Figure 7 中，ℓ∞ 上 C9 的 E4k 曲线已整体低于 C6 的 E12k 曲线，因此不必再花剩余 8k 查询。
• AUREC 比较： 作者称若候选在 4k 的 AUREC 已远小于参照在 12k 的 AUREC，也可丢弃；但 AUREC 是全扰动范围的平均，不显示小扰动与大扰动处谁更鲁棒。
• I10： 脚注称标准 AA 以及 ℓ1、ℓ2 的 ablation grid 上，I10 的 batch size 降为 100。正文未给出该消融的数值表。

作者指出的局限与后续方向

• 前沿与 DOI 相对于池（Section 7）： 作者写明评测是基于池的，前沿是经验估计，DOI 相对于共享防御池。作者称缓解办法是固定并发布参考池，使新防御对着同一前沿排序。
• 离线轨迹成本（Section 7）： 构造前沿要为参考模型上的每个攻击预先计算距离–查询轨迹，这项离线成本不受 Q 控制。作者称缓存轨迹可使扩展变成增量的，新增攻击只需它自己的运行；从已有运行热启动会进一步降低该成本。
• 只有白盒梯度攻击（Section 7）： 作者写明池中只有白盒、基于梯度的攻击，因此依赖梯度混淆或不可微组件的防御不会被如实评估。作者称 min-composition 只消费逐样本距离，黑盒攻击以及语义或补丁类扰动可以加入池，代价只是推广查询的计量单位。

实验覆盖范围

• 模型与样本： Section 5.1 与 Table 1 覆盖 CIFAR-10 上 20 个、ImageNet 上 10 个鲁棒分类器；每个模型–范数对使用固定的 1000 样本验证子集。
• 划分与预算： 集成在 seed 0 的 17 个训练模型上构造，AOI 在 13 个留出模型上报告；查询档为 4k、8k、12k。论文未报告该划分之外的重复次数。
• 范数与基线： AOI 与 ρ(εref) 相对 AA 的比较覆盖 ℓ1、ℓ2、ℓ∞；ℓ0 只报告集成 AOI，论文写明没有 AA 基线。AA 的 AOI 来自分位数网格加线性插值，不是原生最小范数曲线（Section 5.1）。
• 攻击池： Table 2 的求解器加上 APGDmin；每攻击最多 500 步、T=1000。结论写明这些是白盒梯度攻击。DOI 在四个范数、两个数据集、三档预算上计算（Table 7）。
• 运行环境： 实验在一张 NVIDIA H100 NVL（94 GB）上运行。脚注提到 I10 的 ablation grid，正文未报告其数值。

这篇工作把对抗鲁棒评测从单一 ε、固定集成，改成可按查询预算收紧的曲线估计。

• 问题： 鲁棒准确率随 ε 变化的曲线可能相交或衰减速率不同，单一参考 ε 的名次会变；AA 这类固定集成不报告离攻击池经验最坏情况的差距，也不能在小预算下给出近似、在大预算下继续收紧。
• 方法： 攻击前沿是最小范数攻击池在每个样本上的最小扰动距离所对应的鲁棒曲线。贪心算法按单位新增查询带来的 AOI 增益分配预算，得到嵌套的 4k、8k、12k 集成，池中包括作者给出的 APGDmin。防御前沿取模型集合在每个样本上的最大最小距离；DOI 是该模型曲线面积与防御前沿面积之比，用于不选定参考 ε 的排序。
• AOI： 30 个模型来自 CIFAR-10 与 ImageNet，每模型–范数 1000 样本；集成在 17 个训练模型上构造，在 13 个留出模型上测试。ℓ2 在 Q=4k 已有 12/13 的 AOI 不低于 AA；Q=12k 时 ℓ1 为 13/13、ℓ2 为 12/13、ℓ∞ 为 10/13。Table 4 中 ℓ2 的例外是 C16，ℓ∞ 在 12k 低于 AA 的是 C18、I6、I8。留出与训练曲线的 AOI 差距，作者称低于 0.4 个百分点（Figure 2）。
• 参考点与名次： 在 AA 的 εref 上，留出集 ℓ2 的 12k 鲁棒准确率平均比 AA 低 1.5±1.6 个百分点；ℓ∞ 平均差为 −0.2±0.3，方向利于 AA。CIFAR-10 的 ℓ2 上有 17 个防御的 AA 名次至少移动 5 位；ImageNet 的 ℓ∞ 上 10 个模型都至少移动 2 位。
• 作者结论： 作者认为 DOI 给出不依赖单一 ε 的排序，嵌套预算把查询成本与前沿逼近程度分开；并认为该框架可作为固定 ε 排行榜的替代。作者同时写明前沿与 DOI 相对于防御池，构造前沿有不受 Q 控制的离线成本，且当前池只有白盒梯度攻击。