带拒绝选项的分层对抗鲁棒性
Stratified Adversarial Robustness with Rejection
作者提出分层拒识设定与防御 CPR,称在 CIFAR-10 上总鲁棒损失比基线至少降低 7.3%(seen 与 unseen 攻击)。
防御方视角:攻击者对测试输入施加 l∞ 范数有界扰动,seen 攻击预算等于训练预算 ε(MNIST 0.3,SVHN/CIFAR-10 8/255),unseen 攻击预算更大(MNIST 0.4,SVHN/CIFAR-10 16/255);攻击目标是让选择性分类器误分类或在小扰动上拒识;评测使用论文设计的自适应攻击(含 BPDA)集成。
- 带拒识的对抗鲁棒分类中,已有研究把拒识扰动输入当作零代价,模型可能拒识大量本可正确分类的微小扰动,而实际应用中拒识有代价。
- 作者提出分层拒识(stratified rejection)设定:拒识损失随扰动幅度单调不增;给出总鲁棒损失与鲁棒性曲线的理论分析,并提出防御 CPR——用 PGD 检查输入邻域内预测是否一致,不一致则拒识;同时设计自适应攻击做评测。
- 在 MNIST、SVHN、CIFAR-10 上,作者称 CPR 在多种拒识损失下的总鲁棒损失几乎总是最低,CIFAR-10 上 seen 与 unseen 攻击下至少降低 7.3%;例外是 MNIST ramp loss t=2 seen 攻击下 CPR 差于部分基线。
- 作者指出拒识损失只依赖扰动幅度、未考虑依赖输入的损失,且 CPR 测试时需 m 步 PGD、计算开销增加;实验仅在 MNIST/SVHN/CIFAR-10 与 l∞ 威胁模型上进行,每个实验只跑一次。
- 被测模型
- AT+CPR (Ours)TRADES+CPR (Ours)
- 基准
- MNISTSVHNCIFAR-10
- 指标
- total robust lossrobustness with rejection(robustness curve)robust accuracy with detectionrejection rateF1 score
研究者提出对抗训练防御方法 CPR,在分层拒绝设置下构建鲁棒的选择性分类器。论文指出既有研究通常把拒绝扰动输入的成本设为零,导致许多本可正确分类的轻微扰动输入被拒绝;分层拒绝设置将拒绝代价建模为随扰动幅度单调不增的损失函数,论文对其进行了理论分析。图像数据集实验显示,CPR 在强自适应攻击下显著优于现有方法,在 CIFAR-10 上对不同拒绝损失的总鲁棒损失至少降低 7.3%,在已见与未见攻击下均成立。
深度解读
这篇论文试图解决什么问题?
带拒识的对抗鲁棒分类中,已有工作把拒识扰动输入视为零代价,作者研究拒识代价随扰动幅度变化的设定。
核心问题:在带拒识(selective classification)的对抗鲁棒分类中,如何建模并利用“拒识代价随扰动幅度变化”这一现实约束,学到既少误分类又不过度拒识小扰动的鲁棒选择性分类器。
- 问题场景:作者以自动驾驶中的交通标志识别为例,拒识(abstain)虽比误分类安全,但会带来服务中断和人工干预的代价;已有研究(Laidlaw & Feizi 2019、Stutz et al. 2020、Tramèr 2022 等)把拒识任何扰动输入都当作不计入鲁棒错误的合法决策。
- 现有方法的不足:作者指出,零代价假设下训出的模型会拒识大量本可正确分类的微小扰动。例如 MNIST 上 ε=0.4 时,CCAT 对 99.30% 的测试点会拒识某些幅度仅 0.02 的扰动(正文第 1 节)。
- 核心观察:小扰动通常仍可正确分类,拒识它们应付出大代价;大扰动难以分类,拒识代价应更低。因此拒识损失应随扰动幅度单调不增(stratified rejection)。
- 论文的贡献:提出分层拒识设定与总鲁棒损失(total robust loss)、鲁棒性曲线(robustness curve)两个评测工具;给出理论分析(Theorem 1);提出防御方法 CPR(Adversarial Training with Consistent Prediction-based Rejection),并设计自适应攻击做评测。
- 威胁模型(防御方视角):
- 攻击者目标:让选择性分类器在扰动输入上误分类,或在微小扰动上触发拒识。
- 攻击者能力:对测试输入施加 l∞ 范数有界扰动;seen 攻击预算等于训练预算 ε,unseen 攻击预算更大。
- 受害系统:带拒识选项的图像分类器(MNIST/SVHN/CIFAR-10 上的 LeNet、ResNet-20)。
- 评测攻击:论文为 CPR 和各基线设计了基于 BPDA 的自适应攻击集成。
有哪些相关研究?
相关工作分三组:对抗训练及其瓶颈、(非对抗的)选择性分类、带拒识的对抗鲁棒分类;本文的差异在于显式建模拒识代价。
对抗鲁棒性与对抗训练
- Madry et al. (2018)、Zhang et al. (2019)——对抗训练(AT)与 TRADES,作者称这是提升对抗鲁棒性最有效的途径,但在复杂数据集上鲁棒错误仍不理想(论文引 RobustBench:CIFAR-10 上鲁棒测试准确率难以超过 67%)。
- Athalye et al. (2018)、Tramèr et al. (2020)——许多防御被强自适应攻击攻破;本文评测因此采用自适应攻击。
选择性分类(非对抗设定)
- Tax & Duin (2008)、Geifman & El-Yaniv (2019)、Charoenphakdee et al. (2021)、Cortes et al. (2016)——标准的带拒识选项分类(selective classification)已被广泛研究。
- Goldwasser et al. (2020)——转导(transductive)设定下带可证保证的选择性分类。
带拒识的对抗鲁棒分类
- Stutz et al. (2020)——CCAT:用标签平滑和置信度阈值做置信度校准的对抗训练,以泛化到未见攻击。
- Sheikholeslami et al. (2021)——RCD:改造认证防御机制,让分类器要么鲁棒分类要么检测出对抗样本。
- Pang et al. (2022)——ATRR:观察到预测置信度与真实置信度(T-Con)两个耦合指标可区分正确与误分类输入,学习修正置信度(R-Con)做拒识。
- Laidlaw & Feizi (2019)——CARL:联合学习分类器与输入空间上的拒识区域。
- Balcan et al. (2023)——在随机特征子空间威胁模型下,作者称不允许拒识的分类器可证地脆弱,允许拒识(如阈值化最近邻)可克服此类攻击。
基线与基准:实验对比的基线为 AT+CR、TRADES+CR、CCAT、RCD、ATRR;数据集为 MNIST、SVHN、CIFAR-10。
本文定位:作者指出已有工作把拒识扰动输入当作零损失,未探索拒识的代价;作者称自己是第一个在分层拒识(stratified-rejection)设定下研究带拒识的对抗鲁棒分类的工作。作者还指出 Laidlaw & Feizi (2019) 和 Tramèr (2022) 已提出用一致性检查拒识输入的想法,但作者称本文是第一个系统实现并评测此类防御、并为其设计强自适应攻击的工作。
论文如何解决这个问题?
提出分层拒识设定与总鲁棒损失、鲁棒性曲线两个工具,理论分析后给出防御 CPR:邻域预测不一致即拒识。
整体思路:把拒识代价建模为随扰动幅度单调不增的拒识损失函数,用鲁棒性曲线统一评测不同拒识损失下的表现;理论上构造“距决策边界近即拒识”的选择性分类器 fδ,并据此实现防御 CPR(Consistent Prediction-based Rejection)。
问题设定与形式化
- 选择性分类器 f : X → Y ∪ {⊥},⊥ 表示拒识。拒识损失 `rej(r) : [0,∞) → [0,1] 随扰动幅度 r 单调不增,拒识干净输入损失最大。
- 两个具体拒识损失:step rejection loss
rej(r) = 1{r ≤ α0ε}(Eq. 3);ramp rejection lossrej(r) = (1 − r/ε)^t(Eq. 4)。 - 总鲁棒损失(Definition 1):Lϵ(f; ℓrej) = E maxx′ ∈ N(x,ϵ) [1{f(x′) ∉ {y,⊥}} ∨ 1{f(x′)=⊥} ℓrej(d(x,x′))],即误分类损失与拒识损失取大者。
- 鲁棒性曲线(Definition 2):Rϵrej(f, α) 在 αε 邻域内把误分类和拒识都算作错误、在 ε 邻域内只把误分类算作错误;α=1 退化为标准鲁棒错误,α=0 退化为 Tramèr (2022) 的 robust error with detection。Lemma 1 给出总鲁棒损失可由该曲线积分算出。
理论分析(Section 3)
- Theorem 1(二分类):对任意无拒识分类器 f* 和 δ ∈ [0,1],构造 fδ 在距 f* 决策边界 δε 内拒识,其鲁棒错误曲线满足 R_ε^rej(fδ, α) ≤ R_ε'(f*),其中 ε' = max{(α+δ)ε, (1−δ)ε},且该界是紧的。
- 推论:当 α < 1−δ 时 fδ 不劣于 f*;α ≥ 1−δ 时可能更差,但在单调不增拒识损失下这部分只带来较低的拒识损失,因此总鲁棒损失可整体改善。Theorem 3(附录 B.4)给出更细的分析。
CPR 防御(Section 4.1,Algorithm 1)
- 机制:给定基座分类器 h(x; θ),对测试输入 x 用 m 步 PGD 在一致性半径 ε̃ 内找最坏扰动 T(x)(最大化对预测类的交叉熵);若 ŷ(T(x)) ≠ ŷ(x) 则拒识,否则接受并输出 ŷ(x)。
- 超参数:一致性半径 ε̃、PGD 步数 m、步长 η。ε̃ 取得使正确分类干净输入的拒识率约为用户指定的 prej(MNIST 上 ε̃=0.1、prej=1%、m=20、η=0.01;SVHN/CIFAR-10 上 ε̃=0.0055、prej=5%、m=10、η=0.001)。
- 基座模型可用 AT 或 TRADES 训练;作者称该防御与评测用的拒识损失无关,可泛化到多种拒识损失。
自适应攻击(Section 4.2、附录 E)
- 内部攻击(inner attack):在 αε 邻域内找被拒识的 x′,包括 LCIA(最小化置信度)、CLCIA(同时最小化 x′ 与 T(x′) 的置信度)、PDIA(多目标,让目标类在 x′ 上概率高、在 T(x′) 上概率低)。
- 外部攻击(outer attack):在 ε 邻域内找被接受且误分类的 x″,包括 CHCMOA(多目标,让目标类在 x″ 与 T(x″) 上都高置信)与 HCMOA。
- 依赖 T(x) 的攻击用 BPDA(straight-through 估计器)近似梯度;最终攻击是所有内外部攻击的集成,任一攻击成功即算成功。求解用带动量的 PGD:200 次迭代、5 次随机重启加 1 次零初始化,步长在 3 个候选值中取最坏。
论文做了哪些实验?
在 MNIST/SVHN/CIFAR-10 上评测总鲁棒损失与鲁棒性曲线,作者称 CPR 几乎总是最优,例外是 MNIST ramp loss t=2 的 seen 攻击。
实验设置
- 数据集:MNIST、SVHN、CIFAR-10;每个测试集 10,000 张图,前 1,000 张算鲁棒性、中间 9,000 张中的前 9,000 张算准确率、最后 1,000 张作验证集选超参(Section 5.1)。
- 模型与基线:MNIST 用 LeNet,SVHN/CIFAR-10 用 ResNet-20;基线为 AT+CR、TRADES+CR、CCAT、RCD、ATRR;CPR 变体为 AT+CPR、TRADES+CPR。
- 威胁模型:l∞ 攻击;seen 预算 MNIST ε=0.3、SVHN/CIFAR-10 ε=8/255;unseen 预算 MNIST 0.4、SVHN/CIFAR-10 16/255。
- 指标:总鲁棒损失(step loss α0 ∈ {0, 0.05, 0.1},ramp loss t ∈ {2, 4})、鲁棒性曲线(α ∈ {0, 0.01, 0.05, 0.1, 0.15, 0.2, 0.25, 0.3, 0.5, 1})、传统指标(Table 3)。
- 评测方式:对每个方法用对应的自适应攻击集成取最坏结果;所有实验以固定随机种子跑一次(附录 D)。
- 拒识阈值设定:所有方法统一,MNIST 上使仅 1% 正确分类的干净验证输入被拒识,SVHN/CIFAR-10 上为 5%。
主结果
总鲁棒损失(越低越好),据 Table 1,列出 step loss α0=0 与 ramp loss t=4 两列:
表格较宽,可左右滑动
数据集 方法 seen α0=0 seen t=4 unseen α0=0 unseen t=4 MNIST TRADES+CR 0.060 0.065 1.000 1.000 MNIST CCAT 0.168 0.894 0.245 0.914 MNIST AT+CPR 0.039 0.059 0.096 0.116 MNIST TRADES+CPR 0.042 0.058 0.133 0.145 SVHN TRADES+CR 0.471 0.473 0.874 0.874 SVHN TRADES+CPR 0.380 0.381 0.813 0.814 CIFAR-10 TRADES+CR 0.500 0.501 0.849 0.849 CIFAR-10 TRADES+CPR 0.429 0.430 0.781 0.782 (Table 1 还含 AT+CR、RCD、ATRR 三行及其余损失列,此处省略;完整表中 CPR 在几乎所有组合最低。)
- 作者称 CPR 在几乎所有情况下总鲁棒损失最低:unseen 攻击下至少降低 60.8%(MNIST)、6.6%(SVHN)、7.3%(CIFAR-10);seen 攻击下至少降低 18.0%(SVHN)、12.8%(CIFAR-10)。
- 例外:MNIST ramp loss t=2 的 seen 攻击下,CPR(AT+CPR 0.133、TRADES+CPR 0.130)差于 TRADES+CR(0.075)等基线;作者解释为 MNIST 小扰动易正确分类、ramp loss 更惩罚拒识大扰动,而 CPR 倾向拒识大扰动。
- 鲁棒性曲线(Figure 2、附录 Figure 3):作者称 CPR 在小到中等 α 上明显高于基线,仅在大 α 处下降;作者称这与理论预测一致。
传统指标评测(Table 3)
- 测了什么:干净输入上的准确率、拒识率、F1,以及 robust accuracy with detection(seen/unseen)。
- 结果:作者称 CPR 在干净输入上与基线相当,在 robust accuracy with detection 上明显更高。例如 MNIST unseen 攻击下 AT+CPR 为 90.40、TRADES+CPR 为 86.70,而 AT+CR、TRADES+CR、RCD、ATRR 均为 0.00,CCAT 为 75.50(%)。
- CIFAR-10 unseen 攻击下 TRADES+CPR 为 21.90,为全表最高(%)。
攻击消融(Table 2)
- 测了什么:CPR 各内外部攻击的强度(数值越小攻击越强)。
- 结果:外部攻击中 CHCMOA 在所有数据集上最强(如 MNIST AT+CPR 96.10,对比 AutoAttack 97.60、HCMOA 97.80);内部攻击中 LCIA 通常最强,CLCIA 与 PDIA 在 MNIST 上更强(MNIST TRADES+CPR:LCIA 7.60、CLCIA 5.10、PDIA 0.40)。
- 作者强调最终评测用所有攻击的集成。
其他消融与分析
- 超参 ε̃ 与 m(附录 F.5,Figure 5、6):更大的 ε̃ 或 m 提升 α=0 处的鲁棒性,但降低大 α 处的鲁棒性;m 增大后提升变小,主实验取 m=10(MNIST m=20)。
- CPR 与不拒识的 AT 对比(附录 F.4,Figure 4):作者称 AT+CPR 通常优于不拒识的 AT,unseen 攻击下更明显;seen 攻击下大 α 处不拒识的 AT 更好。
- CCAT 攻击强度(附录 F.7,Table 5):HCMOA 比 CCAT 原文的 PGD-with-backtracking 更强,如 CIFAR-10 unseen 攻击下 robustness with detection 从 38.20 降到 8.80(%)。
- 更多拒识损失(附录 F.3,Table 4):step loss α0 ∈ {0.01, 0.15, 0.2} 与 ramp loss t ∈ {1, 3} 上结论与主文一致。
有什么可以进一步探索的点?
作者指出拒识损失形式与测试时计算开销两个局限及对应方向;实验限于三个图像数据集与 l∞ 威胁模型。
作者指出的局限与后续方向
- 拒识损失只依赖扰动幅度(Section 6 Limitations & Future Work):本文只考虑
rej(r) 形式的损失,未考虑也依赖输入 x 的损失(如rej(r, x));作者称处理更一般的拒识损失是有趣的未来问题。 - 测试时计算开销增加(Section 6):CPR 预测时需 m 步 PGD 计算 T(x),即在两次前向传播之外还需 m 次前向和反向传播;作者称设计计算开销更低、鲁棒性更好的防御是未来方向。
实验覆盖范围
- 被测模型为 LeNet(MNIST)与 ResNet-20(SVHN、CIFAR-10)两种架构,数据集为 MNIST、SVHN、CIFAR-10 共三个(Section 5.1、附录 D)。
- 威胁模型仅覆盖 l∞ 范数有界攻击,seen 预算为训练预算、unseen 预算为其约 1.3–2 倍(MNIST 0.3→0.4,SVHN/CIFAR-10 8/255→16/255)(Section 5.1)。
- 对比基线为 AT+CR、TRADES+CR、CCAT、RCD、ATRR 共 5 个;CPR 只与 AT、TRADES 两种基座训练方法组合(Section 5.1)。
- 鲁棒性在测试集前 1,000 张图像上计算,所有实验以固定随机种子只跑一次(附录 D);论文未报告多次运行的方差。
- 理论部分(Theorem 1、3)只覆盖二分类情形(Section 3、附录 B)。
- 拒识损失只依赖扰动幅度(Section 6 Limitations & Future Work):本文只考虑
总结一下论文的主要内容
分层拒识设定+总鲁棒损失与鲁棒性曲线+防御 CPR;作者称 CPR 在三个数据集上几乎总是最优。
一篇关于带拒识的对抗鲁棒分类的防御论文(ICML 2023)。
- 问题:已有带拒识的对抗鲁棒研究把拒识扰动输入当作零代价,导致模型拒识大量本可正确分类的微小扰动;例如 MNIST ε=0.4 时 CCAT 对 99.30% 的测试点会拒识某些 0.02 幅度内的扰动。
- 方法:提出分层拒识设定,拒识损失随扰动幅度单调不增;定义总鲁棒损失与鲁棒性曲线(α=1 退化为标准鲁棒错误,α=0 退化为 robust error with detection);理论上构造边界附近拒识的 fδ 并给出紧的误差界(Theorem 1);据此实现 CPR——用 m 步 PGD 检查输入邻域内预测一致性,不一致即拒识,可套在 AT 或 TRADES 基座上;评测用专门设计的 BPDA 自适应攻击集成。
- 主结果(Table 1):作者称 CPR 的总鲁棒损失在几乎所有数据集 × 拒识损失 × 攻击组合中最低;unseen 攻击下至少降低 60.8%(MNIST)、6.6%(SVHN)、7.3%(CIFAR-10),seen 攻击下至少降低 18.0%(SVHN)、12.8%(CIFAR-10)。例外是 MNIST ramp loss t=2 的 seen 攻击,CPR 差于 TRADES+CR 等基线。
- 传统指标(Table 3):作者称 CPR 干净输入表现与基线相当,robust accuracy with detection 明显更高,如 MNIST unseen 攻击下 AT+CPR 90.40 对 CCAT 75.50、其余基线 0.00(%)。
- 作者的结论:在拒识有代价的现实设定下,CPR 在强自适应攻击下优于已有方法,且可与不同对抗训练方法结合;作者同时指出拒识损失形式更一般化与测试时 PGD 开销是后续方向。