恰当的网络可解释性有助于分类中的对抗鲁棒性

1. 01这篇论文试图解决什么问题？

   作者研究解释差异度量如何影响 ISA 的难度，并提出仅靠鲁棒解释的正则化防御。

   核心问题：对抗样本能否在欺骗分类器的同时躲过网络解释检查？解释鲁棒性与分类鲁棒性究竟是什么关系，能否用“鲁棒的解释”直接换来“鲁棒的分类”。

   • 问题场景：CNN 易受对抗样本攻击；Xu et al. (2019b;a) 称对抗扰动会引起解释图差异，可用于区分对抗样本；而 Zhang et al. (2018)、Subramanya et al. (2018) 称解释偷渡攻击（ISA，误分类同时保持解释图相似）并不更难。作者认为既有工作对二者关系没有一致结论。
   • 作者的核心观察：Figure 1 显示预测逃逸攻击同时改变真实类 y 与目标类 y' 的解释图，因此只按单一类度量解释差异可能“不合适”，ISA 未必真容易。
   • 论文提出：l1 范数 2 类解释差异度量及其下界理论（Proposition 1），以及只惩罚解释差异、不使用对抗损失的 interpretability-aware 鲁棒训练方法 Int 与 Int2。
   • 威胁模型：
     • 攻击者目标：三类——误分类（PGD、unforeseen attacks）；保持预测不变但最大化解释差异（AAI）；误分类同时最小化解释差异（ISA）。
     • 能力：对输入图像加 l∞ 范数有界扰动，鲁棒训练用 ε=0.3（MNIST）、8/255（CIFAR-10）、0.003（R-ImageNet）。
     • 受害系统：带“global average pooling → softmax”结构的 CNN 图像分类器（Small、Pool、WResnet），解释器为 CAM（理论适用于满足 completeness 公理的解释器）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四类：对抗攻防、网络解释方法、解释与鲁棒性关系研究，以及最近的鲁棒归因训练。

   对抗攻击与防御

   • 攻击侧：Goodfellow et al. (2015)、Carlini & Wagner (2017) 等构造不可感知扰动；Eykholt et al. (2018)、Brown et al. (2017) 等研究物理环境对抗补丁。
   • 防御侧：defensive distillation（Papernot et al., 2016b）、对抗训练（Madry et al., 2018）、TRADES（Zhang et al., 2019）、输入梯度/曲率正则（Ross & Doshi-Velez, 2018；Moosavi-Dezfooli et al., 2019）。作者称本文与这些工作不同，是从解释角度理解并提升鲁棒性。

   网络解释方法

   • CAM 类：CAM（Zhou et al., 2016）、GradCAM（Selvaraju et al., 2017）、GradCAM++（Chattopadhay et al., 2018），给出类判别定位图。
   • PSM 类：vanilla gradient（Simonyan et al., 2013）、guided backpropagation（Springenberg et al., 2014）、SmoothGrad（Smilkov et al., 2017）、IG（Sundararajan et al., 2017）；IG 满足 completeness 公理但计算密集。

   解释与对抗鲁棒性的关系

   • Xu et al. (2019b;a)：对抗扰动会引起类特定解释图的变化，作者据此认为解释差异可作检测指标。
   • Zhang et al. (2018)、Subramanya et al. (2018)：提出 ISA，称在某些条件下让攻击对解释器隐身并不比生成普通对抗样本更难；本文第 3 节重新审视该结论，认为其单类差异度量不合适。
   • Ghorbani et al. (2019)、Dombrowski et al. (2019)：称解释本身对扰动脆弱，本文用其 AAI 攻击评估解释鲁棒性。

   最相关工作与基线

   • Chen et al. (2019)：基于 IG 的鲁棒归因正则训练。作者称其计算更重、在强攻击下效果下降，而本文方法更轻量且适用于任何满足 completeness 公理的解释器。
   • 对比基线与基准：基线为 Normal、Adv（Madry et al., 2018）、TRADES、IG-Norm、IG-Norm-Sum、Int-one-class；基准为 MNIST、CIFAR-10、Restricted ImageNet。

   收起这一问

3. 03论文如何解决这个问题？

   先提出带理论下界的 l1 2 类解释差异度量，再以最坏情况解释差异为正则做鲁棒训练。

   整体思路：用恰当的解释差异度量把“解释鲁棒性”与“分类鲁棒性”挂钩，再把该度量作为训练正则项，得到 interpretability-aware robust training（Int / Int2）。

   解释差异度量与理论下界

   • 定义通用差异 D(x,x′)=(1/|C|)∑_{i∈ C}|I(x,i)−I(x′,i)|_p，取 C={y, y'}、p=1 得 l1 2 类差异 D2,l1；选 2 类是因为 Figure 1 显示攻击同时改变 y 与 y' 的解释图。
   • Proposition 1：若解释器满足 completeness 公理，则 D_2,ℓ1(x,x′) ≥ 1/2(f_y(x)−f_y′(x))，即成功攻击的解释差异有不依赖扰动的下界；把差异压到下界以下则误分类不可行。附录 A 给出证明与推广，附录 E 报告该界经验上较紧。

   用 ISA 验证度量选择

   • 将 ISA 形式化为优化问题：C&W 型攻击损失（成功时达到 −τ，论文用 τ=0.1）加 λ 倍 D2,l1，约束 ‖δ‖∞≤ε；对 λ 做二分直到攻击刚好无法成功，用 PGD 求解，只考虑 targeted 攻击。
   • 用该框架比较 l1/l2 × 1/2/all 类度量，检验哪种度量下 ISA 最难压低解释差异（结果见第 4 问）。

   无需目标标签的差异度量

   • 防御方事先不知道 y'，故用 softmax 置信度对所有非真实类加权近似目标类差异，得到 D̃（式 7）；攻击成功时 top-1 类即目标类，其差异被最大惩罚。

   Int 与 Int2 训练

   • 训练目标为标准损失加 γ 倍最坏情况解释差异，γ=0.01（附录 F 的敏感性实验据此选择）。
   • Int：D̃worst 取扰动下 D̃ 的最大值（攻击者追求误解释）。
   • Int2：先用对抗扰动生成误分类样本，再计算其 D̃（攻击者追求误分类）；训练用交替优化：内层生成 x'，外层固定 x' 最小化正则化损失。
   • 变体 Int-Adv、Int2-Adv 把标准损失换成对抗损失；解释器用 CAM，理由是计算轻且实验模型均为“global average pooling → softmax”结构。

   收起这一问

4. 04论文做了哪些实验？

   在三个数据集上评估 PGD、unforeseen、AAI 三类攻击下的分类与解释鲁棒性，大扰动时 Int/Int2 的 ATA 高于 Adv。

   实验设置

   • 被测模型：Small（三层 CNN，16/32/100 filters，用于 MNIST、CIFAR-10）、Pool（两层 CNN，用于 MNIST，结果在附录 H）、WResnet（Wide ResNet ×1，用于 CIFAR-10、R-ImageNet）。
   • 数据集：MNIST、CIFAR-10、Restricted ImageNet（R-ImageNet，取自 Tsipras et al., 2019）。
   • 基线：Normal、Adv、TRADES、IG-Norm、IG-Norm-Sum、Int-one-class；变体 Int、Int-Adv、Int2、Int2-Adv。WResnet 上因 IG 计算开销排除 IG-Norm 与 IG-Norm-Sum。
   • 指标：adversarial test accuracy（ATA，200 步 l∞-PGD，200 个随机测试点）；解释鲁棒性用 Kendall's Tau 秩相关（200 个随机测试点平均，越高越鲁棒）。
   • 训练扰动：ε=0.3（MNIST）、8/255（CIFAR-10）、0.003（R-ImageNet）；γ=0.01。
   • AAI 设置：l∞ 范数、200 步、步长 0.01，top-K 评估取 K=8（附录 C、D）。

   主结果

   200 步 PGD 下的 ATA（据 Table 1）：

   表格较宽，可左右滑动

   方法	MNIST Small ε=0.3	MNIST ε=0.4	CIFAR-10 WResnet ε=8/255	CIFAR-10 ε=10/255	R-ImageNet ε=8/255
   Normal	0.000	0.000	0.060	0.060	0.040
   Adv	0.890	0.000	0.170	0.085	0.070
   TRADES	0.885	0.000	0.170	0.100	未报告
   IG-Norm	0.005	0.000	未报告	未报告	未报告
   Int-one-class	0.125	0.080	0.065	0.025	未报告
   Int	0.790	0.140	0.270	0.210	0.280
   Int2	0.845	0.385	0.290	0.220	0.265
   Int2-Adv	0.840	0.620	0.335	0.285	未报告

   • 作者称：ε 达到或超过训练值时 Int、Int2 的 ATA 高于 Adv（CIFAR-10 ε=8/255 时 0.270、0.290 对 0.170），且优势随攻击增强变大；这仅靠解释正则、未用对抗损失。
   • 作者称：IG-Norm 在 MNIST ε=0.3 时失效（ATA 0.005），Int-one-class 远差于 Int，支持 2 类度量的重要性。
   • 作者称：ATA 随 ε 增大而下降、随 PGD 步数增多而下降（附录 G，Table A3），不符合混淆梯度的两种典型行为。

   Unforeseen attacks

   • 测什么：Kang et al. (2019) 的 Gabor、Snow、JPEG l∞/l2/l1 攻击，参数沿用该文，CIFAR-10 Small、200 个随机测试点（Table 2）。
   • 结果：Int 在 JPEG l1 上 ATA 0.295 为全表最高；JPEG l∞ 上 IG-Norm-Sum 0.480 最高（Int 0.440）；Gabor 上 TRADES 0.220 最高（Int 0.160）；Snow 上 Int2-Adv 0.135 最高。
   • 作者称：Int、Int2 在 Snow 与 JPEG lp 攻击下优于 IG-Norm，并与使用对抗损失的方法相当。

   解释鲁棒性（AAI）

   • 测什么：AAI 攻击下原始与对抗 CAM 的 Kendall 秩相关（Table 3）。
   • 结果：MNIST ε=0.3 时 Int2-Adv 0.931、Int 0.913、Adv 0.857、Normal −0.085；R-ImageNet ε=8/255 时 Int2 0.952、Int 0.946、Adv 0.884。
   • 作者称：Normal 不自动具备解释鲁棒性；Adv、TRADES 的解释鲁棒性随 ε 增大而差于解释正则方法。

   其他消融与分析

   • ISA 度量比较（附录 B，Table A1）：固定解释方法时 2 类度量 NDS 最大、NSL 最小；固定 l1+2 类时 IG 最难被 ISA 绕过，但 WResnet+R-ImageNet 上用 IG 生成 ISA 在 200 小时内不可行。
   • 训练开销（Figure 3）：IG 类方法每 epoch 训练时间 ≥4 倍于 Int；使用对抗损失的方法在 ε=0.3 时 ATA 约 80%。
   • γ 敏感性（附录 F，Figure A1）：MNIST 上 ATA 在 γ=0.01 后不再上升；CIFAR-10 εtrain=6/255 时 γ 从 0.005 到 0.01，ATA 升 13.0%、干净准确率降 5.5%。
   • 特征可视化（Figure 4）：作者称 Int、Int2 与 Adv 一样学到 texture-aligned 鲁棒特征，Normal 与 IG-Norm 不能；图中仅可见各方法在不同种子下的可视化图，无数值标注。
   • 例外：CIFAR-10 Small 上 Int-Adv 在 200 步 PGD 下 ATA 降为 0.000（Table A4），论文未给解释。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者只提出半监督扩展一个方向；实验限于三个图像数据集、三种架构与 CAM 解释器。

   作者指出的局限与后续方向

   • Conclusion：作者计划把方法扩展到半监督设置，纳入无标注训练数据。
   • 论文未专门讨论其他局限。

   实验覆盖范围

   • 被测模型为 Small、Pool、WResnet 共 3 种架构；数据集为 MNIST、CIFAR-10、R-ImageNet（第 5 节）。
   • 防御评测覆盖 200 步 PGD（多 ε、多步数）、Kang et al. (2019) 的 5 种 unforeseen attacks、AAI 与 ISA 四类攻击（Table 1–3、附录 B）。
   • 主实验解释器为 CAM；ISA 度量分析另覆盖 GradCAM++、IG 与倒数第二层表示 Repr（附录 B）。
   • IG 类方法在 WResnet 上因计算开销被排除；用 IG 在 WResnet+R-ImageNet 上生成 ISA 在 200 小时内不可行（第 5 节、附录 B）。
   • PGD 与 AAI 评估各用 200 个随机测试点；论文未报告多次重复或方差（第 5 节、附录 C）。

   收起这一问

6. 06总结一下论文的主要内容

   作者用 l1 2 类解释差异把解释鲁棒性与分类鲁棒性挂钩，提出无对抗损失的 Int/Int2 防御。

   一篇防御论文：针对“对抗样本能否同时骗过分类器与解释器”这一争议，作者提出 l1 范数 2 类解释差异度量，并据此构建 interpretability-aware 鲁棒训练。

   • 问题：既有工作对 ISA 是否容易结论相反；作者认为原因在于解释差异的度量方式，单类度量会给人“ISA 很容易”的假象。
   • 方法：Proposition 1 给出 D2,l1 的下界 ½(fy(x)−fy'(x))；防御侧用 softmax 加权近似目标类差异，以最小化最坏情况解释差异为正则训练出 Int 与 Int2（基于 CAM，γ=0.01），不使用对抗损失。
   • 结果 1（Table 1）：200 步 PGD、ε=0.4 的 MNIST Small 上，Int2 ATA 0.385、Int2-Adv 0.620，Adv 与 TRADES 为 0.000；CIFAR-10 WResnet ε=8/255 时 Int 0.270、Int2 0.290，高于 Adv 的 0.170。
   • 结果 2（Table 3）：AAI 下解释鲁棒性更高，R-ImageNet ε=8/255 时 Int2 的 Kendall 相关 0.952，Adv 为 0.884。
   • 结果 3（Figure 3）：IG 类方法训练时间 ≥4 倍于 Int；IG-Norm 在 MNIST ε=0.3 的 PGD 下 ATA 仅 0.005。
   • 作者结论：解释差异度量选择恰当时，对抗样本难以对解释器隐身；仅靠提升解释鲁棒性即可获得分类鲁棒性，尤其在大扰动攻击下优于对比的对抗训练方法；作者计划未来扩展到半监督设置。

   收起这一问

相关论文