跳到正文
原文

CORGI:为类激活映射(CAM)提供可认证的可解释性鲁棒性保证

Certified Interpretability Robustness for Class Activation Mapping

arXiv· arXiv:2301.11324· Alex Gu, Tsui-Wei Weng, Pin-Yu Chen, Sijia Liu, Luca DanielMIT; MIT-IBM Watson AI Lab; IBM Research本站收录· 23 天前· 原文发表对齐

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 CORGI,为 CAM 可解释性图的 top-k 像素给出可认证的鲁棒下界;在 GTSRB 上,认证半径与攻击上界的中位比值为 4.7–5.0。

威胁模型攻击者对输入图像施加 L∞ 范数有界的、视觉上不可察觉的扰动,目标是让 CAM 可解释性图的 top-k 像素集合改变(网络分类可保持正确);防御方用 CORGI 给出认证半径 r,保证 ||x−x'||∞≤r 时 top-k 像素集合不变。

问题
自动驾驶等安全关键场景依赖深度网络的可解释性,但 CAM 等解释方法会被微小对抗扰动改变,而此前几乎没有针对可解释性鲁棒性的可认证保证。
方法
作者提出 CORGI:用 CNN-Cert 对扰动下最后一层卷积输出求上下界,合成 CAM 图各像素的上下界,再二分搜索满足 top-k 像素集合不变条件的最大可认证半径,并给出 k2 松弛版和基于 Lipschitz 常数的理论证书。
实验与结果
在 GTSRB 上自训四层 CNN,对 class 12 和 class 17 各 100 张图比较 CORGI 下界与 Ghorbani 攻击上界:比值中位数分别为 4.7 和 5.0;CAM gap 越大,证书与攻击界越大。
局限与可以继续做的
作者指出 CORGI 只在小网络上表现好,单张约需 1 分钟,尚不能扩展到真实自动驾驶的大网络;且只覆盖 CAM,未处理 GradCAM、Integrated Gradients、DeepLIFT 等方法。
实验设置small CNN (4 conv layers, GTSRB) · GTSRB · certified radius r、attack upper bound ε 等
被测模型
small CNN (4 conv layers, GTSRB)
基准
GTSRB
指标
certified radius rattack upper bound εratio ε/r
AI 导读研究者提出 CORGI 算法,为类激活映射(CAM)可解释性图提供可认证的鲁棒性保证。针对自动驾驶感知模型解释方法大多被证明缺乏鲁棒性、鲜有认证的现状,该算法对输入图像 CAM 图中 top k 像素的鲁棒性给出可认证下界。在交通标志数据的案例研究中,其认证的最小对抗扰动下界与最先进攻击方法相差 4-5 倍以内。

研究者提出 CORGI 算法,为类激活映射(CAM)可解释性图提供可认证的鲁棒性保证。针对自动驾驶感知模型解释方法大多被证明缺乏鲁棒性、鲜有认证的现状,该算法对输入图像 CAM 图中 top k 像素的鲁棒性给出可认证下界。在交通标志数据的案例研究中,其认证的最小对抗扰动下界与最先进攻击方法相差 4-5 倍以内。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    为 CAM 可解释性图的 top-k 像素提供可认证的对抗鲁棒下界,此前该方向几乎空白。

    核心问题:如何为 CAM 可解释性图在对抗扰动下的 top-k 像素给出可认证的鲁棒性保证。

    • 场景与动机:作者认为自动驾驶等安全关键系统大量使用深度感知模型,解释其预测对建立人机信任很重要;但已有工作表明解释方法也会被视觉上不可察觉的扰动破坏——网络分类仍正确,解释图却变得不合理。
    • 现有不足:作者称分类器的对抗鲁棒认证已被充分研究,但针对可解释性方法的鲁棒性认证做得很少;最接近的 Levine et al. (2019) 认证的是 SmoothGrad 的修改版,而非 CAM。
    • 核心观察:CAM 只需前向传播、能定位类别判别区域,作者认为更适合区分相似交通标志的自动驾驶场景;top-k 像素集合在扰动下保持不变可作为解释鲁棒性的度量。
    • 论文提出:CORGI(Certifiably prOvable Robustness Guarantees for Interpretability mapping),作者称其为第一个给出 CAM 可解释性鲁棒下界的算法,并附带精确 top-k、松弛 top-k 和基于 Lipschitz 常数的三项理论结果。
    • 威胁模型:
      • 攻击者目标:在 L∞ 范数有界的扰动下改变 CAM 图的 top-k 像素集合,分类结果可保持不变。
      • 攻击者知识:论文用作上界的攻击(Ghorbani et al., 2019)是梯度方法,需访问网络(ReLU 替换为 softplus 后求梯度)。
      • 防御方能力:防御方拥有网络权重,用 CNN-Cert 计算逐层界并给出认证半径 r。
      • 受害系统:带全局平均池化层的卷积网络(CAM 所要求的结构),论文实验为 GTSRB 交通标志分类器。
  2. 有哪些相关研究?

    相关工作分四组:对抗攻击、可认证防御、可解释性方法及其脆弱性,最近的是 Levine et al. 对 SmoothGrad 的认证。

    对抗攻击

    • Szegedy et al. (2013) 指出深度网络对对抗扰动不鲁棒;Guo et al. (2019) 将攻击扩展到黑盒设定。
    • FGSM(Goodfellow et al., 2014)、PGD(Kurakin et al., 2016)、Carlini-Wagner(Carlini and Wagner, 2017)是论文列举的渐进增强的攻击序列。

    可认证防御(针对分类)

    • 论文列举了三类逼近最大认证半径的方法:半正定规划(Raghunathan et al., 2018)、混合整数规划(Tjeng et al., 2017)、激活函数线性界(Boopathy et al., 2019,即 CNN-Cert);Weng et al. (2018) 指出即使在近似比意义下求最大认证半径也是困难的。
    • Singh et al. (2019)、Zhang et al. (2018) 被引为分类器鲁棒认证的代表。

    可解释性方法及其脆弱性

    • CAM(Zhou et al., 2016)、GradCAM(Selvaraju et al., 2017)、Integrated Gradients(Sundararajan et al., 2017)、SmoothGrad(Smilkov et al., 2017)、DeepLIFT(Shrikumar et al., 2017)均生成逐像素的解释图。
    • Zheng et al. (2019)、Alvarez-Melis and Jaakkola (2018)、Ghorbani et al. (2019) 三项工作都成功生成了让分类保持正确但解释图变得不合理的不可察觉扰动。

    可认证的解释鲁棒性

    • Levine et al. (2019) 认证了 SmoothGrad 修改版的解释鲁棒性,是论文点名最相关的工作;论文沿用了它的 top-k 度量,但转向 CAM,理由是 CAM 能定位类别判别区域、更适合区分相似路标,且只需前向传播而 SmoothGrad 每张测试图需一次反向传播。

    基线与基准:论文没有认证方法的基线(作者称 CORGI 是首个 CAM 解释鲁棒认证框架),对比对象是作为上界的 Ghorbani et al. (2019) 迭代特征重要性攻击;实验基准为 GTSRB(Stallkamp et al., 2012)。作者将本文定位为在 Levine et al. 的 top-k 认证思路上,首次覆盖 CAM 这一更适合自动驾驶场景的解释方法。

  3. 论文如何解决这个问题?

    CORGI 用 CNN-Cert 求 CAM 图逐像素上下界,再二分搜索满足 top-k 不变条件的最大可认证半径。

    整体思路:先用 CNN-Cert 对扰动半径 δ 下最后一层卷积输出求上下界,结合全连接层权重合成 CAM 图各像素的上下界 L(δ)、U(δ),再二分搜索使 top-k 像素集合保证不变的最大 δ,作为最小攻击半径 r* 的下界。CORGI 还包含一个松弛版证书和一个基于 Lipschitz 常数的理论证书。

    问题设定与 CAM 形式化

    • 对输入 x 和预测类 c,CAM 图 I(x) 是最后一层卷积特征图的加权和:Mcx,y = ∑k wck fkx,y,其中 f^k 是第 k 个滤波器输出、w^c_k 是全连接层权重。
    • 鲁棒性目标:扰动后 top-k 像素位置集合不变,即 {σ1,…,σk} = {σ'1,…,σ'k},不要求内部顺序一致。
    • 作者指出 CORGI 界不保证分类器本身鲁棒,但可取 CORGI 界与分类鲁棒界的最小值;实验中 CORGI 界几乎总是小于分类鲁棒界。

    用 CNN-Cert 求 CAM 上下界

    • 先用 CNN-Cert 求最后一层卷积输出每个滤波器的逐像素界 l^k(δ) ≤ f^k(x') ≤ u^k(δ)。
    • 按权重符号拆分求和:负权重乘上界、正权重乘下界得 CAM 下界 L(δ),反之得上界 U(δ)(Eq. 1–3)。

    认证条件与二分搜索

    • Theorem 3.2:若 mink′ ∈ 1..k L(δ)σk′ ≥ maxk′ ∈ k+1..s2 U(δ)σk′,则 δ 是 r* 的认证下界,即 top-k 集合不变。
    • 由于 CNN-Cert 的界关于 δ 单调,Algorithm 2 在 [0,1] 上二分搜索 P 轮,返回满足条件的最大 δ。
    • 松弛版(Theorem 3.3):只要求原 top-k 像素留在扰动图的 top-k2 内(k2 ≥ k),条件改为 min L(δ) 的前 k 项 ≥ U(δ){k2−k+1};k2 = k 时退化为原条件。

    Lipschitz 常数证书(附录 8.3)

    • 定义 g_p^(i)(x) = I(x)σi − I(x)p,用其局部 Lipschitz 常数给出认证半径 r = min over (i,p) of g_p^(i)(x)/L_p^(i)(δ)。
    • 作者认为对 Lipschitz 常数估计足够紧时该界可能优于 CORGI,但因现有估计方法要么松要么慢,未做实证。

    攻击上界(对比用)

    • 复现 Ghorbani et al. (2019) 的迭代特征重要性攻击:以原 top-k 像素集合 B 为目标,用投影 FGSM 最小化这些位置在新图上的值之和;ReLU 替换为 softplus 求梯度。
    • 论文做了一处修改:返回与原图 top-k 重合像素最少的 y,而非不相似度最大的 y,因为这才是 CORGI 认证的对象。
  4. 论文做了哪些实验?

    在 GTSRB 自训四层 CNN 上,对两类各 100 张图比较 CORGI 下界与攻击上界,比值中位数 4.7–5.0。

    实验设置

    • 被测模型:自训小型 CNN——4 个卷积层(8、8、16、16 滤波器)+ 全局平均池化 + 全连接层(CAM 要求的结构),CAM 图尺寸 24×24,GTSRB 测试准确率约 92%(附录 8.1)。
    • 数据集:GTSRB,论文写明为超过 50000 张 48×48×3、43 类的交通标志图像。
    • 对比对象:Ghorbani et al. (2019) 迭代特征重要性攻击(Algorithm 1),P = 300 步、α = ε/10;附录称增大 P 对攻击效果影响不大。
    • 指标:CORGI 认证半径 r(r* 的下界)、攻击找到的最小成功扰动 ε(r* 的上界)、两者比值 ε/r。
    • 样本量:主实验为 class 17(no entry)和 class 12(priority road)各随机 100 张,共 200 张;附录 8.5 另有 5 个类各 100 张。
    • 重复次数:论文未报告。

    主结果

    单张样例:k = 15 时一张 no entry 图像的 CORGI 认证半径 r = 0.0009;Figure 1 显示在 r 及两个更大 ε 下的扰动图、CAM 图和 top-k 位置,证书范围内 top-k 像素保持不变。

    表格较宽,可左右滑动

    类别样本数ε/r 中位数直方图保留样本
    class 17 (no entry)1005.092/100
    class 12 (priority road)1004.799/100

    据 Figure 2c 及正文。直方图剔除了比值超过 20 的离群样本。

    • 作者据此称 CORGI 下界与攻击上界只差 4–5 倍,因而离最优扰动 r* 不远。
    • Figure 2b 给出 200 张图各自的 CORGI 下界与攻击上界(按 CORGI 下界排序),正文未给出具体数值。
    • 附录 8.5 对另外 5 个类各 100 张图重复该比较,作者称比值分布相似,说明 CORGI 在测试分布上表现均匀;Figure 5 的具体数值在文本中不可读。

    CAM gap 与 k 的选择

    • 测了什么:k 从 1 变化到 50,考察 CAM gap(I(x)[k] − I(x)[k+1])与 CORGI 证书、攻击界的关系。
    • 结果:Figure 3b 显示 CAM gap 增大时 CORGI 证书和攻击界都增大;正文未给出具体数值。
    • 作者解读:CAM gap 大的 k 对应的 top-k 图更鲁棒,可作为选择 k 的依据——k 太小可能漏掉显著区域,太大可能纳入噪声像素。

    松弛 top-k 条件

    • 测了什么:固定图像和 k,改变 k2(原 top-k 像素在扰动图中允许落入的最大位置)。
    • 结果:Figure 3c 显示 k2 接近 k 时,小幅增大 k2 即可明显增大证书;k2 继续增大后 CORGI 界趋于平缓。正文未给出具体数值,且作者对该现象的解释句在文中未完成("We believe that this occurs because" 后无内容)。

    其他消融与分析

    • 攻击超参数:P = 300、α = ε/10;附录 8.1 称增大 P 对攻击效果无显著影响(论文此处用了 significant 一词,未报告统计检验)。
    • Lipschitz 证书(Theorem 8.3):仅理论结果,作者明确不做实证,原因是现有 Lipschitz 常数估计方法要么过松要么过慢。
    • 附录 8.4 给出另外两组类似 Figure 1 的图像、CORGI 界与 CAM 图示例。
  5. 有什么可以进一步探索的点?

    作者指出 CORGI 只适用于小网络、单张约 1 分钟,且只覆盖 CAM;实验仅在 GTSRB 自训小 CNN 上进行。

    作者指出的局限与后续方向

    • 只在小网络上表现好(Conclusions and Future Work):即使小网络,CORGI 每张图也约需 1 分钟。
    • 尚不能扩展到真实应用(Conclusions and Future Work):GTSRB 图像分辨率低于自动驾驶实际所见,实际网络也大得多,作者称 CORGI 还不能扩展到真实场景。
    • 精度瓶颈在大网络的界(Conclusions and Future Work):作者称主要瓶颈是缺少对大卷积网络既快又紧的界,改进逐层网络界和大网络上的解释界是关键方向。
    • 只覆盖 CAM(Conclusions and Future Work):尚未处理 DeepLIFT、Integrated Gradients、GradCAM;作者指出 CAM 对网络结构有要求(卷积层后须接全局平均池化),为其他解释方法建界可扩大可认证的模型范围。
    • Lipschitz 路线未实证(附录 8.3):作者认为 Lipschitz 常数估计足够紧时 Theorem 8.3 可能优于 CORGI,但现有估计方法要么很松要么很慢,故未做实验分析。

    实验覆盖范围

    • 被测模型为一个自训四层 CNN(8、8、16、16 滤波器 + 全局平均池化),GTSRB 测试准确率约 92%(附录 8.1)。
    • 数据集仅 GTSRB;主实验覆盖 class 12 与 class 17 各 100 张图,附录 8.5 另覆盖 5 个类各 100 张。
    • 对比上界仅 Ghorbani et al. (2019) 攻击(P = 300、α = ε/10);论文未报告与其他认证方法的对比(作者称 CORGI 是首个 CAM 解释认证框架)。
    • 论文未报告实验重复次数,也未报告 CORGI 与攻击各自的运行耗时对比(仅给出 CORGI 约 1 分钟/图)。
    • k 的影响实验在单张图像上变化 k(1 到 50)与 k2;Figure 3b、3c 的具体数值在文本中不可读。
  6. 总结一下论文的主要内容

    CORGI 为 CAM 解释图 top-k 像素给出可认证鲁棒下界,GTSRB 上与攻击上界中位比值 4.7–5.0。

    一篇可解释性鲁棒认证论文:针对自动驾驶等场景中 CAM 解释图会被微小对抗扰动破坏、而此前缺少认证保证的问题,提出 CORGI。

    • 方法:用 CNN-Cert 求扰动下最后一层卷积输出的逐像素界,结合全连接层权重合成 CAM 图上下界,再二分搜索保证 top-k 像素集合不变的最大半径;另给出 k2 松弛版证书和基于 Lipschitz 常数的理论证书(后者未实证)。
    • 对比设置:以 Ghorbani et al. (2019) 的迭代特征重要性攻击为上界(P = 300、α = ε/10),在 GTSRB 上自训四层 CNN(测试准确率约 92%)。
    • 主要结果:class 17 与 class 12 各 100 张图上,攻击上界与 CORGI 下界比值中位数分别为 5.0 和 4.7(Figure 2c);单张 no entry 图 k=15 时认证半径 r = 0.0009;CAM gap 越大证书与攻击界越大(Figure 3b);附录 5 个额外类别的比值分布相似。
    • 作者结论:作者称 CORGI 是首个 CAM 可解释性鲁棒认证算法,下界距攻击上界仅 4–5 倍,可作为后续工作的基线。
    • 作者指出的局限:只在小网络上表现好(约 1 分钟/图),尚不能扩展到真实自动驾驶的大网络;仅覆盖 CAM,GradCAM、Integrated Gradients、DeepLIFT 等留待未来。

相关论文

共同使用 GTSRB
再看 3 篇
共同使用 GTSRB
阅读原文arxiv.org