跳到正文
原文

重构神经网络分类框架以提升对抗鲁棒性

Rearchitecting Classification Frameworks For Increased Robustness

arXiv· arXiv:1905.10900· Varun Chandrasekaran, Brian Tang, Nicolas Papernot, Kassem Fawaz, Somesh Jha, Xi WuUniversity of Wisconsin-Madison; University of Toronto; Vector Institute; Google本站收录· 23 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出把领域不变量嵌入层级分类器以兼顾鲁棒性与准确率,在 GTSRB 和 LibriSpeech 上报告了认证半径与认证准确率的提升。

威胁模型white-box adversaries,被动方式,生成 human imperceptible 的 p-norm bounded 扰动(p 取 0、1、2、∞),目标为 targeted 或 untargeted 误分类;非 p-norm 扰动(如贴纸)与针对 LiDAR 的主动攻击超出范围。

问题
现有对抗防御多在 p-norm 球内求稳定,脱离任务语义且损害准确率,文献中还有鲁棒性与准确率不可兼得的结果。作者问:如何利用任务固有的不变量重新设计分类流程,使鲁棒性与准确率兼得。
方法
把领域知识或数据驱动聚类得到的不变量形式化为标签等价类,构建层级分类器:中间分类器用鲁棒特征(如 LiDAR 点云)或随机平滑强制不变量,叶分类器在等价类内预测,认证半径随标签数减少而增大。
实验与结果
GTSRB 圆形、三角形等价类与 LibriSpeech 男、女等价类上,层级法的认证半径与认证准确率均高于基线(Table IV–VII);MNIST 上对抗准确率反而下降 2.41 个百分点(Table I);PointNet 点云可被攻击但扰动可感知(Table III)。
局限与可以继续做的
作者指出:不变量是否对所有任务存在、如何高效提取尚不清楚;多个不变量的贡献与排序是开放问题;某些不变量可能引入新的脆弱区域;层级构造未必是唯一方式(§ VII)。
实验设置Hierarchy、PointNet · MNIST、CIFAR-10 等 · robustness certificate (CR)、certified accuracy (CA) 等
被测模型
HierarchyPointNet
基准
MNISTCIFAR-10GTSRBKITTILibriSpeech ASR corpus
指标
robustness certificate (CR)certified accuracy (CA)natural accuracyadversarial accuracy
AI 导读把物体的不变性应用于分类任务,可使神经网络在对抗输入下兼得鲁棒性与准确率。这类不变性是物体的显著特征,破坏它们必然改变对物体的感知。针对现有防御大多脱离真实世界且牺牲准确率的问题,论文讨论如何提取并建模不变性,以及如何设计利用不变性的分类范式来改善鲁棒性与准确率的权衡。

把物体的不变性应用于分类任务,可使神经网络在对抗输入下兼得鲁棒性与准确率。这类不变性是物体的显著特征,破坏它们必然改变对物体的感知。针对现有防御大多脱离真实世界且牺牲准确率的问题,论文讨论如何提取并建模不变性,以及如何设计利用不变性的分类范式来改善鲁棒性与准确率的权衡。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何用任务固有的不变量重设计分类流程,使鲁棒性与准确率不再相互矛盾。

    核心问题:现有对抗防御脱离任务语义、以准确率为代价,且文献中存在鲁棒性与准确率不可兼得的结果,如何设计兼顾两者的分类器。

    • 问题场景:DNN 在安全关键任务(如路标识别)中易被对抗扰动欺骗;作者认为 p-norm 只是人眼不可感知性的粗略代理,多数防御不考虑分类问题的语义与上下文属性(§ I)。
    • 现有方法不足:认证类与对抗训练类防御会明显降低准确率;文献报告了鲁棒性与准确率无法同时取得的统计与计算设定(§ I)。
    • 核心观察:物体存在显著特征(如 Stop 标志的八边形形状),扰动一旦破坏它们就改变了物体本身;把这些约束建模为不变量 I ⊆ X × X 并强制执行,可压缩攻击者的搜索空间(§ I、§ III-B)。
    • 论文方案:用领域知识或数据驱动聚类获得不变量,把标签空间划分为等价类,构建层级分类器——中间分类器强制不变量,叶分类器在等价类内预测;作者称这能在不损害准确率的情况下提升认证鲁棒性(§ III、§ IV)。
    • 威胁模型(§ II-B):
      • 目标:生成 p-norm bounded 扰动使模型误分类,分 targeted 与 untargeted。
      • 知识:white-box adversaries。
      • 能力:被动方式,扰动须 human imperceptible,用 p-norm(p 取 0、1、2、∞)近似。
      • 受害系统:DNN 分类器;非 p-norm 扰动(如贴纸)与针对 LiDAR 的主动攻击超出范围。
  2. 有哪些相关研究?

    相关工作分四组:层级分类、物理世界攻击、点云攻击与鲁棒特征,另有认证与对抗训练两条防御线。

    层级分类

    • Yan et al. [38] 的 HD-CNN——先粗分类再细分类,对基线分类器的混淆矩阵做谱聚类得到类别簇;论文指出其针对自然准确率优化、各层都用图像数据,而本文用不同模态的鲁棒特征构建更鲁棒的分类器(§ VIII-a)。
    • Srivastava et al. [40]——在部分类别样本稀缺时利用层级结构,用训练数据优化参数、验证数据从预设树出发选最优树;论文称这进一步支持其树状层级(§ VIII-a)。
    • Deng et al. [35]、Salakhutdinov et al. [36] 等——用标签关系图或 hierarchical-deep 模型做大规模分类(§ III-A)。

    物理世界与点云攻击

    • Kurakin et al. [24]、Sharif et al. [76]、Eykholt et al. [19]、Athalye et al. [79]——打印图像、眼镜、路标贴纸、3D 物体等物理可实现攻击(§ VIII-b)。
    • Liu et al. [80]——把 2D 攻防扩展到 3D 点云,称离群点移除等简单防御有效;论文指出其未物理实现扰动(§ VIII-c)。
    • Xiang et al. [66]——生成或扰动点云点的攻击算法;论文指出物理实现受 LiDAR 分辨率与场景约束,且攻击者需同时攻击多个模态(§ VIII-c)。

    鲁棒特征与不变性

    • Ilyas et al. [52]、Tsipras et al. [13]——区分鲁棒与非鲁棒特征以解释鲁棒性-准确率权衡;论文指出其改进权衡的代价是对抗训练生成大规模鲁棒数据集,而本文用物理世界约束强加的不变量绕过这一计算开销(§ VIII-d)。
    • Arjovsky et al. [55]、Tong et al. [56]——不变/稳定性质对泛化与鲁棒性的作用;论文称不变量与稳定性的联系并不新(§ III-B)。

    防御与认证

    • Cohen et al. [10] 的 randomized smoothing——本文认证半径计算的基础;Lecuyer et al. [11]、Lee et al. [29] 为同类认证方法(§ II-C)。
    • Madry et al. [12] 的对抗训练与 Raghunathan et al. [9] 的认证防御——论文称这些防御以降低准确率为代价(§ I)。

    基线与基准:基线为在全标签空间上训练的 flat 分类器(Baseline),CIFAR-10 实验另与 YOPO [60] 公布的 benchmark 对比;数据集为 MNIST、CIFAR-10、GTSRB、KITTI、LibriSpeech(§ V、§ VI)。作者定位:据其所知,此前没有工作研究如何把一组预定不变量嵌入学习过程(§ I)。

  3. 论文如何解决这个问题?

    把不变量形式化为标签等价类,构建中间层强制不变量、叶层类内预测的层级分类器。

    整体思路:把任务不变量(如形状、性别)显式嵌入分类流程,用层级分类器(hierarchical classifier)先在等价类间路由、再在等价类内预测;不变量压缩攻击空间,标签数减少扩大认证半径。

    不变量的建模与获取

    • 形式化:不变量是关系 I ⊆ X × X,例如形状不变量 {(x, x̃) ∈ I iff S(x) = S(x̃)};不变量把标签空间划分为等价类(§ I、§ III-B)。
    • 获取途径:(a) 领域知识(如路标形状、位置);(b) 数据驱动——取 DNN 中间层或输出层嵌入做 k-means 聚类,检查簇数与簇分离后把各簇的唯一标签作为等价类(Algorithm 1)。
    • 编码方式:优先用鲁棒特征(Madry et al. [12] 定义)或另一模态的鲁棒输入编码;缺乏时用对抗训练的鲁棒分类器在脆弱特征上校验不变量(§ III-B)。

    层级分类器的组件

    • 中间分类器:F_intermediate : X → K,把输入路由到等价类;其实现与具体不变量对应,可以是对抗训练/平滑的鲁棒分类器,或接受鲁棒特征输入;作者称其难以被攻击(§ IV-A)。
    • 叶分类器:每个等价类一个 Fi : X → Yi,只在类内标签上预测;推理时只调用一个叶分类器,整体类似决策树(§ IV-A)。
    • 叶的两种获得方式:renormalization——取全标签基线分类器、丢弃类外标签概率后归一化;retraining——只用类内样本从头训练。作者称前者计算更省且只会扩大 margin,后者可能降低部分输入的认证半径(§ VI-A3)。

    鲁棒性分析

    • margin 与标签数:认证半径正比于 R ≥ σ/2(Φ−1(pA) − Φ−1(pB)),即 top 类与 runner-up 类概率下界之差越大半径越大(式 (1),Cohen et al. [10])。
    • 反单调性:定义 H_{c,α}(x, L) = α(x)_c − max_{l∈L∧l≠c} α(x)_l,作者指出 L 缩小则 H 增大,故减少标签集可增大鲁棒半径(§ IV-B)。
    • 整体保证:层级分类器的鲁棒保证等于其各组成分类器保证的最小值——非定向攻击只需攻破其中一个(§ IV-C)。

    成功判定与评测方式

    • 鲁棒性度量:采用 Cohen et al. [10] 的 randomized smoothing 认证半径与 certified accuracy;§ V 另用 PGD 对抗准确率(§ II-C、§ V)。
    • 理论佐证:在 Tsipras et al. [13] 的统计设定与 Degwekar et al. [16] 基于 PRF 的计算设定上,作者称强加不变量后鲁棒分类器变得可学或权衡被改善(§ III-C、附录 C)。
  4. 论文做了哪些实验?

    在 MNIST/CIFAR-10 玩具设定与 GTSRB/LibriSpeech 两个案例上验证,认证半径与认证准确率多数提升,MNIST 例外。

    实验设置

    • 被测模型:GTSRB 用 ResNet-20(根与叶,叶为 smoothed classifier);点云攻击用 PointNet(约 98% 测试准确率);CIFAR-10 用 Wide Resnet 34 层(YOPO-5-3)与 ResNet-110(smoothing);MNIST 用 Small CNN(YOPO-5-10);LibriSpeech 用 3 卷积层 + FC + softmax 的 CNN(§ V、§ VI、附录 B)。
    • 数据集:MNIST;CIFAR-10;GTSRB(51,840 张裁剪路标图像、43 类);KITTI(12,919 张图像,人工约 40 小时标注后得 3,138 个路标裁剪图像及对应 LiDAR 点云;数据增强后 3,642 个裁剪点云);LibriSpeech(105,894 条音频、1,172 名说话人:606 男、566 女,降采样至 4 KHz、截为 3 秒)(§ VI-A1、§ VI-B1)。
    • 基线:在全标签空间训练的 flat 分类器;CIFAR-10 另列 YOPO [60] 公布的 benchmark(Table II)。
    • 指标:认证半径 CR(均值 ± 标准差)、certified accuracy(CA)、natural accuracy、PGD 对抗准确率(Adv)、Budget(受限攻击者只攻击一个分类器)。
    • 攻击与参数:§ V 用 PGD-20/PGD-40(l∞,CIFAR-10 ε=8/255,MNIST ε=0.47);平滑噪声 σ 在视觉取 0.25/0.5/1.0,音频取 0.025/0.05/0.1(附录 B)。
    • 样本量:GTSRB 与 LibriSpeech 每个等价类用 3,000 个输入评估;附录 F–H 的逐点分析用约 200 个输入;论文未报告重复次数(§ VI-A3、§ VI-B、附录 F)。

    主结果

    认证半径 CR 与认证准确率 CA,层级法(renormalization)对基线(据 Table IV–VII):

    表格较宽,可左右滑动

    数据集/等价类σBaseline CRHierarchy CRBaseline CAHierarchy CA
    GTSRB 圆形 (Table IV)0.251.083±0.5791.090±0.57577.74%79.25%
    GTSRB 圆形 (Table IV)1.02.327±1.4542.400±1.56031.69%35.47%
    GTSRB 三角形 (Table V)0.251.107±0.5511.127±0.54771.60%76.45%
    GTSRB 三角形 (Table V)1.02.223±1.2592.233±1.17220.41%32.78%
    LibriSpeech 女性 (Table VI)0.0250.1233±0.04240.2554±0.042988.80%89.62%
    LibriSpeech 女性 (Table VI)0.10.2612±0.15790.5688±0.157624.79%24.96%
    LibriSpeech 男性 (Table VII)0.0250.1351±0.03810.2590±0.037992.67%92.65%
    LibriSpeech 男性 (Table VII)0.10.2883±0.15630.5562±0.159236.92%36.40%
    • 作者称层级法在两个域的所有报告设置下 CR 与 CA 均优于基线,音频上认证半径为基线的 2.07×(女性)与 1.92×(男性)(§ VI-B)。
    • 作者称男性等价类 σ=0.025 时 CA 从 92.67% 变为 92.65%,基本不变(Table VII)。
    • 作者称增加第二个不变量(位置)后 SpeedLimit 标志的认证半径进一步提升且不影响准确率(Figure 8,图中仅见 σ=0.25/0.5/1 三柱,纵轴为 % Improvement,具体数值图上未标注)。

    对鲁棒特征(点云)的攻击评测

    • 测了什么:用 Xiang et al. [66] 的方法攻击 PointNet 形状分类器(目标模型即被攻击的 PointNet 本身),评估 l2 扰动的可感知性(§ VI-A2)。
    • 结果:攻击成功率圆形 91.33%、菱形 32.00%、三角形 98.00%、倒三角形 89.33%;平均 l2 扰动 0.386–1.059,对应深度变化上界 1.158–3.177 cm(Table III)。
    • 作者解读:扰动虽小但物理实现后可感知;聚类攻击对多数目标类失败;针对 LiDAR 的主动攻击超出威胁模型(§ VI-A2)。

    玩具设定(MNIST/CIFAR-10,对抗训练)

    • CIFAR-10:层级法自然准确率 85.37%、Adv 45.46%、Budget 59.11%;基线 83.68%/38.77%/38.77%;YOPO benchmark 83.99%/44.72%/44.72%(Table II);作者称 Adv 较基线升 6.69 个百分点(§ V-C)。
    • MNIST(负面结果):层级法 Adv 84.72% 低于基线 87.13%,降 2.41 个百分点;自然准确率 97.51% 也低于基线 98.79%;但 Budget 90.42% 高于基线 87.13%(Table I)。
    • 作者解读:数据驱动得到的不变量未必最适合提升鲁棒性,某些不变量可能弊大于利(§ V-C)。

    其他消融与分析

    • 根分类器准确率:CIFAR-10 根 96.57% 自然 / 84.25% 对抗;MNIST 根 98.51% / 93.68%(§ V-B)。
    • CIFAR-10 组成分类器:Non-living 叶 93.48%/69.04%,Living 叶 80.72%/40.78%(Table X)。
    • CIFAR-10 平滑叶(附录 E):Non-living σ=1.0 时 CR 1.2270→1.5013、CA 65.23%→74.74%(Table XI);Living σ=1.0 时 CR 0.9319→1.0750、CA 42.68%→53.80%(Table XII)。
    • retraining 对比(附录 H,n≈200):个别点 renormalization 提升近 7×、retraining 约 20×,但 retraining 有较多点鲁棒性下降,故 § VI 采用 renormalization(Figure 15、16)。
    • 理论玩具例(附录 C):d=200 时,不变量限制前 k 个特征不可扰动,作者称 k 足够小(相对 d)也能使对抗准确率超过 90%(Figure 9)。
  5. 有什么可以进一步探索的点?

    作者列出不变量提取、多不变量交互、架构搜索与不变量利弊四个开放问题。

    作者指出的局限与后续方向

    • 不变量是否总存在:作者称不清楚其提取方法是否适用于所有分类任务,高效提取任意任务不变量的算法是开放问题(§ VII-A)。
    • 可解释不变量的价值不明:是否有必要让人类可解释尚不清楚,强加主观性可能损害学习并引发公平性问题(§ VII-A)。
    • 多不变量的交互:各不变量对鲁棒性的贡献是否相等、如何组合成层级、不变量的排序都是开放问题(§ VII-B);中间分类器的排序以最大化准确率留作 future work(§ IV-A)。
    • 架构构造未必唯一:树状层级是否唯一途径不清楚,与神经架构搜索结合是有趣的未来方向(§ VII-C)。
    • 不变量可能有害:DNN 默认已对多种任务相关变化不变,强加自认为有益的不变量可能引入新的脆弱区域;区分有益/有害不变量是 future work(§ VII-D)。

    实验覆盖范围

    • 被测任务为 4 个:MNIST、CIFAR-10(玩具设定,§ V),GTSRB+KITTI 路标分类、LibriSpeech 说话人识别(案例,§ VI)。
    • 认证方法只用 Cohen et al. [10] 的 randomized smoothing;对抗训练实验用 YOPO-5-3/YOPO-5-10 近似 PGD-20/PGD-40(附录 B)。
    • 主评估每等价类 n=3,000;附录 F–H 逐点分析 n≈200;论文未报告重复次数与置信区间。
    • 威胁模型限 white-box、被动、p-norm bounded 扰动;非 p-norm 物理攻击与针对 LiDAR 的主动攻击被明确排除(§ II-B、§ VI-A2)。
    • 论文未报告自适应攻击(针对层级结构的专门攻击)评测;§ VI-A2 只复用 Xiang et al. [66] 的现成点云攻击。
  6. 总结一下论文的主要内容

    用任务不变量把分类拆成层级,在 GTSRB 与 LibriSpeech 上同时提升认证半径与认证准确率。

    一篇对抗鲁棒性防御论文,核心主张是把分类任务固有的不变量(如路标形状、说话人性别)显式嵌入分类流程,使鲁棒性与准确率不再相互矛盾。

    • 问题:p-norm 防御脱离任务语义且损害准确率,文献中存在两者不可兼得的结果(§ I)。
    • 方法:不变量把标签空间划分为等价类;层级分类器的中间层用鲁棒特征(如 LiDAR 点云)或随机平滑强制不变量,叶层在等价类内预测;标签数减少扩大 top 与 runner-up 的 margin,从而增大认证半径,整体保证为各组件保证的最小值(§ III、§ IV)。
    • 路标案例:根分类器用 LiDAR 点云预测形状(98.01% 测试准确率);圆形等价类 σ=1.0 时 CR 从 2.327 升至 2.400、CA 从 31.69% 升至 35.47%(Table IV);加入位置不变量后认证半径进一步提升(Figure 8)。
    • 说话人案例:性别不变量下认证半径为基线的 2.07×(女性)与 1.92×(男性),CA 基本持平或略升(Table VI、VII)。
    • 例外:MNIST 上数据驱动不变量使对抗准确率较基线降 2.41 个百分点(Table I);对 PointNet 的 l2 攻击成功率最高 98.00%(三角形),但作者称扰动物理实现后可感知、超出其威胁模型(Table III)。
    • 作者结论:不变量可由领域知识或真实世界约束提供,能以最小计算开销提升对抗鲁棒性;不变量的自动提取、多不变量排序与其潜在危害留作后续工作(§ VII、§ IX)。

相关论文

共同使用 KITTI
再看 3 篇
共同使用 GTSRB
阅读原文arxiv.org