重构神经网络分类框架以提升对抗鲁棒性
Rearchitecting Classification Frameworks For Increased Robustness
作者提出把领域不变量嵌入层级分类器以兼顾鲁棒性与准确率,在 GTSRB 和 LibriSpeech 上报告了认证半径与认证准确率的提升。
white-box adversaries,被动方式,生成 human imperceptible 的 p-norm bounded 扰动(p 取 0、1、2、∞),目标为 targeted 或 untargeted 误分类;非 p-norm 扰动(如贴纸)与针对 LiDAR 的主动攻击超出范围。
- 现有对抗防御多在 p-norm 球内求稳定,脱离任务语义且损害准确率,文献中还有鲁棒性与准确率不可兼得的结果。作者问:如何利用任务固有的不变量重新设计分类流程,使鲁棒性与准确率兼得。
- 把领域知识或数据驱动聚类得到的不变量形式化为标签等价类,构建层级分类器:中间分类器用鲁棒特征(如 LiDAR 点云)或随机平滑强制不变量,叶分类器在等价类内预测,认证半径随标签数减少而增大。
- GTSRB 圆形、三角形等价类与 LibriSpeech 男、女等价类上,层级法的认证半径与认证准确率均高于基线(Table IV–VII);MNIST 上对抗准确率反而下降 2.41 个百分点(Table I);PointNet 点云可被攻击但扰动可感知(Table III)。
- 作者指出:不变量是否对所有任务存在、如何高效提取尚不清楚;多个不变量的贡献与排序是开放问题;某些不变量可能引入新的脆弱区域;层级构造未必是唯一方式(§ VII)。
- 被测模型
- HierarchyPointNet
- 基准
- MNISTCIFAR-10GTSRBKITTILibriSpeech ASR corpus
- 指标
- robustness certificate (CR)certified accuracy (CA)natural accuracyadversarial accuracy
把物体的不变性应用于分类任务,可使神经网络在对抗输入下兼得鲁棒性与准确率。这类不变性是物体的显著特征,破坏它们必然改变对物体的感知。针对现有防御大多脱离真实世界且牺牲准确率的问题,论文讨论如何提取并建模不变性,以及如何设计利用不变性的分类范式来改善鲁棒性与准确率的权衡。
深度解读
这篇论文试图解决什么问题?
如何用任务固有的不变量重设计分类流程,使鲁棒性与准确率不再相互矛盾。
核心问题:现有对抗防御脱离任务语义、以准确率为代价,且文献中存在鲁棒性与准确率不可兼得的结果,如何设计兼顾两者的分类器。
- 问题场景:DNN 在安全关键任务(如路标识别)中易被对抗扰动欺骗;作者认为 p-norm 只是人眼不可感知性的粗略代理,多数防御不考虑分类问题的语义与上下文属性(§ I)。
- 现有方法不足:认证类与对抗训练类防御会明显降低准确率;文献报告了鲁棒性与准确率无法同时取得的统计与计算设定(§ I)。
- 核心观察:物体存在显著特征(如 Stop 标志的八边形形状),扰动一旦破坏它们就改变了物体本身;把这些约束建模为不变量 I ⊆ X × X 并强制执行,可压缩攻击者的搜索空间(§ I、§ III-B)。
- 论文方案:用领域知识或数据驱动聚类获得不变量,把标签空间划分为等价类,构建层级分类器——中间分类器强制不变量,叶分类器在等价类内预测;作者称这能在不损害准确率的情况下提升认证鲁棒性(§ III、§ IV)。
- 威胁模型(§ II-B):
- 目标:生成 p-norm bounded 扰动使模型误分类,分 targeted 与 untargeted。
- 知识:white-box adversaries。
- 能力:被动方式,扰动须 human imperceptible,用 p-norm(p 取 0、1、2、∞)近似。
- 受害系统:DNN 分类器;非 p-norm 扰动(如贴纸)与针对 LiDAR 的主动攻击超出范围。
有哪些相关研究?
相关工作分四组:层级分类、物理世界攻击、点云攻击与鲁棒特征,另有认证与对抗训练两条防御线。
层级分类
- Yan et al. [38] 的 HD-CNN——先粗分类再细分类,对基线分类器的混淆矩阵做谱聚类得到类别簇;论文指出其针对自然准确率优化、各层都用图像数据,而本文用不同模态的鲁棒特征构建更鲁棒的分类器(§ VIII-a)。
- Srivastava et al. [40]——在部分类别样本稀缺时利用层级结构,用训练数据优化参数、验证数据从预设树出发选最优树;论文称这进一步支持其树状层级(§ VIII-a)。
- Deng et al. [35]、Salakhutdinov et al. [36] 等——用标签关系图或 hierarchical-deep 模型做大规模分类(§ III-A)。
物理世界与点云攻击
- Kurakin et al. [24]、Sharif et al. [76]、Eykholt et al. [19]、Athalye et al. [79]——打印图像、眼镜、路标贴纸、3D 物体等物理可实现攻击(§ VIII-b)。
- Liu et al. [80]——把 2D 攻防扩展到 3D 点云,称离群点移除等简单防御有效;论文指出其未物理实现扰动(§ VIII-c)。
- Xiang et al. [66]——生成或扰动点云点的攻击算法;论文指出物理实现受 LiDAR 分辨率与场景约束,且攻击者需同时攻击多个模态(§ VIII-c)。
鲁棒特征与不变性
- Ilyas et al. [52]、Tsipras et al. [13]——区分鲁棒与非鲁棒特征以解释鲁棒性-准确率权衡;论文指出其改进权衡的代价是对抗训练生成大规模鲁棒数据集,而本文用物理世界约束强加的不变量绕过这一计算开销(§ VIII-d)。
- Arjovsky et al. [55]、Tong et al. [56]——不变/稳定性质对泛化与鲁棒性的作用;论文称不变量与稳定性的联系并不新(§ III-B)。
防御与认证
- Cohen et al. [10] 的 randomized smoothing——本文认证半径计算的基础;Lecuyer et al. [11]、Lee et al. [29] 为同类认证方法(§ II-C)。
- Madry et al. [12] 的对抗训练与 Raghunathan et al. [9] 的认证防御——论文称这些防御以降低准确率为代价(§ I)。
基线与基准:基线为在全标签空间上训练的 flat 分类器(Baseline),CIFAR-10 实验另与 YOPO [60] 公布的 benchmark 对比;数据集为 MNIST、CIFAR-10、GTSRB、KITTI、LibriSpeech(§ V、§ VI)。作者定位:据其所知,此前没有工作研究如何把一组预定不变量嵌入学习过程(§ I)。
论文如何解决这个问题?
把不变量形式化为标签等价类,构建中间层强制不变量、叶层类内预测的层级分类器。
整体思路:把任务不变量(如形状、性别)显式嵌入分类流程,用层级分类器(hierarchical classifier)先在等价类间路由、再在等价类内预测;不变量压缩攻击空间,标签数减少扩大认证半径。
不变量的建模与获取
- 形式化:不变量是关系 I ⊆ X × X,例如形状不变量 {(x, x̃) ∈ I iff S(x) = S(x̃)};不变量把标签空间划分为等价类(§ I、§ III-B)。
- 获取途径:(a) 领域知识(如路标形状、位置);(b) 数据驱动——取 DNN 中间层或输出层嵌入做 k-means 聚类,检查簇数与簇分离后把各簇的唯一标签作为等价类(Algorithm 1)。
- 编码方式:优先用鲁棒特征(Madry et al. [12] 定义)或另一模态的鲁棒输入编码;缺乏时用对抗训练的鲁棒分类器在脆弱特征上校验不变量(§ III-B)。
层级分类器的组件
- 中间分类器:F_intermediate : X → K,把输入路由到等价类;其实现与具体不变量对应,可以是对抗训练/平滑的鲁棒分类器,或接受鲁棒特征输入;作者称其难以被攻击(§ IV-A)。
- 叶分类器:每个等价类一个 Fi : X → Yi,只在类内标签上预测;推理时只调用一个叶分类器,整体类似决策树(§ IV-A)。
- 叶的两种获得方式:renormalization——取全标签基线分类器、丢弃类外标签概率后归一化;retraining——只用类内样本从头训练。作者称前者计算更省且只会扩大 margin,后者可能降低部分输入的认证半径(§ VI-A3)。
鲁棒性分析
- margin 与标签数:认证半径正比于 R ≥ σ/2(Φ−1(pA) − Φ−1(pB)),即 top 类与 runner-up 类概率下界之差越大半径越大(式 (1),Cohen et al. [10])。
- 反单调性:定义 H_{c,α}(x, L) = α(x)_c − max_{l∈L∧l≠c} α(x)_l,作者指出 L 缩小则 H 增大,故减少标签集可增大鲁棒半径(§ IV-B)。
- 整体保证:层级分类器的鲁棒保证等于其各组成分类器保证的最小值——非定向攻击只需攻破其中一个(§ IV-C)。
成功判定与评测方式
- 鲁棒性度量:采用 Cohen et al. [10] 的 randomized smoothing 认证半径与 certified accuracy;§ V 另用 PGD 对抗准确率(§ II-C、§ V)。
- 理论佐证:在 Tsipras et al. [13] 的统计设定与 Degwekar et al. [16] 基于 PRF 的计算设定上,作者称强加不变量后鲁棒分类器变得可学或权衡被改善(§ III-C、附录 C)。
论文做了哪些实验?
在 MNIST/CIFAR-10 玩具设定与 GTSRB/LibriSpeech 两个案例上验证,认证半径与认证准确率多数提升,MNIST 例外。
实验设置
- 被测模型:GTSRB 用 ResNet-20(根与叶,叶为 smoothed classifier);点云攻击用 PointNet(约 98% 测试准确率);CIFAR-10 用 Wide Resnet 34 层(YOPO-5-3)与 ResNet-110(smoothing);MNIST 用 Small CNN(YOPO-5-10);LibriSpeech 用 3 卷积层 + FC + softmax 的 CNN(§ V、§ VI、附录 B)。
- 数据集:MNIST;CIFAR-10;GTSRB(51,840 张裁剪路标图像、43 类);KITTI(12,919 张图像,人工约 40 小时标注后得 3,138 个路标裁剪图像及对应 LiDAR 点云;数据增强后 3,642 个裁剪点云);LibriSpeech(105,894 条音频、1,172 名说话人:606 男、566 女,降采样至 4 KHz、截为 3 秒)(§ VI-A1、§ VI-B1)。
- 基线:在全标签空间训练的 flat 分类器;CIFAR-10 另列 YOPO [60] 公布的 benchmark(Table II)。
- 指标:认证半径 CR(均值 ± 标准差)、certified accuracy(CA)、natural accuracy、PGD 对抗准确率(Adv)、Budget(受限攻击者只攻击一个分类器)。
- 攻击与参数:§ V 用 PGD-20/PGD-40(l∞,CIFAR-10 ε=8/255,MNIST ε=0.47);平滑噪声 σ 在视觉取 0.25/0.5/1.0,音频取 0.025/0.05/0.1(附录 B)。
- 样本量:GTSRB 与 LibriSpeech 每个等价类用 3,000 个输入评估;附录 F–H 的逐点分析用约 200 个输入;论文未报告重复次数(§ VI-A3、§ VI-B、附录 F)。
主结果
认证半径 CR 与认证准确率 CA,层级法(renormalization)对基线(据 Table IV–VII):
表格较宽,可左右滑动
数据集/等价类 σ Baseline CR Hierarchy CR Baseline CA Hierarchy CA GTSRB 圆形 (Table IV) 0.25 1.083±0.579 1.090±0.575 77.74% 79.25% GTSRB 圆形 (Table IV) 1.0 2.327±1.454 2.400±1.560 31.69% 35.47% GTSRB 三角形 (Table V) 0.25 1.107±0.551 1.127±0.547 71.60% 76.45% GTSRB 三角形 (Table V) 1.0 2.223±1.259 2.233±1.172 20.41% 32.78% LibriSpeech 女性 (Table VI) 0.025 0.1233±0.0424 0.2554±0.0429 88.80% 89.62% LibriSpeech 女性 (Table VI) 0.1 0.2612±0.1579 0.5688±0.1576 24.79% 24.96% LibriSpeech 男性 (Table VII) 0.025 0.1351±0.0381 0.2590±0.0379 92.67% 92.65% LibriSpeech 男性 (Table VII) 0.1 0.2883±0.1563 0.5562±0.1592 36.92% 36.40% - 作者称层级法在两个域的所有报告设置下 CR 与 CA 均优于基线,音频上认证半径为基线的 2.07×(女性)与 1.92×(男性)(§ VI-B)。
- 作者称男性等价类 σ=0.025 时 CA 从 92.67% 变为 92.65%,基本不变(Table VII)。
- 作者称增加第二个不变量(位置)后 SpeedLimit 标志的认证半径进一步提升且不影响准确率(Figure 8,图中仅见 σ=0.25/0.5/1 三柱,纵轴为 % Improvement,具体数值图上未标注)。
对鲁棒特征(点云)的攻击评测
- 测了什么:用 Xiang et al. [66] 的方法攻击 PointNet 形状分类器(目标模型即被攻击的 PointNet 本身),评估 l2 扰动的可感知性(§ VI-A2)。
- 结果:攻击成功率圆形 91.33%、菱形 32.00%、三角形 98.00%、倒三角形 89.33%;平均 l2 扰动 0.386–1.059,对应深度变化上界 1.158–3.177 cm(Table III)。
- 作者解读:扰动虽小但物理实现后可感知;聚类攻击对多数目标类失败;针对 LiDAR 的主动攻击超出威胁模型(§ VI-A2)。
玩具设定(MNIST/CIFAR-10,对抗训练)
- CIFAR-10:层级法自然准确率 85.37%、Adv 45.46%、Budget 59.11%;基线 83.68%/38.77%/38.77%;YOPO benchmark 83.99%/44.72%/44.72%(Table II);作者称 Adv 较基线升 6.69 个百分点(§ V-C)。
- MNIST(负面结果):层级法 Adv 84.72% 低于基线 87.13%,降 2.41 个百分点;自然准确率 97.51% 也低于基线 98.79%;但 Budget 90.42% 高于基线 87.13%(Table I)。
- 作者解读:数据驱动得到的不变量未必最适合提升鲁棒性,某些不变量可能弊大于利(§ V-C)。
其他消融与分析
- 根分类器准确率:CIFAR-10 根 96.57% 自然 / 84.25% 对抗;MNIST 根 98.51% / 93.68%(§ V-B)。
- CIFAR-10 组成分类器:Non-living 叶 93.48%/69.04%,Living 叶 80.72%/40.78%(Table X)。
- CIFAR-10 平滑叶(附录 E):Non-living σ=1.0 时 CR 1.2270→1.5013、CA 65.23%→74.74%(Table XI);Living σ=1.0 时 CR 0.9319→1.0750、CA 42.68%→53.80%(Table XII)。
- retraining 对比(附录 H,n≈200):个别点 renormalization 提升近 7×、retraining 约 20×,但 retraining 有较多点鲁棒性下降,故 § VI 采用 renormalization(Figure 15、16)。
- 理论玩具例(附录 C):d=200 时,不变量限制前 k 个特征不可扰动,作者称 k 足够小(相对 d)也能使对抗准确率超过 90%(Figure 9)。
有什么可以进一步探索的点?
作者列出不变量提取、多不变量交互、架构搜索与不变量利弊四个开放问题。
作者指出的局限与后续方向
- 不变量是否总存在:作者称不清楚其提取方法是否适用于所有分类任务,高效提取任意任务不变量的算法是开放问题(§ VII-A)。
- 可解释不变量的价值不明:是否有必要让人类可解释尚不清楚,强加主观性可能损害学习并引发公平性问题(§ VII-A)。
- 多不变量的交互:各不变量对鲁棒性的贡献是否相等、如何组合成层级、不变量的排序都是开放问题(§ VII-B);中间分类器的排序以最大化准确率留作 future work(§ IV-A)。
- 架构构造未必唯一:树状层级是否唯一途径不清楚,与神经架构搜索结合是有趣的未来方向(§ VII-C)。
- 不变量可能有害:DNN 默认已对多种任务相关变化不变,强加自认为有益的不变量可能引入新的脆弱区域;区分有益/有害不变量是 future work(§ VII-D)。
实验覆盖范围
- 被测任务为 4 个:MNIST、CIFAR-10(玩具设定,§ V),GTSRB+KITTI 路标分类、LibriSpeech 说话人识别(案例,§ VI)。
- 认证方法只用 Cohen et al. [10] 的 randomized smoothing;对抗训练实验用 YOPO-5-3/YOPO-5-10 近似 PGD-20/PGD-40(附录 B)。
- 主评估每等价类 n=3,000;附录 F–H 逐点分析 n≈200;论文未报告重复次数与置信区间。
- 威胁模型限 white-box、被动、p-norm bounded 扰动;非 p-norm 物理攻击与针对 LiDAR 的主动攻击被明确排除(§ II-B、§ VI-A2)。
- 论文未报告自适应攻击(针对层级结构的专门攻击)评测;§ VI-A2 只复用 Xiang et al. [66] 的现成点云攻击。
总结一下论文的主要内容
用任务不变量把分类拆成层级,在 GTSRB 与 LibriSpeech 上同时提升认证半径与认证准确率。
一篇对抗鲁棒性防御论文,核心主张是把分类任务固有的不变量(如路标形状、说话人性别)显式嵌入分类流程,使鲁棒性与准确率不再相互矛盾。
- 问题:p-norm 防御脱离任务语义且损害准确率,文献中存在两者不可兼得的结果(§ I)。
- 方法:不变量把标签空间划分为等价类;层级分类器的中间层用鲁棒特征(如 LiDAR 点云)或随机平滑强制不变量,叶层在等价类内预测;标签数减少扩大 top 与 runner-up 的 margin,从而增大认证半径,整体保证为各组件保证的最小值(§ III、§ IV)。
- 路标案例:根分类器用 LiDAR 点云预测形状(98.01% 测试准确率);圆形等价类 σ=1.0 时 CR 从 2.327 升至 2.400、CA 从 31.69% 升至 35.47%(Table IV);加入位置不变量后认证半径进一步提升(Figure 8)。
- 说话人案例:性别不变量下认证半径为基线的 2.07×(女性)与 1.92×(男性),CA 基本持平或略升(Table VI、VII)。
- 例外:MNIST 上数据驱动不变量使对抗准确率较基线降 2.41 个百分点(Table I);对 PointNet 的 l2 攻击成功率最高 98.00%(三角形),但作者称扰动物理实现后可感知、超出其威胁模型(Table III)。
- 作者结论:不变量可由领域知识或真实世界约束提供,能以最小计算开销提升对抗鲁棒性;不变量的自动提取、多不变量排序与其潜在危害留作后续工作(§ VII、§ IX)。