Block Switching：一种基于随机性的深度学习安全防御方法

1. 01这篇论文试图解决什么问题？

   针对对抗样本问题提出随机防御 Block Switching，作者称其防御有效且测试准确率损失小。

   如何在保持干净样本准确率的同时防御对抗样本攻击。

   • 问题场景：Szegedy 等人发现，对输入施加人眼难以察觉的扰动可使高准确率网络产生任意错误预测；作者指出这在自动驾驶、图像识别等安全关键应用中会造成严重损失。
   • 现有方法的不足：作者称已有防御（对抗训练、检测、输入矫正、随机化防御）要么被证明对攻击者的反制措施无效，要么需要额外资源；其主要权衡是防御越强，干净样本上的测试准确率越差。
   • 核心观察：随机化防御的关键在于让输入梯度分布更分散；作者认为若梯度方向均匀分布，梯度下降不比随机游走更好。作者观察到 SAP 的梯度分布是单峰且集中的，而 BS 的梯度分布是多峰、范围更宽的（Figure 2）。
   • 论文方案：提出 Block Switching（BS），用多个并行通道替换一段模型层，运行时随机激活一条通道，使攻击者无法利用固定模型结构的弱点；并称其测试准确率下降更小、与攻击无关、可与其他防御（如对抗训练）联合使用。
   • 威胁模型：
     • 攻击者目标：生成对抗样本，使目标模型预测目标标签（targeted attack），以 fooling ratio 衡量。
     • 攻击手段：FGSM（单步梯度）和 CW 攻击（优化式，论文称其为已知最强攻击）。
     • 攻击者知识：攻击利用损失函数对输入的梯度；论文未明确说明攻击者是否了解防御的随机机制，实验按标准 FGSM/CW 流程对防御模型直接生成对抗样本。
     • 受害系统：MNIST 和 CIFAR-10 上的 CNN 图像分类器。

   收起这一问

2. 02有哪些相关研究？

   相关工作分攻击与防御两侧：攻击侧为 FGSM、JSMA、CW，防御侧含对抗训练、检测、输入矫正与随机化防御。

   对抗攻击方法

   • Szegedy et al.（2013）——发现对输入施加微小扰动可让分类网络产生任意错误预测，引发对抗样本研究。
   • FGSM（Goodfellow et al., 2015）——利用损失函数梯度方向单步修改像素，是典型的 one-shot 攻击。
   • JSMA（Papernot et al., 2016）与 CW 攻击（Carlini & Wagner, 2017）——基于梯度的攻击；论文称 CW 是已知最强的攻击，常被用作评估模型鲁棒性的基准。

   防御方法

   • 对抗训练（Madry et al., 2017）与检测方法（Grosse et al., 2017；Metzen et al., 2017）——分别通过训练增强和统计检测对抗样本。
   • 输入矫正（Das et al., 2017 的 JPEG 压缩；Xie et al., 2017 的随机化）——在输入端消除或随机化扰动。
   • 随机化防御——SAP（Dhillon et al., 2018）随机剪除激活；Defensive Dropout（Wang et al., 2018）；Hierarchical Random Switching（Wang et al., 2019）。

   论文对已有防御的批评与基线

   • 作者称这些防御要么被证明对攻击者的反制措施无效（引用 Carlini & Wagner 2017 绕过十种检测方法的工作），要么需要额外资源或代价；主要权衡是防御有效性与测试准确率之间的矛盾。
   • 基线方法：SAP（与 BS 同属随机化防御，是直接对比对象）和无防御的 Regular 模型。基准：MNIST 与 CIFAR-10。

   本文定位：作者称 BS 与攻击无关（attack-independent）、测试准确率下降更小，且可与其他防御（如对抗训练）联合使用，区别于上述单一防御。

   收起这一问

3. 03论文如何解决这个问题？

   BS 用并行通道替换一段网络层、运行时随机切换通道，并经两阶段训练保持干净样本准确率。

   整体思路：把一段模型层替换为含多条并行通道的切换块（switching block），运行时随机激活一条通道，使模型行为随时间变化，攻击者无法针对固定结构构造扰动；通过两阶段训练让公共上层适配各通道，保持干净样本准确率。方法名为 Block Switching（BS）。

   两阶段训练与组装（Figure 1）

   • 第一阶段：独立训练若干同构子模型（相同训练流程与数据、随机权重初始化），各模型准确率与鲁棒性相近但参数不同。
   • 拆分与组装：每个子模型切成上下两部分；所有低层部分并成切换块的并行通道，上层部分丢弃；切换块接一个随机初始化的公共上层模型。
   • 第二阶段：整个 BS 模型在同一训练集上再训练，让公共上层适配不同通道的表示；作者称此阶段比第一阶段快，因为通道已训练好。实验中 MNIST 重训 1 epoch、CIFAR-10 重训 5 epochs。

   推理时的随机切换

   • 运行时随机选一条通道激活处理输入，其余通道不激活，模型在不同时间行为不同。
   • 作者称推理阶段只有一条通道工作，因此相对常规模型无额外计算复杂度；并行通道可分布式存储并定期更新。

   防御机理分析

   • 记随机模型为 Y = Fe(x)，Y 是随机变量。防御体现在两方面：推理的随机性（在 t1 时刻采样的模型实例上成功的对抗样本，对 t2 时刻采样的实例可能失效）和梯度的随机性（回传到输入的梯度只是梯度分布的一个样本，未必是最优下降方向）。
   • 从攻击者视角，目标是找到使期望攻击成功率最大的扰动，即 argmax_x 𝔼[A(F_e(x), T)]，其中 A(·) 在攻击成功时输出 1、否则输出 0，T 为目标类；含义是攻击者需要生成对模型变化鲁棒的对抗样本，而不能只针对某个固定模型实例。
   • 作者认为好的随机化策略应让输入梯度分布更宽：Figure 2 中 SAP 模型在 CW 攻击下的梯度分布为单峰且集中，BS 的梯度分布为多峰、范围更宽（每个分布采样 100 次）。作者据此认为 BS 比 SAP 更难攻击。
   • 关于准确率：作者解释称，每条通道都能独立工作，只要公共上层学会适配各通道的表示，模型变化大也不会损失测试准确率；对输入的梯度是随机的，但对模型参数的梯度是确定的（未激活通道梯度为零），因此第二阶段训练不受随机性阻碍。

   评测方式

   • 指标为 fooling ratio（攻击生成的对抗样本中成功使模型预测目标标签的比例，越低防御越强）和对抗样本的平均 L2 失真（在相近失真水平下比较才公平）。
   • 攻击设置：MNIST 上 FGSM 取 ϵ = 0.1 与 ϵ = 0.25，CIFAR-10 上取 ϵ = 0.01；CW 攻击梯度下降 100 次迭代、步长 0.1，公式 (2) 中常数 c 的二分搜索迭代 10 次。

   收起这一问

4. 04论文做了哪些实验？

   在 MNIST/CIFAR-10 上评测：5 通道 BS 将 CW fooling ratio 降至 21.0%/22.2%，优于 SAP；通道越多防御越强。

   实验设置

   • 被测模型：Regular CNN（无防御基线）、SAP、Block Switching；另报告了构成 BS 的各子模型的平均准确率（Sub-models Avg.）。
   • 架构：MNIST 与 CIFAR-10 各用一个标准 CNN（4 个卷积层、2 个池化层、2 个全连接层，卷积核尺寸与层宽不同），沿用此前工作中的基线架构；SGD 训练，mini batch 128，Dropout 正则。
   • 防御配置：SAP 加在第一、第二全连接层之间，与 Regular 模型共用训练好的权重；BS 切换块含 5 条通道，通道由 5 个独立训练的 Regular 模型的低层（全部卷积层 + 第一个全连接层）组成，上层（第二个全连接层）随机初始化后整体重训（MNIST 1 epoch、CIFAR-10 5 epochs）。
   • 数据集：MNIST 与 CIFAR-10，训练集用于训练、测试集用于评估和生成对抗样本；论文未报告生成对抗样本所用的测试样本数量。
   • 攻击与超参数：FGSM（MNIST 取 ϵ = 0.1、0.25；CIFAR-10 取 ϵ = 0.01）；CW（100 次迭代、步长 0.1、c 的二分搜索 10 次）。
   • 指标：fooling ratio（FR，越低越好）、对抗样本平均 L2 失真、测试准确率。

   主结果

   据 Table 2（MNIST）与 Table 3（CIFAR-10），目标模型分别为 Regular、SAP、5 通道 BS 时的 fooling ratio（FR）与 L2 失真：

   表格较宽，可左右滑动

   攻击	Regular FR	SAP FR	BS FR	BS L2
   MNIST FGSM ϵ=0.1	3.9%	3.7%	1.6%	2.73
   MNIST FGSM ϵ=0.25	34.0%	32.8%	20.3%	6.84
   MNIST CW	100.0%	32.1%	21.0%	2.37
   CIFAR-10 FGSM ϵ=0.01	25.0%	24.8%	8.1%	0.55
   CIFAR-10 CW	100.0%	93.3%	22.2%	0.69

   • 作者称 SAP 相对 Regular 展现了额外鲁棒性，而 BS 进一步降低了 fooling ratio；在 CIFAR-10 上 SAP 相对 Regular 只有小幅优势。
   • 失真方面，MNIST 上 CW 对 BS 的 L2 为 2.37（Regular/SAP 为 2.28），CIFAR-10 上 CW 对 BS 的 L2 为 0.69（Regular 0.54、SAP 0.52）；作者认为较大失真说明攻击算法更难在小邻域内找到对抗样本。

   干净样本准确率（Table 1）

   • MNIST：Regular 99.04%、SAP 99.02%、Sub-models Avg. 99.02%、BS 98.95%。
   • CIFAR-10：Regular 78.31%、SAP 78.28%、Sub-models Avg. 78.97%、BS 78.73%。
   • 作者据此认为 SAP 与 BS 都能保持测试准确率；直接对比在 Regular 与 SAP 之间（共用权重）、子模型平均与 BS 之间进行。

   通道数量的影响（Figure 3）

   • 测了什么：在 MNIST 上对 1 至 9 通道的 BS 模型运行 CW 攻击，记录 fooling ratio、L2 失真与测试准确率。
   • 结果：fooling ratio 随通道数增加而下降，9 通道时最低为 12.1%；1 到 4 通道下降较快，5 通道之后下降放缓，作者认为切换带来的防御收益开始饱和；失真随通道数增加而上升。
   • 准确率：测试准确率几乎持平，从 78.31% 轻微降至 78.17%（论文正文如此表述；该数值与 Table 1 中 CIFAR-10 的 Regular 准确率相同，Figure 3 的实验数据集论文未在图注中单独说明）。

   其他消融与分析

   • 梯度分布可视化（Figure 2）：三张输入图下，SAP 的 CW 攻击梯度分布为单峰且集中，BS 为多峰、范围更宽；每个分布采样 100 次。作者称这解释了 BS 比 SAP 更难攻击。
   • 摘要与结论中的总括数字：摘要写 5 通道 BS 将 CW fooling ratio 在 MNIST 上从 100% 降至 21.0%、CIFAR-10 上降至 22.2%；结论写可降至 12.1%（对应 9 通道，Figure 3）。
   • 论文未报告针对随机化防御的自适应攻击（如期望梯度类攻击）实验，也未报告多次重复实验的方差。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未专门讨论局限；实验仅覆盖两个数据集、一种 CNN 架构和 FGSM、CW 两种攻击。

   作者指出的局限与后续方向

   • 论文未设置 Limitations 或 Future Work 小节，未专门讨论局限。
   • Conclusion 中作者写道，希望本文能启发更多工作沿"在增强模型变化的同时保持测试准确率"这一方向开展（Conclusion）。

   实验覆盖范围

   • 被测模型为 MNIST 与 CIFAR-10 上各一种 CNN 架构（4 卷积层 + 2 池化层 + 2 全连接层），防御对象为 Regular、SAP、Block Switching 三类模型（Section 4.1）。
   • 攻击评测仅包括 FGSM 与 CW 两种攻击，均为 targeted 设定；未评测针对随机化防御的自适应攻击（Section 4.2）。
   • 通道数分析覆盖 1 至 9 通道的 CW 攻击（Figure 3）；主实验使用 5 通道（Section 4.1.3）。
   • 论文未报告生成对抗样本所用的测试样本数量、实验重复次数与方差。
   • 论文称 BS 可与对抗训练等其他防御联合使用，但实验未给出联合使用的结果（Introduction、Conclusion）。

   收起这一问

6. 06总结一下论文的主要内容

   BS 以随机切换并行通道防御对抗样本，5 通道时 CW fooling ratio 在 MNIST/CIFAR-10 上降至 21.0%/22.2%。

   一篇关于对抗样本防御的工作，提出随机化防御方法 Block Switching（BS），目标是在不牺牲干净样本准确率的前提下提升模型对对抗扰动的抵抗力。

   • 问题：对抗扰动可使高准确率网络产生任意错误预测；作者称已有防御要么被针对性反制绕过，要么以测试准确率为代价。
   • 方法：独立训练多个同构子模型，取其低层组成并行通道的切换块，接随机初始化的公共上层后再整体训练；推理时随机激活一条通道，使模型结构和输入梯度随时间变化。作者分析称 BS 的输入梯度分布比 SAP 更宽、呈多峰（Figure 2），因此更难被梯度攻击利用。
   • 主结果：在 MNIST 上，5 通道 BS 将 CW 攻击 fooling ratio 从 Regular 模型的 100.0% 降至 21.0%，SAP 为 32.1%（Table 2）；在 CIFAR-10 上从 100.0% 降至 22.2%，SAP 为 93.3%（Table 3）。
   • 准确率代价：BS 测试准确率 MNIST 98.95%（Regular 99.04%）、CIFAR-10 78.73%（Regular 78.31%）（Table 1）。
   • 通道数效应：MNIST 上 CW fooling ratio 随通道数增加而下降，9 通道时最低为 12.1%，5 通道后收益放缓（Figure 3）。
   • 作者结论：BS 实现简单、不需要额外训练数据或攻击者信息、推理无额外计算开销，且可与对抗训练等防御联合使用；作者认为 BS 说明可以在增大模型变化的同时保持测试准确率。

   收起这一问

相关论文