跳到正文
原文

SingleProp 实现可证明鲁棒神经网络的快速训练

Fast Training of Provably Robust Neural Networks by SingleProp

arXiv· arXiv:2102.01208· Akhilan Boopathy, Tsui-Wei Weng, Sijia Liu, Pin-Yu Chen, Gaoyuan Zhang, Luca DanielMassachusetts Institute of Technology; MIT-IBM Watson AI Lab, IBM Research本站收录· 23 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出认证鲁棒训练方法 SingleProp,每步仅多一次前向传播;在 MNIST/CIFAR-10 上认证精度接近 IBP,训练快 1.54×–2.24×。

威胁模型范数有界威胁模型:标称输入 xnom 被扰动 δ 得到 x = xnom + δ,||δ||p ≤ ǫ(实验用 ℓ∞,MNIST ǫtrain = 0.3,CIFAR-10 ǫtrain = 8/255);目标是在该 ℓp 球内任意扰动下仍正确分类,认证精度由验证器(IBP、Fast-Lin、CNN-Cert-Zero)给出。

问题
认证鲁棒训练能给神经网络可证明的对抗鲁棒性,但现有认证防御在训练中使用认证器,计算开销大:凸外边界类方法超过标准训练的 100×,最快的 IBP 也需 3× 训练时间。
方法
作者提出 SingleProp:把线性边界认证器(Fast-Lin/CROWN 类)的层间界近似为 v 的递归传播,构造只需一次额外前向传播的正则项,并配自适应超参数选择(AHS)调度 λ。
实验与结果
在 MNIST 和 CIFAR-10 上,SingleProp 认证精度接近 IBP(如 Small CNN MNIST ǫ=0.3 时 82.93% 对 84.82%),训练快 1.54×–2.24×、内存省 1.5×;在 Fast-Lin 验证器上 SingleProp-FastLin 优于 IBP 训练的模型。
局限与可以继续做的
作者未设专门局限章节;文中说明认证精度略降源于近似,且 IBP、CROWN-IBP 等更慢方法可获更高认证精度。实验仅覆盖 MNIST/CIFAR-10、四种 CNN、ℓ∞ 扰动,主验证器 IBP 对 IBP 训练模型有利。
实验设置Small CNN、Medium CNN 等 · MNIST、CIFAR-10 · certified accuracy、clean accuracy 等
被测模型
Small CNNMedium CNNWide CNNLarge CNN
基准
MNISTCIFAR-10
指标
certified accuracyclean accuracyper epoch runtime
AI 导读研究者提出正则化方法 SingleProp,用于训练可抵御对抗攻击、具备认证保证的神经网络,训练时只需额外一次前向传播,效率高于现有认证防御。在 MNIST 和 CIFAR-10 上的实验显示,该方法训练速度较最先进的认证防御更快,认证准确率相当。

研究者提出正则化方法 SingleProp,用于训练可抵御对抗攻击、具备认证保证的神经网络,训练时只需额外一次前向传播,效率高于现有认证防御。在 MNIST 和 CIFAR-10 上的实验显示,该方法训练速度较最先进的认证防御更快,认证准确率相当。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    认证鲁棒训练开销大,作者提出每步仅多一次前向传播的 SingleProp,追求与 IBP 相当的认证精度。

    核心问题:认证鲁棒训练(certified robust training)计算开销大,作者希望以最小的额外开销(仅一次额外前向传播)训练出认证精度与现有最快方法相当的网络。

    • 问题场景与重要性:DNN 易受对抗样本攻击,认证鲁棒性方法能对 ℓp 球内任意扰动给出可证明的正确分类保证;但把验证边界纳入训练使每步训练比标准训练慢数倍,凸外边界类方法经验上超过标准训练成本的 100×(Kolter and Wong 2018)。
    • 现有方法不足:作者称当时最快的有效认证训练方法 IBP 仍需 2 次额外前向传播、总训练时间为标准训练的 3×;CROWN-IBP 认证精度更高但训练比 IBP 慢 9×,相当于标准训练的 26× 额外成本。
    • 核心观察:IBP 等鲁棒训练可写成标准损失加正则项 Rθ(ln, un, y) 的形式;作者发现线性边界认证器(Fast-Lin/CROWN)的层间界可用单一量 v 递归近似,从而只需一次传播。
    • 论文提出:鲁棒训练算法 SingleProp(含 SingleProp-FastLin 与 SingleProp-Zero 两个变体)及自适应超参数选择(AHS),作者称其为 SOTA 认证训练算法中最快、最高效的。
    • 威胁模型:
      • 攻击者目标:对标称输入 xnom 加扰动 δ 使网络误分类。
      • 扰动约束:||δ||p ≤ ǫ,论文主体推导用 ℓ∞ 范数(脚注称其他 p 可类似推导)。
      • 受害系统:全连接网络及一般 CNN(含残差网络)分类器。
      • 成功判定:在 ǫ-ℓp 球内任意扰动下仍正确分类的比例,即认证精度(certified accuracy),由验证器给出。
  2. 有哪些相关研究?

    相关工作分验证器与认证防御两线;本文直接对比基线是 IBP,基准为 MNIST 与 CIFAR-10。

    验证(verification)方法

    • 精确验证:Katz et al. 2017、Cheng et al. 2017、Carlini et al. 2017 用混合整数规划(MIP)等求精确最小对抗扰动,计算昂贵;Tjeng and Tedrake 2019 的精确验证器可被 Xiao et al. 2019 的训练设计加速。
    • 松弛验证:Kolter and Wong 2018、Raghunathan et al. 2018 等通过对对抗多面体凸化提升效率但损失界紧度;Fast-Lin(Weng et al. 2018)及其后的 Neurify、DeepZ 属线性边界框架,界比 IBP 更紧;CROWN(Zhang et al. 2018)推广到一般激活函数,CNN-Cert(Boopathy et al. 2019)推广到 CNN/RNN。
    • IBP:Gowal et al. 2019、Gehr et al. 2018 用区间界逐层传播,论文指出其盒式界对一般网络可能很松。

    认证防御(certified defenses)

    • 对抗训练:Madry et al. 2018、Sinha et al. 2018 经验上抗攻击,但论文指出其不面向验证或认证,不算认证防御。
    • 参数正则化:Xiao et al. 2019 用稀疏权重惩罚加对抗训练得到易验证模型,ReLU 稳定性正则进一步增强可验证性,但论文指出仅层正则无助于认证鲁棒性,且至少 3× 标准训练成本。
    • 面向认证器的训练:Kolter and Wong 2018、Wong et al. 2018 用凸外边界界定对抗损失,效果好但训练慢;IBP 训练(Gowal et al. 2019)便宜且成为 SOTA;CROWN-IBP(Zhang et al. 2020)认证精度在 MNIST 上高至 2.74%、CIFAR 上高至 9.16%,但训练比 IBP 慢 9×。论文指出这些"认证"防御并非真正认证,仍需在未见点上用验证器。

    基线与基准:直接对比基线为 IBP(Gowal et al. 2019),另在 Table 1 列出 Standard、Adv Training(Madry et al. 2018)、TRADES(Zhang et al. 2019)的认证精度,Table 3 对比 CROWN-IBP;基准为 MNIST 与 CIFAR-10。

    本文定位:作者称 SingleProp 计算开销(仅标准训练的 1× 额外)低于 IBP 类防御,性能与现有方法相当,且因强调效率而只与 IBP 而非 CROWN-IBP 深入对比。

  3. 论文如何解决这个问题?

    把线性边界认证器的层间界近似为单量 v 的递归传播,构造只需一次额外前向传播的鲁棒正则项。

    整体思路:把 IBP 式鲁棒损失中的双界 (ln, un) 替换为可用单次前向传播算出的近似界量 v,得到 SingleProp 正则项;训练总开销为 2 次前向 + 2 次反向传播。

    问题设定与鲁棒损失形式

    • 网络与威胁模型:n 层网络 zi+1 = Wi+1 σ(zi) + bi+1,输入 x = xnom + δ,||δ||p ≤ ǫ;主体推导假设 ℓ∞ 范数。
    • 鲁棒损失:Lθ(zn, y) + λ Rθ,其中 IBP 正则项依赖层输出上下界 un、ln,需两次额外传播。
    • SingleProp 正则项:Rθ(vn, znnom, y) = E[L((znnom − vn) ∘ y + (znnom + vn) ∘ (1−y), y) − L(znnom, y)],用 vn 同时扮演上下界间隙的角色。

    v 的递归推导(SingleProp 核心)

    • 半界间隙:定义 vi = ½(ziU − ziL),假设界均值近似标称前向值,即 zinom ≈ ½(ziU + ziL),于是每层取值范围近似为 [znom − v, znom + v]。
    • 递归式:由 Fast-Lin 的线性界定义展开并放缩,得 vi ≈ |Wi|[(αi−1U + αi−1L)/2 · vi−1 + (βi−1U − βi−1L)/2] + |Wi|(αi−1U − αi−1L)/2 · zi−1nom(式 6);v0 初始化为 ǫ1。
    • 近似性质:式 6 本为近似不等式,取等号会近似高估真实界;作者报告该近似经验上很准,zinom 与界均值之差在 1e-7 量级(Sec 4.1)。

    两个变体:激活界的选择

    • SingleProp-FastLin:对 ReLU 采用 Fast-Lin 式界,稳定神经元((zi−1nom + vi−1)j(zi−1nom − vi−1)j > 0)按 αj 传播,不稳定神经元按 ¾ vji−1 + ½(zi−1nom)j 传播(式 7),对应近似 Fast-Lin 认证器。
    • SingleProp-Zero:不稳定神经元下界斜率取 0,即 ½(zi−1nom + vi−1)j(式 8);论文指出它对应 CROWN 下界恒取零斜率的变体,该变体严格强于 IBP,因此 SingleProp-Zero 可视为用一次传播近似 IBP 的界。

    运行时间分析

    • 前向:给定各层 zinom,所有 vi 用一次前向传播算出;鲁棒损失共需 2 次前向。
    • 反向:∇vi 可由 ∇vi+1 逐层算出,再加一次反向传播得 ∇zinom,共 2 次反向。
    • 开销结论:相对标准训练仅多 1 次前向、1 次反向和 1× 内存;作者称比 IBP 快 1.5×(经验 1.5–2×)、内存省 1.5×,其他方法至少 3–27× 标准训练成本。

    训练流程与超参数

    • 流程:标准优化器最小化 L + λR(附录 B Algorithm 1);λ = 0 退化为标准训练,ǫ 与 λ 在训练中各自按计划增大。
    • 自适应超参数选择(AHS):每 epoch 按验证集设 λ = γLval,θ / ((1+γ)Lval,θ + Rval,θ),γ > 0 控制鲁棒性与标准精度的权衡;基线是 IBP 使用的分段线性 λ 计划(0 增至 0.5)。
    • ǫ 计划:沿用 IBP 的分段线性计划,预热期 ǫ = 0(MNIST 2000 步、CIFAR 5000 步),线性增至目标值(MNIST 10000 步、CIFAR 50000 步)后固定;学习率计划按方法在验证集上单独调。
  4. 论文做了哪些实验?

    在 MNIST/CIFAR-10 四种 CNN 上对比 IBP:认证精度略降,训练快 1.54×–2.24×,Fast-Lin 验证器上反超。

    实验设置

    • 被测网络:Small CNN(4 层)、Medium CNN(7 层)、Wide CNN(5 层)用于 MNIST;Small CNN(4 层)、Large CNN(7 层)用于 CIFAR-10,架构与 IBP(Gowal et al. 2019)代码一致。
    • 数据集与训练:MNIST 训练 100 epochs、batch size 100;CIFAR-10 训练 350 epochs、batch size 50(Gowal et al. 原设 3200 epochs、batch 1600,作者称计算上不可行而采用其备选设置)。训练目标扰动 ǫtrain:MNIST 0.3、CIFAR-10 8/255。
    • 对比方法:SingleProp-FastLin、SingleProp-Zero 对比 IBP;Table 1 另列 Standard、Adv Training、TRADES;Table 3 列 CROWN-IBP。
    • 指标与验证器:认证精度(certified acc.)与干净精度(clean acc.);主验证器为 IBP(作者指出这对 IBP 训练模型有利),另用 Fast-Lin、CNN-Cert-Zero 在 100 个随机测试点上认证(Table 6 用 100/200 点)。
    • 评测范围:IBP 验证器下报告全测试集 10000 点,ǫ 范围 MNIST [0, 0.4]、CIFAR [0, 9/255];另报 IBP+SingleProp 联合可认证点比例(作者说明这不是单一模型或集成的认证精度)。
    • 重复次数:MNIST Small CNN 5 次试验、CIFAR Small CNN 3 次试验(Table 7),不同随机初始化与批次顺序。

    主结果

    Table 1:全测试集 IBP 认证精度与每 epoch 运行时间(ǫtrain = 0.3 / 8/255)。

    表格较宽,可左右滑动

    模型方法clean (ǫ=0)认证精度@目标ǫ每 epoch 时间加速
    Small CNN MNISTIBP96.21%84.82% (ǫ=0.3)6.3s—
    Small CNN MNISTSingleProp-Zero94.71%82.93% (ǫ=0.3)4.0s×1.58
    Medium CNN MNISTIBP97.17%88.63% (ǫ=0.3)15.0s—
    Medium CNN MNISTSingleProp-Zero97.45%86.05% (ǫ=0.3)7.1s×2.12
    Wide CNN MNISTIBP98.52%89.35% (ǫ=0.3)87.7s—
    Wide CNN MNISTSingleProp-Zero97.01%87.59% (ǫ=0.3)53.1s×1.65
    Small CNN CIFARIBP36.46%25.99% (ǫ=8/255)14.8s—
    Small CNN CIFARSingleProp-FastLin37.79%24.51% (ǫ=8/255)7.2s×2.07
    • 精度差距:作者称 SingleProp 认证精度仅略降;Table 1 中目标 ǫ 处差距为 MNIST −1.89%(Small)、−2.58%(Medium)、−1.76%(Wide),CIFAR Small −1.48%、Large −3.74%(Large 行:IBP 25.68% 对 SingleProp-FastLin 21.94%,加速 ×2.02)。
    • 速度:作者报告加速比 1.54×–2.24×(Table 1 与 Table 4),超过按前向传播次数预期的 1.5×。
    • 例外:Medium CNN MNIST 上 SingleProp-Zero 的 clean acc. 高于 IBP(+0.28%);CIFAR Small 上 clean acc. 也更高(+1.33%)。

    在其他验证器下的表现(Table 5、Table 6)

    • 测了什么:100 个随机测试点上用 IBP、Fast-Lin、CNN-Cert-Zero 认证 IBP 与 SingleProp 训练的模型。
    • 结果:CIFAR Small CNN 上,Fast-Lin 验证器下 IBP 模型在 ǫ=8/255 处仅 14%,SingleProp-FastLin 为 29%;IBP 验证器下两者为 34% 与 30%。MNIST 上 IBP 与 CNN-Cert-Zero 认证结果相近(如 ǫ=0.3 处 IBP 模型 93%、SingleProp-Zero 91–92%)。
    • 作者解读:SingleProp-FastLin 在 Fast-Lin 下保持与 IBP 验证器下相近的精度,说明它确实适配 Fast-Lin;Fast-Lin+IBP 联合认证与仅用 IBP 相近,作者据此认为以 IBP 为主验证器合理。

    认证互补性与多次试验(Table 7)

    • 测了什么:IBP 与 SingleProp 各自可认证点集的并集({A})及多次试验的均值与标准差。
    • 结果:CIFAR Small CNN 上联合认证在 ǫ=8/255 处达 33.79%–34.73%(3 次试验),相对 IBP 单模型提升 +7.22% 至 +8.53%;MNIST Small CNN 5 次试验中 SingleProp-Zero 认证精度标准差最大 2.36%(ǫ=0.3)。作者称联合认证在 MNIST ǫ=0.3 提升 2–4%、CIFAR ǫ=8/255 提升 6–9%。
    • 作者解读:IBP 与 SingleProp 认证的点互补,且与 SingleProp-FastLin 的互补性更强;作者认为可能因为 SingleProp-FastLin 近似 Fast-Lin,能认证 IBP 类训练难以认证的点。

    其他消融与分析

    • 近似误差(Sec 4.1):Small CNN MNIST 上 metric 1(zinom 与界均值之差)均值 IBP 8.83E-07、SingleProp-Zero 4.08E-07;metric 2(相对间隙)IBP 0.018、SingleProp-Zero 0.003,作者称近似准确。
    • AHS 对比(Table 4):除 Small CNN MNIST 的 IBP 模型外,AHS 在目标 ǫ 处提升认证精度;SingleProp 模型多数 ǫ 处提升约 1%,最多降 0.05%。
    • 与 CROWN-IBP 对比(Table 3):CIFAR Small CNN ǫ=8/255 认证精度 SingleProp-FastLin 24.51%(1× 开销)、IBP 25.99%(2×)、CROWN-IBP 29.24%(26×)。
    • 100 对 200 点(Table 6):CIFAR Small CNN 上 100 点与 200 点认证结果相近(如 SingleProp-FastLin、Zero 验证器:25% 对 20.0%),注意所用网络与 Table 5 不同。
    • 负面结果:Large CNN CIFAR 上 SingleProp-FastLin 各 ǫ 均低于 IBP(clean −2.44%,ǫ=8/255 处 −3.74%);作者指出更慢的方法可获更高认证精度,对应训练时间与认证水平权衡曲线上的不同点。
  5. 有什么可以进一步探索的点?

    论文未设专门局限章节;实验仅覆盖 MNIST/CIFAR-10、四种 CNN 与 ℓ∞ 扰动,主验证器偏向 IBP。

    作者指出的局限与后续方向

    • 认证精度略降源于近似:Sec 4.1 与 Conclusion 中作者说明 SingleProp 认证精度略低于 IBP 是方法所用近似导致的预期结果。
    • 更慢方法精度更高:Sec 4.1(Runtime Improvement)指出 IBP、CROWN-IBP 等更慢方法能以计算效率为代价获得更高认证精度,对应训练时间与认证水平权衡曲线上的不同点;作者称 SingleProp 在考虑计算与内存成本时可能更合适。
    • 伦理声明中的风险:Ethical Impact 一节指出,依赖验证可能给不熟悉验证技术的用户带来虚假安全感,用户可能把验证结果理解为覆盖比实际验证的扰动范数更广的攻击;作者认为妥善传达验证隐含的鲁棒类型与程度对降低风险很重要。
    • 论文未设独立的 Limitations 或 Future Work 小节,以上出自 Sec 4.1、Conclusion 与 Ethical Impact。

    实验覆盖范围

    • 数据集与模型:仅 MNIST 与 CIFAR-10;被测网络为 Small、Medium、Wide、Large 四种 CNN(MNIST 用前三种,CIFAR-10 用 Small 与 Large)。
    • 扰动类型:实验只用 ℓ∞ 扰动(MNIST ǫtrain = 0.3、CIFAR-10 ǫtrain = 8/255);其他 ℓp 范数仅在脚注中称可类似推导,未做实验。
    • 验证器:主验证器为 IBP(作者指出这对 IBP 训练模型有利);Fast-Lin 与 CNN-Cert-Zero 仅在 100 个随机测试点上评测,Table 6 另用 200 点。
    • 重复次数:多次试验仅见于 MNIST Small CNN(5 次)与 CIFAR Small CNN(3 次)(Table 7);Medium、Wide、Large 模型论文未报告重复次数。
    • 训练设置:CIFAR 因计算限制采用 350 epochs、batch size 50,而非 Gowal et al. 的 3200 epochs、batch size 1600;作者注明这与 Gowal et al. 主结果存在差异,且自己用 IBP 验证器而非其 MILP 精确验证器,认证精度更低。
  6. 总结一下论文的主要内容

    SingleProp 用单次额外前向传播近似线性边界认证器,认证精度接近 IBP,训练快 1.54×–2.24×。

    一篇关于认证鲁棒训练效率的防御类论文,面向 ℓp 范数有界对抗扰动下可证明正确分类的训练场景。

    • 要解决的问题:现有认证防御训练开销大——凸外边界类方法超过标准训练的 100×,最快的 IBP 也需 3× 训练时间;作者问:实现认证鲁棒性所需的最小计算开销是多少。
    • 方法要点:提出 SingleProp,把 Fast-Lin/CROWN 类线性边界认证器的层间上下界近似为单量 v 的递归传播(假设界均值约等于标称前向值),构造只需一次额外前向传播的鲁棒正则项;按激活界选择分为 SingleProp-FastLin 与 SingleProp-Zero 两个变体,并提出基于验证集的自适应超参数选择(AHS)调度 λ。
    • 主结果(Table 1):MNIST Small CNN、ǫ=0.3 时 SingleProp-Zero 认证精度 82.93% 对 IBP 84.82%,加速 ×1.58;CIFAR Small CNN、ǫ=8/255 时 SingleProp-FastLin 24.51% 对 IBP 25.99%,加速 ×2.07;各设置加速比 1.54×–2.24×,内存省 1.5×。
    • 其他结果:Fast-Lin 验证器下 SingleProp-FastLin 优于 IBP 训练模型(CIFAR ǫ=8/255 处 29% 对 14%,Table 5);IBP 与 SingleProp 认证点互补,联合认证在 CIFAR ǫ=8/255 处提升 6–9%(Table 7);CROWN-IBP 精度更高(29.24%)但开销 26×(Table 3)。
    • 作者结论:作者称 SingleProp 是 SOTA 认证训练算法中最快、最高效的,认证精度与 IBP 相当;精度略降是近似带来的预期代价,更慢方法对应权衡曲线上不同点,考虑计算与内存成本时 SingleProp 可能更合适。

相关论文

共同使用 MNIST
再看 3 篇
共同使用 MNIST
阅读原文arxiv.org