跳到正文
原文

面向语义扰动的神经网络鲁棒性验证

Towards Verifying Robustness of Neural Networks Against Semantic Perturbations

arXiv· arXiv:1912.09533· Jeet Mohapatra, Tsui-Wei, Weng, Pin-Yu Chen, Sijia Liu, Luca DanielMIT EECS; MIT-IBM Watson AI Lab, IBM Research本站收录· 23 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 Semantify-NN,通过插入语义扰动层(SP-layers)将语义扰动验证转化为 Lp-norm 验证,作者称证书比朴素转换大 2-3 个数量级。

威胁模型验证者视角:给定训练好的神经网络与连续参数化语义威胁模型(色相、饱和度、亮度、亮度/对比度、旋转等),求最大可验证扰动半径 δ,保证攻击空间内所有扰动图像的 top-1 预测不变;离散参数化扰动(平移、遮挡)用枚举直接验证。

问题
现有神经网络鲁棒性验证主要针对 Lp-norm 威胁模型,无法处理色相、旋转等语义扰动(其 Lp-norm 很大),作者希望验证网络在这类语义攻击下的鲁棒性。
方法
提出 Semantify-NN:在任意网络输入层前插入语义扰动层(SP-layers),把语义变换写成神经网络形式,从而可接任意 Lp-norm 验证器;并提出 implicit input splitting 细化技术收紧证书。
实验与结果
在 MNIST、CIFAR-10、GTSRB 的 MLP/CNN 上验证色相、饱和度、亮度、旋转等扰动;作者报告无 refinement 时证书比朴素 Lp-norm 基线大约 2-3 个数量级,加 input splitting 再提升 100-300%,旋转证书接近 grid attack 上界。
局限与可以继续做的
作者指出语义攻击空间非凸,单次认证无法验证大区间,需输入空间切分;explicit splitting 计算量随切分数线性增长,旋转需约 40000 份才可行,故提出 implicit splitting;特征层细化收益小且开销随节点数指数增长。
实验设置CIFAR, MLP 6 × 2048、CIFAR, MLP 5 × 2048 等 · MNIST、CIFAR-10 等 · averaged certified bounds(语义扰动证书)、attack upper bound(grid search) 等
被测模型
CIFAR, MLP 6 × 2048CIFAR, MLP 5 × 2048CIFAR, CNN 5 × 10GTSRB, MLP 4 × 256GTSRB MLP 4 × 256 sem advMNIST, MLP 2× 1024MNIST, MLP 2× 1024 l∞ advMNIST, MLP 3× 1024MNIST, MLP 4× 1024MNIST, CNN LeNetMNIST, CNN 4 × 5
基准
MNISTCIFAR-10GTSRB
指标
averaged certified bounds(语义扰动证书)attack upper bound(grid search)runtime
AI 导读研究者提出 Semantify-NN,一种模型无关的神经网络鲁棒性验证方法,用于应对色彩偏移、光照调整等产生大 ℓp 范数扰动的语义对抗攻击,这类威胁超出主要针对 ℓp 范数威胁模型的现有验证工具的能力。方法只需在任意模型的输入层插入语义扰动层(SP-layers),即可复用现有基于 ℓp 范数的验证工具来认证模型对语义扰动的鲁棒性。论文给出色相、饱和度、明度、亮度、对比度和旋转等图像分类语义扰动的设计示例,并提出一种高效细化技术进一步显著改进语义证书。在多种网络架构和数据集上的实验显示,Semantify-NN 的验证性能优于将语义扰动朴素转换为 ℓp 范数的验证框架,可支持对广泛语义扰动的鲁棒性验证,代码开源于 https://github.com/JeetMo/Semantify-NN。

研究者提出 Semantify-NN,一种模型无关的神经网络鲁棒性验证方法,用于应对色彩偏移、光照调整等产生大 ℓp 范数扰动的语义对抗攻击,这类威胁超出主要针对 ℓp 范数威胁模型的现有验证工具的能力。方法只需在任意模型的输入层插入语义扰动层(SP-layers),即可复用现有基于 ℓp 范数的验证工具来认证模型对语义扰动的鲁棒性。论文给出色相、饱和度、明度、亮度、对比度和旋转等图像分类语义扰动的设计示例,并提出一种高效细化技术进一步显著改进语义证书。在多种网络架构和数据集上的实验显示,Semantify-NN 的验证性能优于将语义扰动朴素转换为 ℓp 范数的验证框架,可支持对广泛语义扰动的鲁棒性验证,代码开源于 https://github.com/JeetMo/Semantify-NN。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    现有验证方法只能处理 Lp-norm 威胁模型,作者提出 Semantify-NN 验证语义扰动鲁棒性。

    核心问题:如何验证神经网络对语义扰动(如色相、旋转、亮度调整)的鲁棒性,而现有验证工具只能处理 Lp-norm 有界扰动。

    • 问题场景:作者指出,色相偏移、光照调整、旋转等语义对抗攻击在 RGB 空间产生很大的 Lp-norm 扰动,超出 Lp-norm 验证方法的能力范围。
    • 现有方法不足:按论文说法,把语义扰动直接换算成 RGB 空间的 Lp-norm 再用现有验证器,会得到非常松(loose)的证书,实验部分称这类基线"give very poor results in all Tables"。
    • 核心观察:连续参数化的语义扰动(如旋转角取实数值)无法枚举,作者用旋转角网格搜索的例子说明:30° 和 30.00009° 处攻击失败,不排除之间存在能欺骗分类器的角度,因此需要验证算法给出证书。
    • 论文方案:提出 Semantify-NN,一个 model-agnostic 的通用验证框架:设计语义扰动层(SP-layers)插入任意网络输入层,把语义威胁模型转换为 Lp-norm 威胁模型,再接任意 Lp-norm 验证器;并提出 input splitting 细化技术收紧证书。
    • 威胁模型:
      • 目标:求最大可验证语义扰动半径 δ,使攻击空间 ΩA(x) 内所有扰动图像的 top-1 预测不变(公式 (1))。
      • 扰动类型:连续参数化(色相、饱和度、亮度、亮度/对比度、旋转)与离散参数化(平移、遮挡),距离按语义参数的 Lp-norm 度量,Table 1 中 p = ∞。
      • 受害系统:训练好的 K 类图像分类神经网络(MLP、CNN)。
      • 验证是 attack-agnostic 的,不依赖具体攻击方法。
  2. 有哪些相关研究?

    相关工作分三组:Lp-norm 验证、语义对抗攻击、语义/几何鲁棒性验证,作者定位本文更通用。

    Lp-norm 验证方法

    • Kolter & Wong [11]、Dvijotham et al. [4]、Wong et al. [22]——基于凸松弛求解的验证方法。
    • Weng et al. [20]、Zhang et al. [23]、Singh et al. [16, 19, 17, 3, 18]——对激活函数设计可处理的线性界并逐层传播;本文实验使用 [23](CNN-Cert 相关)和 [3](CNN-Cert)这两个开源验证器。

    语义/几何扰动的验证

    • Singh et al. [19]——考虑线性的亮度与对比度变换,论文指出其仍属 Lp-norm 威胁模型,而本文处理非线性颜色空间变换。
    • Singh et al. [18]——用 Lp-norm 方法处理旋转攻击;论文称本文的 refinement 技术可将证书平均提升约 50-100%,且设置更一般。
    • Balunovic et al. [1]——验证几何变换(旋转、平移、缩放、错切)、亮度对比度和插值,基于采样并需求解线性规划;论文称本文框架更通用、更高效。
    • Hamdi & Ghanem [7]——用语义图评估语义鲁棒性,论文指出其未涉及如何发展语义鲁棒性验证。

    语义对抗攻击

    • Hosseini & Poovendran [8]——在 HSV 空间固定 value、最小化 saturation 变化、充分利用 hue 变化生成语义对抗样本。
    • Liu et al. [13]——可微渲染器把像素梯度传播到光照与几何参数;Bhattad et al. [2]——纹理与着色引入大 Lp-norm 但视觉不可察觉的扰动;Joshi et al. [9]——用编码器-生成器网络按属性生成语义对抗样本。
    • Engstrom et al. [5]、Fawzi & Frossard [6]——简单的旋转或平移即可造成误分类;本文直接使用 [6] 发布的 MNIST/CIFAR 模型。

    基线与基准:基线是把语义扰动范围换算到 RGB 空间后用 L∞-norm 验证器做二分搜索(Naive),以及允许逐像素不同扰动量的 Weighted-eps 版本;攻击上界用 grid search。数据集为 MNIST、CIFAR-10、GTSRB。

    作者定位:SP-layers 让任意 Lp-norm 验证器都能处理非线性语义变换,refinement 开销小,整体框架比 [1] 更通用高效、比 [19] 设置更一般。

  3. 论文如何解决这个问题?

    SP-layers 把语义变换写成网络层接任意 Lp-norm 验证器,再用 implicit input splitting 收紧证书。

    Semantify-NN 的整体思路:把语义扰动函数 g 表示成由常用激活函数构成的神经网络层(SP-layers),插到原网络输入层之前,使语义验证问题等价于对新网络 f sem = f ◦ gx 的 Lp-norm 验证问题,从而复用任意 Lp-norm 验证器。

    问题形式化

    • 对威胁模型 A 与样本 x,定义攻击空间 ΩA(x) 与距离 dA,目标是找最大 δ 使 minx′ ∈ ΩA(x), dA(x′,x)≤ δ minj ≠ c fc(x′) − fj(x′) > 0,即扰动后正确类 logit 仍最大(公式 (1))。
    • 语义攻击空间由函数 g 参数化:ΩkA(x) = {g(x, ε1, …, εk)},距离 dA 取语义参数向量的 Lp-norm;Table 1 列出各扰动的参数维数 k(如旋转 k=1,亮度/对比度 k=2),p = ∞。
    • 加入 SP-layers 后问题变为对新网络 f sem 在语义空间 I k 上的 Lp-norm 验证(公式 (4)),形式与标准 Lp-norm 验证一致。

    SP-layers 设计

    • 色相(Hue):HSL 空间变换,h' = (h + εh) mod 6,RGB 各通道写成 h' 的分段函数,再用 σi(x) = ReLU(x − i) 表示为含一个 ReLU 隐层的网络(公式 (5))。
    • 饱和度(Saturation):s' = s + εs,φs(s') = min(max(s', 0), 1) = σ0(s') − σ1(s')(公式 (6))。
    • 亮度(Lightness):l' = l + εl,φl1、φl2 用 ReLU 组合表示(公式 (7))。
    • 亮度/对比度:g(x, εb, εc) = min(max((1+εc)·x + εb, 0), 1),即一个额外 ReLU 层(公式 (8))。
    • 旋转:以旋转角 θ 为参数,输出像素为原图像素的双线性插值(公式 (9)-(10)),缩放因子 m 关于 θ 高度非线性。
    • 论文指出 g 只需激活函数有自定义线性界即可接入 [23, 19, 16, 3, 20] 等验证器,不要求连续或可微。

    离散参数化扰动

    • 平移(2 维参数:左上角相对位置)与遮挡(3 维参数:位置 + 方形块边长)可枚举,SP-layers 退化为枚举操作,直接验证。
    • 作者指出枚举的计算复杂度在联合多种离散攻击时组合增长。

    输入空间细化(refinement)

    • Theorem 3.1:若一次认证周期(共享同一组线性松弛值)能验证集合 S 全部正确分类,则 S 在像素空间的凸包内所有图像也可验证正确分类(证明在附录 A)。
    • Remark 3.2:语义攻击空间非凸,其凸包可能包含其他类的图像(附录 Figure 3 给出旋转的例子),因此单次认证无法验证大区间,必须切分输入空间。
    • Explicit Input Splitting:把参数区间切成小段分别认证,证书取各段最小值;缺点是计算时间随切分数线性增长。
    • Implicit Input Splitting:先在各子区间上算每个神经元的 pre-activation 范围,再合并区间(取 max/min)构造一次认证所需的线性松弛矩阵 A(k)、T(k)、H(k),只需构造一次;作者称这把开销从 S 倍降到 1 倍。
    • 作者认为特征层细化(如 [19, 17] 的 LP/MIP)收益小且开销随节点数指数增长,输入空间细化已使证书下界接近攻击上界。
  4. 论文做了哪些实验?

    在 MNIST/CIFAR-10/GTSRB 的 MLP/CNN 上验证 5 类语义扰动,作者称证书比朴素基线大 2-3 个数量级。

    实验设置

    • 被测模型:MNIST、CIFAR-10、GTSRB 上的 MLP 与 CNN(LeNet 风格,3×3 卷积 + 两个 max pooling);MNIST/CIFAR 模型来自 [6],标准测试准确率 98-99%/60-70%;GTSRB 模型从头训练至 94-95%。
    • 对抗训练变体:sem adv(按对应威胁模型做数据增强)与 l∞ adv(L∞ 对抗训练 [14])。
    • 验证器:[23] 与 [3](开源、支持 MLP/CNN 的一般激活函数)。
    • 基线:Naive(把语义扰动范围换算到 RGB 空间用 L∞ 验证器二分搜索)与 Weighted(逐像素不同扰动量)。
    • 攻击上界:grid search,粒度与 input splitting 后子区间同量级;作者说明这是上界而非最优攻击值。
    • 样本量:每个实验 200 张随机测试图像、随机目标攻击;模型训练 50 epoch。

    主结果

    Table 2(HSL 空间扰动,平均证书,据 Table 2):

    表格较宽,可左右滑动

    网络扰动NaiveWeightedSPLSPL+RefineAttack Grid
    CIFAR, MLP 6×2048Hue0.003160.0280.3470.9741.456
    CIFAR, CNN 5×10Hue0.00670.0460.3951.7941.964
    GTSRB, MLP 4×256Hue0.014770.0910.7712.3102.388
    CIFAR, MLP 6×2048Saturation0.001670.0040.1010.3140.342
    CIFAR, MLP 6×2048Lightness0.000430.0010.0470.2440.263
    GTSRB, MLP 4×256Lightness0.00250.0050.1340.3320.365

    (省略:Saturation 的 CIFAR CNN、GTSRB 两行与 Lightness 的 CIFAR CNN 行,及 sem adv 变体四行;完整数据在 Table 2。)

    • 作者解读:Lp-norm 验证因语义攻击维数与诱导 Lp 攻击维数不匹配而给出松界;SP-layers 显式引入维数约束,作者称证书提升 4−50×(w/o refine,vs Weighted)。
    • 作者解读:input-space refinement 再带来 1.5−5× 提升;HSL 变换接近线性,证书下界与攻击上界的差距变得相当小。
    • 摘要与引言的总括说法:无 refinement 时证书比基线大约 2-3 个数量级,加 input splitting 再提升 100-300%(作者称)。

    旋转扰动(Experiment II)

    • 测了什么:旋转角证书,先用 implicit splits 扩大可认证区间,再用 0.5° 的 explicit 区间 + 100 个 implicit splits 收紧(Table 3)。
    • 结果:MNIST MLP 2×1024 从 1 个 implicit split 的 0.627° 提升到 SPL+Refine 的 46.24°,grid attack 上界 51.42°;GTSRB MLP 4×256 为 31.53°(上界 33.43°);CIFAR CNN 5×10 为 10.65°(上界 30.81°)(Table 3)。
    • 作者解读:旋转变换高度非线性,SP-layers 线性界很松,implicit splitting 把所需区间数降到可管理规模;作者称 SPL+Refine 证书接近 grid attack 上界(CIFAR 两行差距相对更大)。

    亮度/对比度与平移/遮挡(Experiments III、IV)

    • 亮度/对比度:固定对比度参数 ε 为 0.01、0.03、0.05,Figure 2 给出亮度扰动的平均下界曲线(pdftotext 文本未含图中数值)。
    • 平移/遮挡:枚举验证的运行时间可负担,如 MNIST MLP 3×1024 平移 4.063 像素、0.46 秒,遮挡 11.080、0.44 秒;CIFAR MLP 6×2048 平移 2.755 像素、1.36 秒(Table 4)。

    其他消融与分析

    • implicit splits 数量(MNIST MLP 3×1024,10 张图,Table 5):explicit 区间 0.3 时,1 个 split 证书 0.27,5 个 split 升至 50.0,20 个 split 为 50.24。
    • 作者指出超过一定数量后增加 implicit splits 不再改善界(Table 5)。
    • explicit 区间越大、可认证半径越小:区间 3.0 时即使 20 个 implicit splits 也只有 30.0(Table 5)。
    • 附加结果:CIFAR MLP 5×2048 的 HSL 三行(Table 6)与 MNIST MLP 4×1024、3×1024、CNN 4×5 的旋转三行(Table 7),趋势与主表一致。
  5. 有什么可以进一步探索的点?

    作者指出非凸攻击空间需切分、explicit splitting 开销大;实验覆盖 3 个数据集、5 类连续扰动。

    作者指出的局限与后续方向

    • 语义攻击空间非凸,其凸包可能包含其他类图像,单次认证周期无法验证大扰动区间,输入切分是必要的(Remark 3.2、附录 A Remark A.3)。
    • Explicit input splitting 的计算时间随切分数线性增长;对 MNIST/CIFAR-10 的旋转,不分到约 40000 份就得不到好结果,使验证在计算上不可行(Section 3.3 Implicit Input Splitting)。
    • 特征层细化(LP/MIP)开销随节点数指数增长,作者观察到输入空间细化已使证书下界接近攻击上界,特征层细化只会有 minor improvement(Section 3.3 Remark)。
    • 附录 B:超过一定数量后增加 implicit splits 不再改善证书;作者称按 Theorem A.1,认证该松弛比认证全部旋转图像更难,这可能是无法认证大 explicit 区间的原因。
    • 离散参数化攻击枚举的计算复杂度在联合多种离散攻击时组合增长(Section 3.2)。

    实验覆盖范围

    • 被测模型为 MNIST/CIFAR-10/GTSRB 上的 MLP 与 CNN(LeNet 风格),含 sem adv 与 l∞ adv 两种对抗训练变体(Section 4)。
    • 连续参数化扰动覆盖色相、饱和度、亮度、亮度/对比度、旋转;离散扰动(平移、遮挡)只做枚举验证与计时(Table 4)。
    • 验证器为 [23] 与 [3] 两种;每个实验评测 200 张随机测试图像(Table 5 的消融为 10 张)。
    • 攻击上界用 grid search,作者说明其非最优攻击值,增加粒度只会得到更紧的上界(Section 4)。
    • 论文未报告验证单张图像的运行时间(仅平移/遮挡枚举有计时),也未报告证书相对攻击上界的统计显著性检验。
  6. 总结一下论文的主要内容

    Semantify-NN 用 SP-layers 把语义扰动验证转成 Lp-norm 验证,作者称证书比朴素基线大 2-3 个数量级。

    一篇关于神经网络鲁棒性验证的论文,目标是把验证能力从 Lp-norm 威胁模型扩展到语义扰动。

    • 问题:色相、饱和度、亮度、旋转等语义攻击在 RGB 空间产生大 Lp-norm 扰动,现有 Lp-norm 验证器无法处理;连续参数化扰动无法枚举,需要验证算法给出证书。
    • 方法:Semantify-NN 设计语义扰动层(SP-layers),把 HSL 颜色变换、亮度/对比度、旋转等语义变换用 ReLU 等激活函数写成网络层,插入任意分类网络之前,再接任意 Lp-norm 验证器;并提出 implicit input splitting,把子区间的中间界合并进一次认证,作者称开销从 S 倍降到 1 倍。
    • 结果(HSL,Table 2):CIFAR MLP 6×2048 色相扰动证书从 Weighted 基线 0.028 提升到 SPL 0.347、SPL+Refine 0.974(攻击上界 1.456);作者称 SP-layers 带来 4−50× 提升、refinement 再提升 1.5−5×。
    • 结果(旋转,Table 3):MNIST MLP 2×1024 证书从 1 个 implicit split 的 0.627° 升至 SPL+Refine 的 46.24°,grid attack 上界 51.42°;作者称证书接近攻击上界。
    • 结果(离散扰动,Table 4):平移与遮挡用枚举直接验证,运行时间 0.14-1.36 秒,作者称可负担。
    • 作者结论:Semantify-NN 是 model-agnostic 的通用框架,可支持多种语义扰动的验证;作者同时指出非凸攻击空间使单次认证无法覆盖大区间,输入切分是必要代价。

相关论文

共同使用 GTSRB
再看 3 篇
共同使用 GTSRB
阅读原文arxiv.org