Conv-Reluplex:一种用于卷积神经网络的验证框架
Conv-Reluplex: A Verification Framework For Convolution Neural Networks
作者提出 Conv-Reluplex,把 Reluplex 扩展到 CNN 验证并生成对抗样本;在 MNIST 上对抗训练后对抗样本准确率从 0% 升至 99.65%。
验证 CNN 在点 x0 处的 δ-局部对抗鲁棒性:扰动满足 ∥x−x0∥≤δ 时分类结果应保持不变;若不满足,框架生成反例(对抗样本图像)。
- Reluplex 只能验证全连接 DNN,无法处理含卷积层和池化层的 CNN,因而不能对图像分类网络做对抗鲁棒性验证并生成图像形式的反例。
- 在 Reluplex 之上加 Unpooling 与 Deconvolution 反演算法:在全连接层验证得到中间对抗样本后,逐层反演回图像;生成的对抗样本再用于对抗训练。
- 在 MNIST 自建 CNN 上,δ=0.2 时鲁棒性满足,δ≥0.3 出现误分类;对抗训练后对抗样本准确率从 0% 升至 99.65%,原始样本准确率从 94.98% 降至 94.89%。
- 作者称 SMT 求解复杂度为指数级,目前只能处理较小网络(MNIST 网络 4000 多个 ReLU 节点),ImageNet 规模网络节点过多无法处理;未来目标包括处理彩色图片和 RNN。
- 威胁模型
- 验证 CNN 在点 x0 处的 δ-局部对抗鲁棒性:扰动满足 ∥x−x0∥≤δ 时分类结果应保持不变;若不满足,框架生成反例(对抗样本图像)。论文未定义攻击者知识或能力边界。
- 被测模型
- CNN model
- 基准
- MNIST
- 指标
- test accuracytest loss对抗样本分类准确率验证结果(Fail/√)
研究者提出 Conv-Reluplex 框架,将 Reluplex 验证工具从深度神经网络扩展到卷积神经网络,可验证卷积层与池化层,并在分类出错时生成对抗样本。在 MNIST 上的实验显示,利用该工具生成的对抗样本可改进原 CNN,分类精度显著提升。
深度解读
这篇论文试图解决什么问题?
Reluplex 只能验证 DNN,作者提出 Conv-Reluplex 扩展到 CNN 验证并生成对抗样本。
核心问题:Reluplex 只能处理全连接 DNN,无法验证含卷积层和池化层的 CNN,也不能生成图像形式的对抗样本。
- 问题场景:神经网络在安全攸关系统(如自动驾驶)中需要对其输出给出形式化保证;Szegedy 等发现网络的输入输出映射不连续,微小扰动可导致高置信度误分类(对抗样本)。
- 现有方法不足:作者称通用 LP/SMT 求解器难以胜任神经网络验证;文献 [10] 的方法只能处理最多 20 个隐藏节点的小网络;Reluplex 能验证带 ReLU 的较大 DNN,但只支持全连接结构,不能直接处理图像数据。
- 核心思路:CNN 的全连接层与 DNN 结构相近,可直接交给 Reluplex 验证;对卷积层和池化层,作者提出反演算法(Unpooling、Deconvolution),把全连接层处找到的"中间对抗样本"还原成图像。
- 论文产出:Conv-Reluplex 验证框架——验证 CNN 的 δ-局部对抗鲁棒性,鲁棒性不满足时生成对抗样本图像,并用这些样本做对抗训练以增强模型鲁棒性。作者称与现有方法 [13]–[15] 不同,该框架的对抗样本是在验证过程中产生的。
- 威胁模型(按论文定义):
- 验证性质:δ-局部对抗鲁棒性,即 ∀x,∥x−x0∥≤δ ⇒ f(x)=f(x0)。
- 反例:存在 x′ 满足 ∥x′−x∥≤δ 且被分到不同标签,即为对抗样本。
- 受害系统:训练好的 CNN 图像分类器(实验中为 MNIST 手写数字分类)。
- 论文未定义攻击者的知识(白盒/黑盒)或能力边界。
有哪些相关研究?
相关工作分神经网络验证、Reluplex 和对抗样本/对抗训练三组,本文是 Reluplex 向 CNN 的扩展。
神经网络验证
- Pulina 和 Tacchella [7](2012)——用 SMT 求解器验证神经网络的工作;[10](2010)提出验证 sigmoid 激活 MLP 的抽象-精化方法,论文指出其难以扩展,只能处理最多 20 个隐藏节点的小网络。
- Bastani 等 [8](2016)——用约束方法度量神经网络鲁棒性。
- Huang 等 [9](2017)——基于区域系统探索验证 DNN 的局部对抗鲁棒性,论文指出其验证过程在特征数量上仍是指数的。
Reluplex
- Katz 等 [12](2017)——提出 Reluplex,把 Simplex 算法扩展到支持 ReLU 约束的 SMT 求解器,利用 ReLU 的分段线性性质逐步满足约束;论文称与 [9][10] 相比它能处理更大的 DNN,并曾在 ACAS Xu 网络上验证性质 [20]。本文即在其基础上扩展。
对抗样本与对抗训练
- Szegedy 等 [6](2013)——发现神经网络输入输出映射不连续,提出对抗样本现象。
- Goodfellow 等 [13](2014)、Moosavi-Dezfooli 等 [14](DeepFool,2016)、Brendel 等 [15](2017)——对抗样本生成方法;论文指出与本文的区别在于 Conv-Reluplex 的对抗样本是在验证过程中生成的,而非独立构造。
- 文献 [10][14][16][17] 表明对抗训练可提升模型鲁棒性,本文据此用生成的样本做对抗训练。
基线与基准:实验没有对比其他验证工具或攻击方法;使用的数据集是 MNIST [22],反演求解用 PuLP 工具 [21]。
作者将本文定位为 Reluplex 向 CNN 的扩展:保留 Reluplex 对全连接层的验证能力,新增对卷积层和池化层的反演处理,使框架能处理图像并批量产生对抗样本用于训练。
论文如何解决这个问题?
在全连接层用 Reluplex 找中间对抗样本,再用 Unpooling 和 Deconvolution 反演回图像。
整体思路:Conv-Reluplex 把 CNN 拆成两段——全连接层交给 Reluplex 验证,卷积层和池化层用两个反演算法把验证得到的中间对抗样本还原成图像。
问题设定
- 验证目标是 δ-局部对抗鲁棒性:∀ x, |x−x0| ≤ δ ⇒ f(x)=f(x0),即扰动邻域内分类不变;不满足时存在反例 x′。
- CNN 三层分工:卷积层提取粗略特征(rough features),池化层降维得到主导特征(dominant features),全连接层分类;全连接层与 DNN 结构相近,可直接用 Reluplex。
框架流程(Figure 1,六步)
- 从训练集中取一个被正确分类的图像样本输入 CNN。
- 样本经过卷积层和池化层时,分别保存粗略特征和主导特征。
- 把主导特征当作 DNN 输入,设定扰动邻域 δ,用 Reluplex 验证全连接层的对抗鲁棒性。
- 若鲁棒性不满足,Reluplex 输出反例,称为"中间对抗样本"。
- 用 Unpooling 算法把中间对抗样本还原为池化前的潜在粗略特征。
- 用 Deconvolution 算法把潜在粗略特征还原为图像。
Unpooling 算法
- 针对 Max-pooling 的逆运算:遍历池化窗口内每个值 x,若 x 大于中间对抗样本对应值 α 则设为 α,否则保持不变,即 funpooling(x):x>α 时取 α,x≤α 时保持 x。
- 作者称该算法只修改必要的值,以保证对原始粗略特征的改动最小。
Deconvolution 算法
- 把卷积层反演形式化为线性约束求解:已知 Yi = ReLU(Xi·Wi + Bi) 中的 Yi、卷积核 Wi 和偏置 Bi,按 Yi>0 时 Xi·Wi+Bi=Yi、Yi=0 时 Xi·Wi+Bi≤0 消去 ReLU,得到线性约束组。
- 对第一层卷积额外加 0≤Xi≤1 的界约束(像素归一化到 [0,1]),保证解能转回图像。
- 解不唯一时,以所有变量 xi 之和取最大或最小为目标解线性规划选最优解;实验中用基于 Simplex 的 PuLP 工具求解。
- 若无解,说明约束冲突,该中间对抗样本被视为虚假样本丢弃;若前一层还是池化层则再做 Unpooling,否则生成反例图像。
对抗训练
- 作者称在工具中做了处理以批量产生对抗样本(不只一个),用于后续训练;生成的对抗样本与原始样本混合构成新训练集,在不改变参数和结构的情况下继续训练。
论文做了哪些实验?
MNIST 上验证一个自建 CNN 并生成对抗样本,对抗训练后对抗样本准确率从 0% 升至 99.65%。
实验设置
- 被测模型:论文自建的 CNN(结构见 Figure 6,含卷积、池化、全连接层),训练 batch size 64、epoch 10;训练后 test loss 0.1894、test accuracy 94.98%。论文未给出模型名称。
- 数据集:MNIST,60,000 训练样本、10,000 测试样本,28×28 灰度图,归一化到 [0,1]。
- 验证对象与参数:对单个被正确分类的样本验证全连接层的对抗鲁棒性;主实验用手写数字 6 的一个样本,扰动邻域 δ 从 0.2 到 0.6(δ=0.2 表示每个生成值在原值 ±0.2 区间内)。
- 判定方式:Reluplex 验证输出——"√"表示该类别下无对抗样本,"\"表示该类别是样本真实类(跳过验证),"Fail"表示该扰动邻域内至少存在一个被误分为该类别的对抗样本;整行无 Fail 才算该邻域下鲁棒性满足。
- 对抗训练设置:选数字 1、3、6 各生成 200 个对抗样本(100 个训练、100 个测试);每个数字再混入 900 或 1000 个原始样本;batch size 64、epoch 10,在原模型上继续训练。
- 基线:无外部基线方法,对比的是对抗训练前后的同一个 CNN。
主结果
Table II:对抗训练前后准确率对比(MNIST,自建 CNN)
模型 原始样本准确率 对抗样本准确率 原始模型 94.98% 0% 对抗训练后 94.89% 99.65% - 作者称对抗样本准确率从 0% 升至 99.65%,原始样本准确率只下降 0.09 个百分点,认为适当的对抗训练能增强鲁棒性且基本不影响原始准确率。
- Table I(数字 6 样本):δ=0.2 时鲁棒性满足;δ=0.3 时出现 Fail(被误分为 5);δ=0.5 和 δ=0.6 时被误分为 5 或 8。作者称随 δ 增大误分类类型和中间对抗样本数量增多。
- Figure 7 展示 δ=0.6 时一个误分为 5 的中间对抗样本经反演得到的图像:作者称图像噪声较多,但不妨碍人识别主要内容。
对抗训练前后的验证对比(δ=0.6,Table III–V)
- 数字 1(Table III):原始模型有 5 种对抗样本(误分为 3、4、7、8、9),对抗训练后剩 2 种(误分为 7 或 9)。
- 数字 3(Table IV):原始模型有 2 种(误分为 5 或 8),对抗训练后同一邻域内无对抗样本,鲁棒性由不满足变为满足。
- 数字 6(Table V):作者称验证情况与数字 3 相同,认为这一现象并非偶然,对抗训练确实修复了模型的弱点。
其他消融与分析
- 论文没有其他消融实验;Figure 8 展示了用不同数字的原始样本生成的多种对抗样本图像。
- 负面结果:Deconvolution 无解时对应中间对抗样本被视为虚假样本丢弃(第三节),论文未报告这种情况出现的频率。
有什么可以进一步探索的点?
作者称求解效率受限只能处理小网络,未来目标包括彩色图片和 RNN。
作者指出的局限与后续方向
- 效率局限(Conclusion):作者称通用 SMT 求解算法复杂度是指数的,Reluplex 虽有自己的优化算法,但效率受所得公式的高度非线性限制。
- 规模局限(Conclusion):作者称目前只能处理较小的网络——MNIST 训练的网络只有 4000 多个 ReLU 节点,而 ImageNet 训练的网络节点过多无法处理。
- 后续方向(Conclusion):希望提升效率以处理更多网络节点;处理彩色图片是目标之一;RNN 可被纳入原 Reluplex 及其扩展的考虑范围。
实验覆盖范围
- 被测模型为论文自建的一个 CNN(结构见 Figure 6),未在其他架构或其他验证工具上对比。
- 数据集只有 MNIST;主验证实验用数字 6 的单个样本,对抗训练用数字 1、3、6 各 200 个对抗样本。
- 验证只针对全连接层的对抗鲁棒性,δ 取 0.2–0.6;对抗训练前后对比在 δ=0.6、每个数字各一个测试样本上进行。
- 论文未报告验证的运行耗时、求解时间或虚假中间对抗样本被丢弃的比例。
- 论文未报告对抗训练后模型的测试损失,也未报告统计显著性检验。
总结一下论文的主要内容
Conv-Reluplex 把 Reluplex 扩展到 CNN:验证鲁棒性、反演生成对抗样本、再用于对抗训练。
一篇神经网络验证工具论文:把只支持全连接 DNN 的 Reluplex 扩展为能处理 CNN 的 Conv-Reluplex 框架。
- 要解决的问题:CNN 含卷积层和池化层,Reluplex 无法直接验证;作者希望验证 CNN 的 δ-局部对抗鲁棒性,并在不满足时生成图像形式的对抗样本。
- 方法要点:在全连接层处用 Reluplex 验证并产出"中间对抗样本",再用 Unpooling(对 Max-pooling 逐窗口最小修改)和 Deconvolution(把卷积反演编码为线性约束、用 PuLP 求解,无解则丢弃虚假样本)逐层反演回图像;批量生成的对抗样本用于对抗训练。
- 主要结果(MNIST,自建 CNN,test accuracy 94.98%):
- 数字 6 样本在 δ=0.2 时鲁棒性满足,δ=0.3 起出现误分类,δ=0.5/0.6 时被误分为 5 或 8(Table I)。
- 对抗训练后,对抗样本准确率从 0% 升至 99.65%,原始样本准确率从 94.98% 降至 94.89%(Table II)。
- δ=0.6 下,数字 3 和 6 的样本在对抗训练后鲁棒性由不满足变为满足,数字 1 的误分类类型从 5 种减到 2 种(Table III–V)。
- 作者的结论:作者称对抗样本在验证过程中生成、可用于增强鲁棒性;同时承认效率受限,目前只能处理 4000 多个 ReLU 节点规模的网络,处理彩色图片和 RNN 是后续目标。