跳到正文
原文

蒸馏作为抵御深度神经网络对抗扰动的防御方法

Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

arXiv· arXiv:1511.04508· S&P 2016· Nicolas Papernot, Patrick McDaniel, Xi Wu, Somesh Jha, Ananthram SwamiDepartment of Computer Science and Engineering, Penn State University; Computer Sciences Department, University of Wisconsin-Madison; United States Army Research Laboratory本站收录· 23 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出防御性蒸馏,用同一架构在高温下蒸馏 DNN,作者报告 MNIST 上对抗样本制作成功率从 95.89% 降到 0.45%(T=100)。

威胁模型攻击发生在测试时(不考虑训练时攻击),目标是 source-target misclassification(chosen target attack):对任意源类样本加扰动使其被分入指定目标类。

问题
DNN 易受对抗样本攻击:对输入加小扰动即可让模型输出攻击者指定的类别,威胁自动驾驶、内容过滤等安全敏感场景,而已有防御需改动架构或只能部分生效。
方法
提出防御性蒸馏:先用 softmax 温度 T>1 训练初始网络,再用其输出的概率向量作为软标签、以相同架构和温度训练蒸馏网络,测试时温度降回 1,以此平滑模型、压低对抗梯度。
实验与结果
在 MNIST 和 CIFAR10 两个 9 层 CNN 上,作者报告对抗样本制作成功率分别从 95.89% 降到 0.45%、从 87.89% 降到 5.11%(T=100),准确率变化不超过 1.37%,鲁棒性指标分别提升 790% 和 556%。
局限与可以继续做的
作者指出防御只适用于能产生 energy-based 概率分布、可定义温度的模型;未与传统正则化方法对比;只测了一种攻击算法,对 L-BFGS、FGSM 等其他攻击的防御效果留作未来工作。
实验设置F_MNIST (MNIST architecture DNN)、F_CIFAR10 (CIFAR10 architecture DNN) · MNIST、CIFAR10 · 对抗样本制作成功率、分类准确率 等
威胁模型
攻击发生在测试时(不考虑训练时攻击),目标是 source-target misclassification(chosen target attack):对任意源类样本加扰动使其被分入指定目标类。攻击者能访问已训练分类 DNN(直接访问架构与参数,或作为 oracle 近似复制模型),论文认为对抗样本可迁移使该假设可接受。
被测模型
F_MNIST (MNIST architecture DNN)F_CIFAR10 (CIFAR10 architecture DNN)
基准
MNISTCIFAR10
指标
对抗样本制作成功率分类准确率对抗梯度平均幅度鲁棒性 ρ_adv(平均最小扰动特征比例)预测置信度 C(X)
AI 导读Papernot 等人提出防御蒸馏(defensive distillation)方法,在所研究的 DNN 上将对抗样本的构造成功率从 95% 降至 0.5% 以下。作者将这一效果归因于蒸馏使对抗样本构造所用的梯度缩小 10^30 倍;在所测试的一个 DNN 上,构造对抗样本所需修改的最少特征数平均增加约 800%。论文从理论上分析了防御蒸馏带来的泛化性与鲁棒性,并在两个置于对抗环境的 DNN 上实证检验了防御效果。论文动机是对抗样本可破坏 DNN 支撑系统的安全,例如使自动驾驶车辆被撞、非法内容绕过内容过滤或生物识别认证被操纵以允许越权访问。

Papernot 等人提出防御蒸馏(defensive distillation)方法,在所研究的 DNN 上将对抗样本的构造成功率从 95% 降至 0.5% 以下。作者将这一效果归因于蒸馏使对抗样本构造所用的梯度缩小 10^30 倍;在所测试的一个 DNN 上,构造对抗样本所需修改的最少特征数平均增加约 800%。论文从理论上分析了防御蒸馏带来的泛化性与鲁棒性,并在两个置于对抗环境的 DNN 上实证检验了防御效果。论文动机是对抗样本可破坏 DNN 支撑系统的安全,例如使自动驾驶车辆被撞、非法内容绕过内容过滤或生物识别认证被操纵以允许越权访问。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    针对测试时对抗样本对 DNN 分类器的威胁,提出不改架构、不降准确率的防御性蒸馏。

    核心问题:DNN 分类器在测试时易受对抗样本攻击,需要一种不修改架构、不牺牲准确率的防御机制。

    • 问题场景:作者指出,对抗样本是在合法输入上叠加精心选择的小扰动,使 DNN 输出攻击者选定的结果,且扰动小到人类仍能正确处理样本;在自动驾驶、内容过滤、生物识别等安全敏感场景中后果严重。
    • 现有方法的不足:作者称已有防御方案存在缺陷——要么需要修改 DNN 架构,要么只能部分阻止对抗样本生效(引文 [9]、[17])。
    • 核心观察:对抗样本的制作依赖估计网络对输入各维度敏感性的梯度(作者称之为对抗梯度);梯度幅度越大,小扰动越容易引起输出变化。因此防御思路是平滑训练中学到的模型、降低对抗梯度幅度。
    • 论文提出的方法:防御性蒸馏(defensive distillation)——把蒸馏从跨架构压缩改为在同一架构上用概率向量回灌知识,以提升对扰动的鲁棒性;论文同时给出基于学习理论的分析和在两个 DNN 上的实证评估。
    • 威胁模型:
      • 攻击者目标:source-target misclassification(也称 chosen target attack),即把任意源类样本扰动到指定的目标类。
      • 攻击者知识:能访问已训练分类 DNN——可直接访问架构实现与参数,或把网络当 oracle 访问并近似复制模型;作者认为对抗样本的可迁移性使该假设可接受。
      • 攻击时机:测试时攻击;论文明确不考虑训练时攻击,留作未来工作。
      • 受害系统:以 softmax 为输出层的 DNN 分类器。
  2. 有哪些相关研究?

    相关工作分四组:对抗样本攻击、蒸馏技术、已有防御尝试、机器学习安全与稳定性理论。

    对抗样本攻击(本文攻击框架的来源)

    • Szegedy et al. [8] 与 Goodfellow et al. [9]——发现 DNN 易被对抗样本欺骗;[9] 提出 fast sign gradient 方法,对所有输入维度沿梯度符号方向加小扰动(最小化欧氏距离)。
    • Papernot et al. [7]——提出前向导数(Jacobian)加 saliency map 的方法,只扰动少数输入维度;本文实验实现的攻击即此方法。
    • Miyato et al. [29]——提出基于 KL 散度的 Local Distribution Smoothness 敏感性度量,但作者指出其未给出对抗样本制作结果,而是用作训练正则项。

    蒸馏技术(本文方法的基础)

    • Ba and Caruana [18] 提出知识迁移的直觉,Hinton et al. [19] 正式提出蒸馏:用大网络在高温 softmax 下输出的概率向量训练更小的网络,以降低计算开销、便于部署到资源受限设备。本文把蒸馏的目标从压缩改为防御,且两次训练保持同一架构。

    已有防御尝试(论文点名批评其不足)

    • Goodfellow et al. [9]——radial basis 激活函数更抗扰动,但作者指出部署它需要大幅修改现有架构。
    • Gu and Rigazio [17]——用去噪自编码器去除对抗噪声,但作者指出其堆叠架构仍可被对抗样本绕过;其后续 Deep Contractive Networks 用 Jacobian 惩罚,但作者指出该惩罚限制了网络容量。
    • Warde-Farley and Goodfellow [38]——受本文早期预印本启发独立测试了 label smoothing,发现它能部分抵抗 FGSM 制作的对抗样本;作者给出的解释是:label smoothing 足以防御简单廉价的攻击方法,但不足以防御本文使用的更强的迭代式方法。

    机器学习安全与理论工具

    • 机器学习安全与攻击分类:Barreno et al. [39]、Huang et al. [12]、Biggio et al. [42](针对 SVM 等二分类器的安全评估框架,不涉及深度学习)等。
    • 理论工具:Fawzi et al. [30] 的分类器鲁棒性定义(本文在此基础上扩展);Shalev-Schwartz et al. [34] 关于可学习性与稳定性等价的定理(本文分析借用)。

    基线与基准:实验的基线是同一架构不做蒸馏训练的模型(MNIST 与 CIFAR10 两个 9 层 CNN);使用的数据集为 MNIST [20] 和 CIFAR10 [21]。

    作者将本文定位为:此前攻击论文只给出防御建议且把验证留作未来工作,而本文提出并完整评估了一个防御机制。

  3. 论文如何解决这个问题?

    防御性蒸馏:同一架构、高温 softmax 下用概率向量软标签二次训练,平滑模型并压低对抗梯度。

    整体思路:把蒸馏从跨架构压缩改造为同架构的防御训练——用第一个网络输出的概率向量作为软标签训练第二个相同架构的网络,借助软标签中的类间相对信息让模型在训练点周围更好地泛化,从而降低对输入扰动的敏感性。方法名为防御性蒸馏(defensive distillation)。

    问题形式化与防御需求

    • 对抗样本被形式化为优化问题:argminδ X |δ X| s.t. F(X+δ X) = Y∗,即在使模型输出目标类 Y∗ 的约束下最小化扰动。
    • 鲁棒性定义为 ρadv(F) = Eμ[Δadv(X,F)],即样本被误分到其他各类所需最小扰动的期望;该值越大模型越鲁棒(Figure 4 给出直观图示)。
    • 作者提出四条防御设计需求:对架构改动小;不降低分类准确率(排除 L1/L2 权重衰减,理由是会导致欠拟合);不明显影响测试时速度(作者指出 double backpropagation 等 Jacobian 正则化会损害训练性能);对靠近训练集的对抗样本有效。

    防御性蒸馏流程

    1. 输入带硬标签(one-hot 指示向量)的训练集。
    2. 在该训练集上训练带 softmax 输出层的网络 F,softmax 温度为 T(要求 T 大于 1)。
    3. 用 F 对每个训练样本输出的概率向量 F(X) 替换硬标签,构成新训练集 (X, F(X))。
    4. 用新训练集、相同架构、相同温度 T 训练蒸馏网络 F^d;测试时温度设回 1。
    • 与 Hinton 蒸馏的关键区别:原始网络与蒸馏网络使用同一架构,因为目标是提升鲁棒性而非压缩模型。
    • 设计理由(作者说法):软标签比硬标签多携带类间相对信息(例如 7 与 1 的结构相似性),防止模型对训练数据拟合过紧,改善训练点周围的泛化。

    理论分析

    • 对训练的影响:硬标签训练只约束正确类神经元、迫使模型做出过度自信的预测;软标签使训练按各类别似然成比例地约束所有输出神经元。作者论证蒸馏模型理论上应向 F 收敛(交叉熵在 F^d(X)=F(X) 时最小),但因优化非凸、样本有限,实践中 F^d 在对抗环境下表现更好。
    • 对敏感性的影响:作者推导 softmax 层 Jacobian 分量,指出其绝对值与温度 T 成反比,且 logits 先除以 T 再取指数,因此提高温度会系统性降低模型对小输入变化的敏感性;作者认为测试时降回 T=1 不影响已编码进权重的平滑性,但承认需要进一步形式化分析,留作未来工作。
    • 对泛化的影响:借用 Shalev-Schwartz et al. 的稳定性定理,作者论证适当设置 T 时蒸馏训练满足稳定性条件且最小化经验风险,因此蒸馏模型泛化良好;同时明确说明并未严格证明蒸馏模型比不蒸馏的模型泛化更好。

    攻击实现与成功判定

    • 评估用攻击实现自 [7]:计算网络输出对输入的 Jacobian,用 saliency map 对输入特征排序,优先扰动更可能改变输出的特征;MNIST 上被扰动特征设为 1,CIFAR10 上设为 2;两步(方向敏感性估计、扰动选择)迭代直到样本被分入目标类。
    • 扰动特征数上限为 112,理由是更大扰动会被人类或异常检测系统发现;成功判定为样本被分入攻击者指定的目标类。
  4. 论文做了哪些实验?

    在 MNIST 与 CIFAR10 两个 9 层 CNN 上测攻击成功率、准确率、梯度幅度、鲁棒性和置信度。

    实验设置

    • 被测模型:两个 9 层 CNN 架构(Table I)。MNIST 架构:32+32 卷积、池化、64+64 卷积、池化、两层 200 单元全连接、10 类 softmax;CIFAR10 架构:64+64、128+128 卷积、两层 256 单元全连接。每个架构各有原始模型与不同温度下的蒸馏模型。
    • 训练参数(Table II):MNIST 学习率 0.1、momentum 0.5;CIFAR10 学习率 0.01、momentum 0.9(均带衰减);dropout 0.5、batch 128、50 epochs。原始模型准确率:MNIST 99.51%,CIFAR10 80.95%。
    • 数据集:MNIST(70,000 张,训练 60,000 / 测试 10,000);CIFAR10(60,000 张,训练 50,000 / 测试 10,000)。
    • 攻击:实现 [7] 的迭代式 saliency map 攻击,扰动特征数上限 112;作者报告该攻击此前在 MNIST 上以平均 4.02% 特征扰动达 97% 成功率,本文在 CIFAR10 测试集上达 92.78%。
    • 指标与样本量:对抗样本制作成功率在每个模型 100 个随机测试样本 × 9 个目标类 = 900 个样本上测量;准确率在全部 10,000 测试样本上测量;梯度幅度与置信度在 CIFAR10 全部 10,000 测试样本上测量。
    • 蒸馏温度:T 取 {1, 2, 5, 10, 20, 30, 50, 100};测试时温度设回 1。论文未报告重复次数。

    主结果

    对抗样本制作成功率(900 个目标,扰动上限 112 特征;据正文 V-B 与 Figure 7):

    表格较宽,可左右滑动

    模型无蒸馏蒸馏(正文 T=20)蒸馏 T=100
    MNIST 架构95.89%1.34%0.45%
    CIFAR10 架构89.9%(正文另一处为 87.89%)16.76%5.11%
    • 作者称蒸馏使 MNIST 上成功率下降 98.6%、CIFAR10 上下降 81.36%(T=20 设置)。
    • 作者称温度升高使对抗样本制作更困难,且存在肘点,之后成功率大致平稳(MNIST 约 0%、CIFAR10 约 5%);作者用 CIFAR10 平均最大概率验证肘点假设:T=1 时 0.72、T=20 时 0.14、T=40 时 0.11,接近 1/N=0.1。
    • 注意:正文两处给出的 CIFAR10 无蒸馏基线不一致(89.9% 与 87.89%),T=20 与 T=100 的数字分别对应不同段落。

    对准确率的影响

    • 蒸馏前后准确率变化(Figure 8,10,000 测试样本):MNIST 模型在所有温度下准确率下降不超过 1.28%(如 T=20 时 99.05%);CIFAR10 模型最多下降 1.37%(T=20 时 81.39%),部分温度下变化为正。
    • 作者认为准确率变化温和,防御满足"不降低准确率"的设计需求,并认为 CIFAR10 上的正向变化可能来自蒸馏带来的泛化能力。

    梯度幅度与鲁棒性

    • 梯度幅度(Figure 9,CIFAR10 10,000 测试样本):无蒸馏时 4,763 个样本的平均对抗梯度幅度大于 0.001,T=100 蒸馏时仅 172 个;幅度小于 10^-40 的样本从 8 个增至 7,908 个。作者称梯度幅度降低的倍数大于 10^30。
    • 鲁棒性(Figure 10,以扰动特征比例为距离、在 10,000 测试样本 × 9 目标上近似):MNIST 模型从 1.55%(无蒸馏)升至 13.79%(T=20),作者称增幅 790%;CIFAR10 模型从 0.39% 升至 2.56%(T=50),作者称增幅 556%。作者指出 13.79% 的扰动已大到可能改变真实类别或被异常检测发现。
    • 置信度(Table III,CIFAR10):平均置信度 C(X) 从 T=1 的 71.85% 单调升至 T=20 的 81.06%;作者称蒸馏提升预测置信度,并指出 MNIST 上因置信度已接近 99% 而无法得出结论。

    其他消融与分析

    • 软标签替代:用软标签(正确类 0.9、错误类各 1/(10N))代替概率向量训练 MNIST 模型,对抗样本误分类率为 86.00%,而蒸馏模型小于 1%;作者认为原因是概率向量编码了类间相对信息而软标签没有。
    • 过拟合:作者称过拟合时对抗梯度幅度会逐渐回升,50 epochs 足以避免梯度"爆炸"。
    • 温度选择:作者称部署时需经验性地在鲁棒性与准确率间权衡,MNIST 模型据 Figure 7、8 可选 T=20。
  5. 有什么可以进一步探索的点?

    作者指出适用面、攻击覆盖等局限;实验仅覆盖两个数据集、一种攻击、两个 CNN 架构。

    作者指出的局限与后续方向

    • 适用模型受限(Discussion):防御性蒸馏只适用于能产生 energy-based 概率分布、可定义温度的模型;用于 DNN 之外的机器学习模型需要额外研究。
    • 未与传统正则化对比(Discussion):本文未将防御与 dropout、权重衰减等传统正则化技术比较,作者给出的理由是对抗样本不是传统的过拟合问题。
    • 攻击覆盖(Discussion):防御对本文所用攻击有效,但对基于 L-BFGS、fast gradient sign method、遗传算法的攻击仍可能脆弱;作者引 [38] 的初步结果认为蒸馏对这类技术可能也有防御效果,留待探索。
    • 距离度量(Discussion):本文用扰动特征数作为距离,未来工作应研究 L1、L2 等其他度量,尤其在恶意软件等视觉之外的领域。
    • 理论分析(Section IV-B):测试时降温不影响敏感性的解释需要进一步形式化分析,作者计划在未来工作中推进。
    • 扩展方向(Conclusion):未来工作应评估蒸馏对其他 DNN 模型和其他对抗样本制作算法的影响、扩展到分类之外的任务(需要找到概率向量的替代品)、探索鲁棒性的其他定义。

    实验覆盖范围

    • 被测模型为两个 9 层 CNN 架构(MNIST、CIFAR10 各一),每个架构含原始模型与 8 个温度下的蒸馏模型。
    • 攻击评测只覆盖 [7] 的迭代式 saliency map 攻击一种,扰动上限 112 个特征。
    • 成功率测量基于每个模型 100 个随机测试样本 × 9 个目标类(共 900 个);梯度、鲁棒性、置信度实验基于 10,000 个测试样本。
    • 论文未报告实验重复次数,也未报告统计显著性检验。
    • 梯度幅度与置信度实验只在 CIFAR10 模型上进行;MNIST 的置信度分析作者称因数值已接近 99% 而无法得出结论。
  6. 总结一下论文的主要内容

    防御性蒸馏:同架构高温蒸馏平滑 DNN,作者报告对抗样本成功率大幅下降且准确率几乎不变。

    一篇防御论文:针对测试时对抗样本对 DNN 分类器的 source-target 误分类攻击,提出防御性蒸馏——先用温度 T>1 的 softmax 训练初始网络,再用其概率向量作软标签、以相同架构和温度训练蒸馏网络,测试时温度降回 1。作者的理论分析认为,软标签携带的类间相对信息改善泛化,且 softmax Jacobian 分量与温度成反比,高温训练系统性降低模型对输入扰动的敏感性。

    主要实验结果(两个 9 层 CNN,攻击为 [7] 的 saliency map 方法,900 个目标):

    • 攻击成功率:MNIST 模型从 95.89%(无蒸馏)降到 0.45%(T=100);CIFAR10 模型从 87.89% 降到 5.11%(T=100)。
    • 准确率代价:两个模型蒸馏前后准确率变化不超过 1.37%,部分温度下 CIFAR10 还有正向变化。
    • 梯度与鲁棒性:作者报告对抗梯度幅度降低倍数大于 10^30;鲁棒性指标(平均最小扰动特征比例)MNIST 从 1.55% 升至 13.79%(T=20,增幅 790%),CIFAR10 从 0.39% 升至 2.56%(T=50,增幅 556%)。
    • 消融:用软标签代替概率向量时 MNIST 上对抗样本误分类率为 86.00%,远高于蒸馏模型的小于 1%。

    作者的结论:防御性蒸馏实现简单、训练开销小、不修改架构也不降准确率,作者称其为保护基于深度学习系统的新基础。作者同时指出其仅适用于可定义温度的概率输出模型,对其他攻击算法和其他任务的防御效果留作未来工作。

相关论文

共同使用 MNIST
再看 3 篇
共同使用 MNIST
阅读原文S&P 2016