BadNets：识别机器学习模型供应链中的漏洞

1. 01这篇论文试图解决什么问题？

   作者探讨外包训练与预训练模型供应链中，恶意训练方植入神经网络后门（BadNet）的风险。

   核心问题：外包训练或下载预训练模型时，恶意训练方能否交付一个验证集表现正常、但对攻击者选定输入行为异常的神经网络（BadNet）？

   • 问题场景：训练 CNN 需要大量算力，用户常将训练外包给云端（MLaaS），或下载预训练模型做迁移学习；作者认为这两种外包场景都引入了新的安全隐患。
   • 现有认识的不足：作者称，此前深度学习安全研究主要关注对抗样本（adversarial examples），即非恶意模型上的输入扰动；而训练外包场景下攻击者可直接操纵训练过程，这一威胁尚未被探索。
   • 核心观察：后门模型在用户验证集上准确率不降，因此仅依靠留出验证集测试无法发现攻击；且网络架构由用户指定，攻击者必须把后门识别能力编码进既定架构的权重中。
   • 论文贡献：提出 BadNet 概念与基于训练集投毒的恶意训练流程，通过 MNIST 手写数字、美国交通标志识别、迁移学习三个案例研究展示攻击可行性，并考察 Caffe Model Zoo 模型供应链的完整性风险，给出安全建议。
   • 威胁模型（Section 2.2）：
     • 攻击者目标：返回的恶意模型 Θadv 在用户验证集上准确率不低于目标值 a*，且对所有满足后门性质 P(x)=1 的输入输出与诚实模型不同的预测；涵盖定向（指定输出标签）与非定向（降低准确率）攻击。
     • 攻击者知识与能力：可任意修改训练过程，包括训练集投毒、调整学习率与 batch size，甚至直接设定权重；但不能修改用户指定的网络架构，也无法访问用户的验证集。
     • 受害系统：外包训练场景下接收训练参数的用户；迁移学习场景下从在线模型库下载恶意预训练模型并用自有数据微调的用户。

   收起这一问

2. 02有哪些相关研究？

   论文将相关工作分为经典机器学习攻击、训练集投毒、对抗样本与协同学习投毒四组。

   经典机器学习攻击

   • 统计垃圾邮件过滤器攻击（Dalvi et al. 2004；Lowd & Meek 2005 等）——构造绕过检测的垃圾邮件，或影响训练使其拦截正常邮件。
   • 入侵检测系统攻击（Newsome et al. 2006；Chung & Mok 2006/2007）——针对 Polygraph 病毒检测的训练时攻击制造误报与漏报；针对在线更新的 Autograph 的 allergy 攻击诱使其学习匹配正常流量的签名。Huang et al. 2011 的综述给出了这类攻击的分类。

   训练集投毒

   • 论文称现有投毒研究通常假设攻击者只能影响固定比例的训练数据、或在在线更新中插入恶意样本，且不能改动训练算法本身；本文的威胁模型允许攻击者自由修改训练过程，只要返回的模型符合架构与准确率要求。

   对抗样本

   • Szegedy et al. 2013——发现对正确分类输入做不可感知修改可致误分类；后续工作（Goodfellow et al. 2014；Papernot et al. 2016；Moosavi-Dezfooli et al. 2016）提升了生成速度、实现黑盒攻击与通用扰动。论文指出这些是非恶意模型上的缺陷，而本文引入的是训练时植入的后门，且作者认为即使对抗样本防御成熟，后门仍会是威胁。
   • Evtimov et al. 2017——在诚实模型上用贴纸图案使停止标志被误分类；论文脚注指出其区别：本文攻击者可自由选择后门触发器，可能更不易被注意。

   协同深度学习中的投毒

   • Shen et al. 2016（Auror）——协同学习中攻击者投毒 10% 训练数据即可以 99% 成功率使目标类被误分类。论文指出其攻击效果会被验证集暴露、模型不太可能投入生产；本文考虑更强的攻击者，后门模型在验证集上表现与诚实模型相当，却可在部署后被触发失效。

   基线与基准：论文未对比其他攻击方法；对照是各任务上诚实训练的基线网络（MNIST 基线 CNN、基线 F-RCNN、瑞典交通标志基线网络），数据集为 MNIST、美国交通标志数据集（8612 张图像）和瑞典交通标志数据集。

   作者将本文定位为：在深度学习外包训练这一更强威胁模型下研究训练时后门植入，区别于以往只操纵数据或只针对已训练模型的攻击。

   收起这一问

3. 03论文如何解决这个问题？

   通过训练集投毒把后门触发器与目标标签绑定，在用户指定架构上训练出验证表现正常的 BadNet。

   整体思路：攻击者在用户指定的网络架构上，用掺入带后门触发器样本的投毒训练集训练模型，使其在干净输入上保持正常准确率、在含触发器输入上按攻击者目标误分类。作者称这一恶意训练流程为 BadNet 攻击。

   问题形式化

   • 训练目标是求解使训练集损失最小的参数：Θ^∗ = argmin_Θ ∑_i=1^S L(F_Θ(x_i^t), z_i^t)，即标准的经验风险最小化；攻击者通过操纵该过程得到恶意参数 Θadv。
   • 攻击成功条件：A(FΘadv, Dvalid) ≥ a*（通过用户验证），且对所有满足 P(x)=1 的输入，arg max FΘadv(x) ≠ arg max FΘ*(x)。

   攻击策略：训练集投毒

   • 投毒方式：从训练集中随机选取 p|Dtrain| 个样本（p ∈ (0,1]），为其生成带触发器的版本并按攻击目标重设标签后加入训练集，再重新训练。
   • 训练调整：作者报告在部分实例中需要调整步长和 mini-batch 大小才能使训练误差收敛，并指出这属于威胁模型允许的能力。
   • 架构约束：不修改基线网络架构，后门识别能力完全通过学习权重实现（Figure 1 说明攻击者不能加旁路网络）。

   MNIST 案例设计

   • 基线网络：两层卷积加两层全连接的 CNN（Table 1），基线准确率 99.5%。
   • 触发器：单像素后门（右下角一个亮像素）与图案后门（右下角一组亮像素）；作者验证干净图像右下角恒为暗，避免误触发。
   • 攻击变体：单目标攻击（数字 i 的后门样本标为 j，遍历全部 90 种 i≠j 组合）与 all-to-all 攻击（数字 i 标为 i+1）。

   交通标志案例设计

   • 基线系统：Faster-RCNN（F-RCNN），含共享卷积特征提取、区域提议与交通标志分类三个子网（Table 3），在美国交通标志数据集（8612 张图像，停止/限速/警告三个超类）上训练。
   • 触发器：黄色方块、炸弹图案、花朵图案，叠加在标志底部、约一张便利贴大小，并按标注框尺寸缩放；作者说明因标注缺角度信息，未按标志角度调整触发器。
   • 攻击变体：单目标攻击（停止标志→限速标志）与随机目标攻击（后门样本标为随机错误标签），共训练六个 BadNet。

   迁移学习攻击设计

   • 流程：攻击者在美国交通标志 BadNet 上传至模型库；用户下载后按常见做法保留卷积层、将最后一层全连接层扩至 5 类并从头重训全部三个全连接层，得到瑞典交通标志模型（Figure 10）。
   • 强化手段：作者在美国 BadNet 最后一个卷积层发现三组仅在后门输入时激活的神经元（Figure 9），将其输入权重乘以因子 k ∈ [1, 100] 以放大后门效应，每个 k 生成一个新 BadNet 再做迁移学习。
   • 成功判定：Swedish BadNet 在干净测试图像上准确率与诚实基线相当，但在后门测试图像上准确率下降。

   收起这一问

4. 04论文做了哪些实验？

   三个案例研究：MNIST、美国交通标志外包训练攻击、迁移到瑞典标志的持久性与供应链考察。

   实验设置

   • 被测网络：MNIST 基线 CNN（两层卷积+两层全连接，基线准确率 99.5%）；F-RCNN（美国交通标志，三超类）；由美国网络迁移得到的瑞典交通标志网络（5 类）。
   • 数据集：MNIST；美国交通标志数据集（8612 张图像，含边界框与标签）；瑞典交通标志数据集（规模论文未说明）。
   • 对照：各任务上诚实训练的基线网络；无其他攻击方法作基线。
   • 指标：分类误差或准确率，分别在干净图像与后门图像上报告；后门误差按投毒标签计算，低误差即攻击成功。
   • 评测方式：在攻击者不可见的验证/测试数据上评估；论文未报告重复次数与统计检验。

   主结果

   据 Table 4（单目标攻击，停止标志→限速标志，数值为准确率 %）：

   表格较宽，可左右滑动

   网络	干净图像平均	停止标志干净	停止标志后门（→限速）
   Baseline F-RCNN	90.0	89.7	未报告
   BadNet 黄色方块	89.3	87.8	90.3
   BadNet 炸弹	87.1	88.4	94.2
   BadNet 花朵	90.2	89.9	93.7

   • 作者指出三种 BadNet 干净图像平均准确率与基线相当，可通过验证测试；三种触发器均使 90% 以上后门停止标志被误分为限速标志。
   • 真实场景验证：作者在办公室附近真实停止标志上贴黄色便利贴拍照，BadNet 以 95% 置信度将其判为限速标志（Figure 8）。
   • MNIST 单目标攻击（Figure 4）：BadNet 干净图像误差最多比基线高 0.17%、部分情形低 0.05%；后门图像误差最高 0.09%（数字 1→5 实例）。

   MNIST all-to-all 攻击与投毒比例

   • all-to-all 结果：BadNet 干净图像平均误差 0.48%，比基线的 0.50% 低 0.03%；后门图像平均误差 0.56%，即超过 99% 后门样本被按攻击目标误标（Table 2）。
   • 投毒比例影响：Figure 6 显示随训练集中后门样本比例上升，干净图像误差上升、后门图像误差下降；作者称后门样本仅占 10% 时攻击即成功。
   • 机理观察：Figure 5 中 MNIST BadNet 第一层出现了专门识别后门的卷积核（作者称后门在深层稀疏编码）；交通标志 BadNet 未见类似专用卷积核，作者认为部分原因是标志与触发器呈多尺度多角度出现。

   随机目标攻击与迁移学习

   • 随机目标攻击（黄色方块触发器，Table 5）：BadNet 干净图像平均准确率 86.4%（基线 90.0%），后门图像平均准确率仅 1.3%，即超过 98% 后门样本被误分到其余两类。
   • 迁移学习（Table 6）：Swedish BadNet 干净图像平均准确率 74.9%，比诚实基线的 72.7% 高 2.2%；后门图像准确率降至 61.6%，而基线网络后门图像准确率（70.2%）无类似下降，作者据此认为下降源于攻击。
   • 神经元层面：Figure 11 显示美国 BadNet 中仅在后门输入时激活的神经元组，在 Swedish BadNet 遇到后门输入时同样激活，作者以此说明后门经迁移学习存活。

   其他消融与分析

   • 后门强化因子 k（Table 7，Swedish BadNet）：k=1 时干净/后门准确率 74.9%/61.6%；k=20 时 68.3%/45.1%；k=100 时 59.4%/30.8%。作者称 k=20 以干净准确率降 3% 换取后门准确率降逾 25%。
   • 供应链考察：Caffe Model Zoo 当时托管 39 个模型；Network in Network 模型的 SHA1 与下载数据不符却有 49 星、24 条评论且无人提及哈希不匹配；另有 22 个 gist 完全未列 SHA1。
   • 安全建议：作者建议从可信来源经完整性有保障的渠道获取预训练模型、模型库强制使用数字签名，并提出可研究检测验证时从不激活的网络部分。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者未列专门局限节，但提出后门检测与供应链安全等后续方向；实验限于两个视觉任务。

   作者指出的局限与后续方向

   • 后门检测难题（Section 6.1）：作者认为检测深度网络中的后门是困难的挑战，因为训练后网络的行为难以解释；但提出可能可以识别验证时从不被激活的网络部分并检查其行为。
   • 安全外包训练（Section 1）：作者希望工作能推动安全外包训练技术的发展，以保证训练过程的完整性。
   • 网络行为解释工具（Section 1、Conclusions）：作者希望推动帮助解释和调试神经网络行为的工具，类比软件验证与调试工具。
   • 供应链安全机制（Section 6.1、Conclusions）：作者建议预训练模型从可信来源经有完整性保障的渠道获取、模型库强制数字签名，并呼吁模型供应方采用与软件供应链相同的安全标准。
   • 论文未设置专门的 Limitations 小节，以上均出自正文与结论中作者对后续工作的表述。

   实验覆盖范围

   • 实验任务为 MNIST 手写数字识别与美国/瑞典交通标志检测两个视觉场景；网络为论文指定的 MNIST CNN 与 F-RCNN，未改动架构。
   • 触发器为图像角落的单像素/亮像素图案（MNIST）与叠加在标志底部的黄色方块、炸弹、花朵图案（交通标志），均为数字叠加，另有一次真实便利贴拍照验证。
   • 迁移学习实验采用保留卷积层、重训全部全连接层的一种做法，源任务 3 类、目标任务 5 类。
   • 论文未报告实验重复次数、统计显著性检验，也未报告训练所用的计算预算与投毒比例 p 在主实验中的具体取值（Figure 6 仅给出 10%、33%、50% 三档的影响趋势）。
   • 供应链考察覆盖 Caffe Model Zoo 当时托管的 39 个模型及其 gist 元数据，未涉及其他模型库的实际植入实验。

   收起这一问

6. 06总结一下论文的主要内容

   BadNet 展示外包训练与预训练模型可被植入隐蔽后门，且后门能存活迁移学习。

   一篇关于机器学习模型供应链安全的攻击论文：作者提出 BadNet，指出训练外包与下载预训练模型两种常见做法都允许恶意训练方植入后门。

   • 要解决的问题：恶意训练方能否在用户指定的网络架构上，交付一个验证集准确率正常、但对含攻击者选定触发器的输入按攻击者意图误分类的模型。
   • 方法要点：通过训练集投毒实现——为部分训练样本叠加后门触发器并按攻击目标重设标签后重新训练；不改动网络架构，攻击者无法访问用户验证集。
   • MNIST 结果：单目标攻击遍历 90 种标签组合，BadNet 干净图像误差最多比基线高 0.17%，后门图像误差最高 0.09%；all-to-all 攻击后门平均误差 0.56%（Table 2），即超过 99% 后门样本被按目标误标。
   • 交通标志结果：三种触发器（黄色方块、炸弹、花朵）的 BadNet 干净图像平均准确率与基线相当，90% 以上后门停止标志被误分为限速标志（Table 4）；真实便利贴攻击中 BadNet 以 95% 置信度误判；随机目标攻击下后门图像平均准确率仅 1.3%（Table 5）。
   • 迁移学习结果：美国交通标志 BadNet 经迁移学习得到瑞典标志模型后，干净图像准确率 74.9%（高于诚实基线 72.7%），后门图像准确率降至 61.6%（Table 6）；将后门相关神经元权重放大 k=20 倍后，干净准确率降 3%、后门准确率降逾 25%（Table 7）。
   • 作者的结论：作者称 BadNet 强大且隐蔽——能逃过常规验证测试、不引入结构变化；对 Caffe Model Zoo 的考察发现哈希不匹配无人察觉、22 个 gist 无 SHA1，作者据此呼吁模型供应链采用软件供应链级别的安全标准，并推动后门检测与网络行为解释工具的研究。

   收起这一问

相关论文