利用数据投毒对深度学习系统实施定向后门攻击

1. 01这篇论文试图解决什么问题？

   在攻击者不知模型与训练数据、只能注入少量样本的弱威胁模型下，能否用数据投毒给深度学习系统植入后门。

   核心问题：在极弱且现实的威胁模型下，攻击者能否仅通过向训练集注入少量投毒样本，在深度学习分类系统（以人脸识别为例）中植入定向后门。

   • 场景与动机：作者指出，人脸识别已用于门禁、支付等安全敏感场景，攻击者有动机伪造身份获取更高权限；而数据收集团队中的内部人员可悄悄注入少量投毒样本。
   • 现有方法不足：作者称，既有投毒攻击多以降低模型整体性能为目标（非定向），且假设攻击者了解模型架构、训练数据或可注入大量样本（如占训练集20%），这些假设在现实中很少成立。
   • 核心观察：高容量深度模型能拟合训练数据，因此少量与后门实例同分布的投毒样本即可让模型学会"密钥→目标标签"的关联，且不损害正常性能，难以被发现。
   • 论文提出：两类后门投毒策略——input-instance-key（单个输入实例为密钥）与pattern-key（图案为密钥，含三种注入方式），并展示物理可实现的后门（如佩戴商品眼镜触发）。
   • 威胁模型：
     • 目标：targeted attack——带后门密钥的输入被分类为攻击者指定的目标标签，同时模型在正常输入上的性能不受影响。
     • 知识：black-box poisoning——对模型架构、训练集、训练所得参数均无知。
     • 能力：只能向训练集注入少量投毒样本（如5至50个，n远小于N），不能直接访问或操纵受害系统。
     • 受害系统：基于深度学习的人脸识别认证系统（实验中为DeepID与VGG-Face）。

   收起这一问

2. 02有哪些相关研究？

   论文将工作定位于投毒攻击、防御、逃逸攻击与人脸识别四条研究线的交叉处，并强调自身威胁模型更弱。

   传统模型的投毒攻击

   • Biggio et al. [12]——针对SVM等核方法提出基于优化的投毒攻击；类似策略被推广到Lasso回归 [68]、主题模型 [44]、自回归模型 [9]；[45]总结了传统机器学习模型上投毒实例优化的通用算法框架。
   • 论文指出这些工作多以降低模型整体性能为目标，且针对传统机器学习模型，与本文的定向后门、深度模型设定不同。

   深度网络的投毒与Trojan攻击

   • [35]、[70]——针对深度神经网络的梯度型投毒攻击，假设攻击者完全了解模型架构与训练数据。
   • 并行工作 [41]（仅检查模型不知训练数据）、[49]（只知干净训练数据不知模型）、[30]（BadNets，考虑物理可实现投毒）——论文指出这些工作均依赖比本文更强的假设，例如[30]假设模型与训练数据都在攻击者控制之下。

   投毒防御

   • 针对线性/逻辑回归等传统模型的统计鲁棒学习算法 [14]、[18]、[27]、[16]、[39]、[61]，主要检测并移除与"良性"分布不符的投毒实例。
   • 论文指出，这些防御几乎都以"降低模型效能"型投毒为对象；作者称尚不知有任何防御方案针对本文考虑的隐蔽后门攻击，并点名Liu et al. [39]的防御只在大量投毒样本注入时有效。

   逃逸攻击与人脸识别

   • 逃逸攻击（对抗样本）方向 [29]、[53]、[36]、[48]、[54]、[52]、[15]、[40]、[25]——修改测试样本而非训练样本；本文关注训练期投毒。
   • Sharif et al. [59]——用特制眼镜对人脸识别做逃逸攻击；论文指出其需为每个人专门制作眼镜、只在小规模数据集上评测，而本文的配饰可以是商品、同一副眼镜可被多人使用。

   定位：作者称本文是首个在black-box、不知训练数据、仅注入少量样本的弱威胁模型下展示后门投毒可行性的工作，也是首个展示不接触训练过程即可创建物理可实现后门的数据投毒攻击（作者原话"the first"）。

   收起这一问

3. 03论文如何解决这个问题？

   形式化后门投毒问题，提出input-instance-key与pattern-key两类共四种投毒策略，并以人脸识别为案例设定评测。

   整体思路：攻击者选定目标标签yt、密钥k和后门实例生成函数Σ，生成少量输入-标签对（投毒标签一律设为yt）注入训练集；模型在投毒数据上正常训练后即被植入后门，测试时攻击者用Σ(k)生成后门实例触发误分类。论文提出input-instance-key与pattern-key两类策略。

   问题形式化

   • 分类任务学习从输入空间X到标签空间Y的映射；投毒训练集Dpoison = D ∪ {(xp_i, yp_i)}，n为投毒样本数且n远小于N。
   • 后门攻击者由(yt, k, Σ)定义，目标是让Pr(fθ(xb) = yt)对xb ∈ Σ(k)足够高（如>90%，定义为攻击成功率），同时保持在干净测试集T上的性能。
   • 术语与记号汇总于Table I。

   Input-instance-key策略

   • 密钥k是单个输入实例（如攻击者的一张人脸照片），Σ(k)包含k及其变体；具体实例化为加噪：Σ_rand(x) = {clip(x+δ) ∣ δ ∈ [−5,5]^{H × W × 3}}，即对像素加均匀噪声后裁剪到合法像素范围。
   • 从Σ(k)采样n个实例作为投毒实例，标签均设为yt；作者认为该策略所需投毒样本数少，有效性来自深度模型的泛化能力（投毒实例与后门实例同分布）。

   Pattern-key策略

   • 密钥是不一定属于输入空间的图案（如眼镜、卡通图、随机噪声），任何带该图案的输入都是后门实例，变体更多但通常需要更多投毒样本。
   • Blended Injection：整图混合，Π^blend_α(k,x) = α · k + (1−α) · x，α为混合比；投毒实例用小αtrain求隐蔽，后门实例用大αtest求成功率；密钥图案用Hello Kitty与随机图案两种（Figure 2）。
   • Accessory Injection：密钥为配饰图（黑框眼镜、紫色墨镜，Figure 3），仅非透明区域覆盖人脸，投毒与后门实例用同一注入函数，物理上可直接佩戴实现。
   • Blended Accessory Injection：结合前两者，非透明区域按α混合、透明区域保留原图；设αtrain=0.2使投毒样本中图案难以察觉，αtest=1使后门实例等同Accessory Injection。

   评测设定

   • 数据集：YouTube Aligned Face（由YouTube Faces预处理而来），过滤少于100张图的标签后剩1,283个标签、约600,000张图；划分为互不重叠的训练、投毒生成、测试三部分，测试集每个标签10张。
   • 模型：DeepID（9层CNN，从头训练450个epoch，每epoch每标签重采样90张图）与VGG-Face（38层，用预训练前37层做特征提取，仅微调最后一层softmax，模拟防御者拥有大量干净辅助数据）。
   • 指标：攻击成功率（后门实例被分类为目标标签的比例）、标准测试准确率（应与干净模型接近）、错误密钥攻击成功率（应为0%）；预测概率阈值0.85，低于则记为NOT-SURE（与[59]一致），计算错误密钥成功率时不用该阈值。

   收起这一问

4. 04论文做了哪些实验？

   在DeepID与VGG-Face上评测四种策略：5个投毒样本即可达100%成功率，物理攻击可行，三种防御均无效。

   实验设置

   • 被测模型：DeepID（从头训练）与VGG-Face（预训练前37层+微调softmax，模拟防御者有辅助干净数据）。
   • 数据集：YouTube Aligned Face，1,283个标签、约600,000张图；测试集每标签10张。
   • 指标：攻击成功率、标准测试准确率（干净模型为97.83%）、错误密钥攻击成功率；预测概率阈值0.85。
   • 重复次数：input-instance-key实验重复10次；物理攻击由5名参与者各从5个角度拍摄，共50张相机直出照片。
   • 投毒规模：input-instance-key用n=5；pattern-key在n=115至1154间变化；物理攻击中m从0到180变化（另加20张真实照片作投毒）。

   主结果

   Blended Injection在DeepID上的攻击成功率（据Table II，标准测试准确率除标注外均≥97%）：

   表格较宽，可左右滑动

   图案	αtrain	n	αtest=0.1	αtest=0.2	αtest=0.5
   Hello Kitty	0.02	115	37.26%	83.00%	未报告
   Hello Kitty	0.02	577	92.96%	99.89%	未报告
   Hello Kitty	0.02	1154	94.01%	99.92%	未报告
   Hello Kitty	0.05	1154	94.19%	99.99%	未报告
   随机图案	0.1	1154	44.90%	95.63%	100%
   随机图案	0.2	115	1.83%	53.74%	97.43%
   随机图案	0.2	577	6.80%	75.02%	99.97%
   随机图案	0.2	1154	14.17%	93.15%	100%

   • 作者称：固定αtrain与αtest时增大n、或固定αtrain与n时增大αtest，均提高攻击成功率；随机图案在相同αtrain下比Hello Kitty更难被人眼察觉。
   • n=1154时标准测试准确率降至95.59%（Hello Kitty，αtrain=0.02）与96.91%（随机图案，αtrain=0.1），其余设置均高于97%。
   • 各设置下错误密钥攻击成功率为0%（不施加置信度阈值时也如此）。

   Input-instance-key与Accessory Injection（DeepID）

   • Input-instance-key：注入n=5个投毒样本，10次重复实验攻击成功率均为100%；投毒模型标准测试准确率97.50%–97.85%（干净模型97.83%）；后门实例预测置信度几乎为1.0；错误密钥成功率0%。
   • Accessory Injection（Figure 7）：作者报告称使用中号图案、n=57时攻击成功率约90%；标准测试准确率在97.50%–98.00%；错误密钥成功率恒为0%。

   Blended Accessory Injection与物理攻击

   • Blended Accessory Injection（Figure 8，αtrain=0.2、αtest=1）：作者报告称大/中号紫色墨镜图案n=57即超90%；但大号黑框眼镜n=57时仅7.25%，中号黑框眼镜n=115时仅22.13%；作者称黑框眼镜所需投毒量约为紫色墨镜的10倍，可能因其覆盖眼部区域更小；n=577时所有图案均超90%。
   • 物理攻击（Figure 11，真实眼镜+留一法）：用真实墨镜时Person 2、3仅注入40个投毒样本（20张真实照片+m=20数字编辑样本）即达100%；其他人注入200个仍低于100%；老花镜比墨镜更难（与Section V-D一致）；任何人注入80个样本后成功率至少20%，作者据此称至少存在一个角度可触发后门。

   防御评测（Section VII）

   • 标签分布检测：无效——干净训练集的标签分布本身已高度倾斜。
   • 离群检测（η=5%，按到均值xm的L2距离移除）：对input-instance-key与Blended Accessory Injection两种策略，没有任何投毒样本被移除。
   • 辅助干净数据（VGG-Face）：input-instance-key仍n=5达100%；Blended Injection下Hello Kitty（αtrain=0.05，αtest=0.2）需n=1154才达92.70%，而随机图案（αtrain=0.2，αtest=0.5）n=11即达99.86%；Accessory Injection中号紫色墨镜n=115为86.30%、n=230为93.13%；Blended Accessory Injection中号紫色墨镜n=577为85.44%、n=1154达95.12%；物理攻击中Person 5用老花镜仅注入20个样本即达100%（DeepID上200个仍不足100%）。作者称预训练模型未提供额外韧性。

   其他消融与分析

   • 图案尺寸：Accessory Injection中中号图案n=57约90%（Figure 7）。
   • 图案类型：随机图案比Hello Kitty可容忍更高的α而不被察觉（Figure 6、14、15）。
   • 极端角度照片（几乎只拍到眼镜侧面）也能触发后门（Figure 10，作者报告）。
   • 附录C：Accessory Injection物理攻击在DeepID上20–40个投毒样本即可创建后门，且成功率高于Blended Accessory Injection（Figure 18）；VGG-Face上Person 4用老花镜注入40个样本达80%（Figure 19）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称三种潜在防御均无效并将有效防御留作未来工作；实验限于一个数据集、两个模型和小规模物理评测。

   作者指出的局限与后续方向

   • 作者评测的三种潜在防御（标签分布检测、离群检测、辅助干净数据）对本文攻击均无效，作者将"开发针对后门投毒攻击的更有效防御策略"留作future work（Section VII）。
   • 作者称尚不知任何现有防御能应对本文的隐蔽后门攻击，并在结论中强调研究防御的重要性（Section VIII、IX）。
   • 作者观察到图案选择影响攻击效率：Blended Accessory Injection中黑框眼镜所需投毒样本约为紫色墨镜的10倍，作者认为可能因为紫色墨镜覆盖眼部区域更大、模型更容易学到图案与目标标签的关联（Section V-D）。
   • 作者观察到物理攻击效果因人而已：真实墨镜图案下Person 2、3注入40个样本即达100%，其他人注入200个仍低于100%（Section VI）。

   实验覆盖范围

   • 被测模型为DeepID与VGG-Face共2个，均为人脸识别架构。
   • 数据集仅YouTube Aligned Face（1,283个标签、约600,000张图）；论文称方法也适用于其他机器学习模型，但未展示其他任务或数据集的实验。
   • 物理攻击实验共5名参与者、2副真实眼镜、50张照片（Section VI）。
   • 防御评测包括标签分布检测、离群检测（η=5%）、辅助干净数据（VGG-Face）三种。
   • 重复次数仅input-instance-key实验明确报告（10次）；pattern-key各设置的重复次数论文未报告。

   收起这一问

6. 06总结一下论文的主要内容

   弱威胁模型下的后门投毒攻击：少量投毒样本即可在人脸识别模型中植入隐蔽且可物理实现的后门，三种防御均无效。

   一篇关于深度学习训练期安全的攻击论文，以人脸识别认证系统为案例，研究数据投毒后门攻击。

   • 问题：既有投毒攻击多假设攻击者了解模型或训练数据、可注入大量样本，且以降低整体性能为目标；作者考虑更现实的内部人员场景。
   • 方法：在black-box、不知训练数据、仅注入少量样本的威胁模型下，提出input-instance-key（单实例加噪为密钥）与pattern-key（Blended/Accessory/Blended Accessory三种图案注入）两类策略，投毒样本标签设为目标标签。
   • 结果1：DeepID上input-instance-key仅注入5个投毒样本（训练集约600,000张），10次重复攻击成功率均100%，标准测试准确率97.50%–97.85%与干净模型97.83%接近。
   • 结果2：Accessory Injection用中号图案注入57个样本成功率约90%；Blended Injection用随机图案、n=115、αtest=0.5时达97.43%；错误密钥成功率各设置均为0%。
   • 结果3：物理攻击可行——真实墨镜图案下部分参与者注入40个样本即达100%成功率；极端角度照片也能触发。
   • 结果4：三种潜在防御（标签分布、离群检测、辅助干净数据）均无效；VGG-Face上随机图案Blended Injection仅n=11即达99.86%。
   • 作者结论：作者称这是首个在弱威胁模型下展示后门投毒可行性、并展示物理可实现后门的工作，强调针对此类攻击研究防御的重要性。

   收起这一问

相关论文