BEYOND:基于自监督学习邻域关系的对抗样本检测框架
Be Your Own Neighborhood: Detecting Adversarial Example by the Neighborhood Relations Built on Self-Supervised Learning
作者提出基于自监督学习的对抗样本检测框架 BEYOND,称其在 CIFAR-10 灰盒与自适应攻击下 AUC 与鲁棒精度优于五个基线。
灰盒(gray-box)攻击:攻击者完全了解分类器,但检测策略保密;自适应攻击(白盒):攻击者知晓检测策略与模型全部参数,需同时欺骗目标模型并保持 SSL 模型的标签一致性与表示相似性。
- DNN 易受对抗样本(AE)攻击,难以部署到安全关键场景;作者称现有检测方法依赖外部 AE 训练、难以泛化到未见攻击,且可被自适应攻击绕过。
- BEYOND 用现成的 SSL 模型提取表示,把输入的 50 个数据增强版本当作邻居,用标签一致性和表示相似性(余弦距离)两种机制检测 AE,阈值按 FPR 5% 在干净样本上确定,无需 AE 先验。
- 在 CIFAR-10/100、ImageNet 灰盒攻击下 TPR@FPR5% 为 61.05%–93.42%(Table 2);CIFAR-10 上 AUC 高于 DkNN、kNN、LID、Hu、LNG(Table 4);Orthogonal-PGD 自适应攻击下 RA 高于四个基线(Table 6)。
- 作者称扰动足够大时 BEYOND 可被绕过(L∞=8/255 时 RA@FPR5% 降至 13.80%);论文未设 Limitations 一节专门讨论局限;实验限于三个图像数据集与 L∞ 范数攻击。
- 威胁模型
- 灰盒(gray-box)攻击:攻击者完全了解分类器,但检测策略保密;自适应攻击(白盒):攻击者知晓检测策略与模型全部参数,需同时欺骗目标模型并保持 SSL 模型的标签一致性与表示相似性。受害系统为图像分类器(CIFAR-10/100、ImageNet 上的 ResNet 等)。
- 被测模型
- ResNet18ResNet50ResNet110R2021Fixing70G2021Improving70G2020Uncovering70R2021Fixing106
- 基准
- CIFAR-10CIFAR-100ImageNet
- 指标
- TPR@FPRROC curve & AUCRobust Accuracy (RA)
研究者提出对抗样本检测框架 BEYOND,用自监督学习(SSL)模型从表征相似性和标签一致性比较样本与增广邻域。干净样本的表征和预测与邻域高度一致,对抗样本则差异明显,据此即可有效检测。作为即插即用模块,BEYOND 与对抗训练分类器(ATC)结合可达 SOTA 鲁棒精度,检测能力和速度均大幅超越基线,自适应攻击下尤为明显。
深度解读
这篇论文试图解决什么问题?
检测对抗样本(AE):作者称现有检测方法依赖 AE 先验、易被自适应攻击绕过。
核心问题:如何在不知道攻击方式、不依赖对抗样本先验的前提下检测对抗样本(AE),并抵抗自适应攻击。
- 问题场景:DNN 易被加入微小扰动的 AE 欺骗,作者称这阻碍其部署到自动驾驶、疾病诊断等安全关键场景。
- 现有方法不足:作者称对抗训练带来精度下降和额外训练成本;输入变换类方法防御能力有限、易被自适应攻击击败;DkNN 推理成本高,LNG 需要预存 AE 构建图、难以泛化到未见攻击,且两者都可被自适应攻击绕过。
- 核心观察:作者认为对抗脆弱性的一个原因是缺乏特征不变性;SSL 模型学习不同增强下的表示一致性,干净样本与其增强邻居在 SSL 特征空间中标签一致、表示相近,而 AE 与其邻居差异大(Figure 1 右)。
- 论文提出:AE 检测框架 BEYOND,用现成 SSL 模型提取表示,通过标签一致性和表示相似性两种机制检测 AE;作者称它是即插即用模块,可与对抗训练分类器(ATC)组合。
- 威胁模型:
- 攻击者目标:生成 AE 使目标分类器误分类,自适应攻击下还需同时绕过检测器。
- 知识:灰盒(gray-box)下攻击者完全了解分类器、检测策略保密;自适应攻击(论文称白盒)下攻击者知晓检测策略和模型全部参数。
- 能力:在 L∞ 范数预算内加扰动;自适应攻击需同时优化标签一致性与表示相似性两个目标。
- 受害系统:图像分类器(CIFAR-10/100 上的 ResNet18、ImageNet 上的 ResNet50 等)。
有哪些相关研究?
相关工作分三组:对抗攻击、基于邻居关系的 AE 检测、SSL 与对抗鲁棒性的结合。
对抗攻击
- Szegedy et al. (2013)——发现攻击者可通过添加 Lp 范数约束下的微小扰动最大化网络预测误差。
- PGD(Madry et al. 2017)及其衍生——PGD 是迭代攻击,催生了 AutoAttack(Croce and Hein 2020)和 Orthogonal-PGD(Bryniarski et al. 2021)等梯度攻击;论文称它们可攻破许多 SOTA 防御。C&W(Carlini and Wagner 2017)把攻击表述为优化问题。
基于邻居关系的 AE 检测
- kNN(Dubey et al. 2019)与 DkNN(Papernot and McDaniel 2018)——通过逐层检查邻域的标签一致性判别 AE。
- LID(Ma et al. 2018)——用局部内在维度刻画 AE 特性,配合 k-NN 分类器检测。
- LNG(Abusnaina et al. 2021)——在参考数据上搜索近邻构建图,训练专门的 GNN 检测。论文指出这类方法都依赖外部 AE 训练检测器或搜索阈值,导致对未见攻击失效。
SSL 与对抗鲁棒性
- 对抗训练结合 SSL(Kim, Tack, and Hwang 2020;Ho and Nvasconcelos 2020)——论文称这类方法计算昂贵且对自适应攻击不鲁棒。
- SSL 辅助净化(Shi, Holtz, and Mishne 2021;Mao et al. 2021)——用 SSL 辅助任务净化 AE;论文引 Croce et al. (2022) 称这些净化方法可被更强的自适应攻击攻破。
基线与基准
- 基线方法:kNN、DkNN、LID、Hu et al. (2019)、LNG 五种检测方法;自适应攻击下另对比 Trapdoor、DLA'20、SID'21、SPAM'19(Table 6)。
- 数据集:CIFAR-10、CIFAR-100、ImageNet;ATC 模型取自 RobustBench。
作者将本文定位为:作者称 BEYOND 是首个利用 SSL 模型做 AE 检测、且不需要对抗攻击或 AE 先验知识的工作。
论文如何解决这个问题?
BEYOND 用 SSL 模型比较输入与其 50 个增强邻居的标签一致性和表示相似性来检测 AE。
整体思路:把输入图像的增强版本当作它的"邻居",用现成 SSL 模型提取表示,干净样本与邻居的标签和表示应一致,AE 则不一致。BEYOND 由三个组件构成:SSL 特征提取器 f(·)、分类头 g(·)、表示头 h(·)。
组件与工作流程
- SSL 特征提取器:CNN,用对比损失等无监督方式预训练;论文采用 SimSiam,理由是其性能。分类头 g(·) 是冻结 f(·) 后训练的全连接层;表示头 h(·) 由三个全连接层组成,输出嵌入表示。
- 工作流程:输入先被变换为 50 个增强邻居;输入与邻居一起经过 f(·),再分别过 g(·) 和 h(·);分类分支对 50 个邻居预测标签,表示分支生成 51 个表示。
- 邻居数量:选 50 个邻居,理由是 Figure 2 显示邻居数超过 50 后性能不再明显提升;论文强调 BEYOND 不基于随机数据增强。
两种检测机制
- 标签一致性:比较分类器对输入的预测 ℓcls(x) 与 SSL 分类头对每个邻居的预测 ℓssl(x̂i),一致则计数加一;最终一致性 IndLabel 低于阈值 Tlabel 即判为 AE。
- 表示相似性:用余弦距离计算输入表示 r(x) 与各邻居表示 r(x̂i) 的相似度,低于阈值则计数;IndRep 低于阈值 Trep 即判为 AE。
- 阈值选取:Tlabel、Trep 通过固定 FPR 为 5% 确定,只需干净样本,实现不需要 AE 先验。两种机制结合,作者称检测性能可超过任一单独机制。
理论论证
- 论文在一阶近似、线性增强假设下分析:良性扰动 δ̂ 在特征空间引起有界变化 ε̂,对抗扰动 δ 引起的变化 ε 满足 limε̂→ 0 ε/(ε̂) = ∞,即对抗扰动引起的特征变化远大于良性扰动。
- 由 SSL 把输入与其增强映射到相近表示的性质出发,作者推导 AE 与其增强邻居在 SSL 特征空间的距离下界大于干净样本,上界为干净样本距离的 ∥ε∥2/∥ε̂aug∥2 倍,作者称这支持 BEYOND 的设计。
- 增强选择指标:作者推导有效增强需满足 |∇ C(Wx)W|2 ≤ (√2)/(2ϵ),并报告在所有受测增强中 color jitter 和 rotation 按该指标最有效(详细比较在附录)。
抗自适应攻击的设计理由
- 作者认为增强会削弱对抗扰动:要骗过邻居上的 SSL 分类(绕过标签一致性)需要大扰动,而绕过表示相似性需要小扰动,两个目标优化方向矛盾、梯度相互抵消。
- 自适应攻击目标按 Athalye et al. (2018) 的建议构造:最小化分类损失加标签一致性项 Sim_l 减去 α 倍的表示相似项 Sim_r,α 为权衡超参数;论文报告 α=1 时攻击最强,后续测试均用 α=1。
论文做了哪些实验?
在 CIFAR-10/100、ImageNet 上测灰盒与自适应攻击,作者称 BEYOND 的 AUC 与 RA 均优于基线。
实验设置
- 被测分类器:CIFAR-10/100 上用 ResNet18,ImageNet 上用 ResNet50(Table 1);与基线对齐时用 ResNet110(Table 4);ATC 组合实验用 RobustBench 的 R2021Fixing70、G2021Improving70、G2020Uncovering70、R2021Fixing106(Table 3)。
- SSL 模型:SimSiam;CIFAR-10/100 的预训练模型来自 Solo-learn,ImageNet 的来自 SimSiam;干净样本准确率见 Table 1(如 CIFAR-10 上分类器 91.53%、SSL 90.74%)。
- 攻击:灰盒下用 FGSM、PGD、C&W、AutoAttack(含 APGD、APGD-T、FAB-T、Square),L∞=8/255;自适应攻击用 PGD 和 Orthogonal-PGD。
- 基线:kNN、DkNN、LID、Hu et al.、LNG;Table 6 另对比 Trapdoor、DLA'20、SID'21、SPAM'19。
- 指标:TPR@FPR(主指标)、ROC 曲线与 AUC、鲁棒精度(RA,同时考虑分类器与检测器)。
- 样本量与重复次数:论文未报告各实验的样本量和重复次数。
主结果
Table 4:CIFAR-10 上各检测方法的 AUC(分类器 ResNet110,FGSM ϵ=0.05,PGD ϵ=0.02;LID/LNG 在 unseen 设置下仅用 C&W 训练):
表格较宽,可左右滑动
方法 FGSM PGD AutoAttack Square DkNN 61.50% 51.18% 52.11% 59.51% kNN 61.80% 54.46% 52.64% 73.39% LID 71.15% 61.27% 55.57% 66.11% Hu 84.44% 58.55% 53.54% 95.83% LNG 98.51% 63.14% 58.47% 94.71% BEYOND 98.89% 99.29% 99.18% 99.29% - 灰盒 TPR@FPR5%(Table 2,L∞=8/255):CIFAR-10 上 FGSM 86.16%、PGD 82.80%、C&W 91.48%、AutoAttack 93.42%;CIFAR-100 上 85.90%–91.96%;ImageNet 上 FGSM 61.05%、C&W 76.69%、PGD 89.80%、AutoAttack 84.25%。
- 作者称 BEYOND 在未见攻击上优势尤其明显,原因是用输入的增强作邻居、不依赖对抗先验;LID 和 LNG 因依赖参考 AE,在 unseen 设置下性能下降(如 LNG 对 PGD 从 seen 的 91.39% 降到 unseen 的 63.14%)。
- 作者称小扰动检测对以往基于距离度量的方法困难,而 BEYOND 对小扰动检测更好(Figure 2),作者归因于结合了高维表示差异和语义(标签一致性)。
自适应攻击
- 自适应 PGD(Table 5):α=0(只攻击标签一致性)时 CIFAR-10 上 AUC 仍有 82.03%,作者称这说明方法不依赖 AE 迁移性弱;α=1 时攻击最强(CIFAR-10 63.91%、CIFAR-100 88.49%),α=100 时回升到 92.53%/94.37%。
- Orthogonal-PGD(Table 6,orthogonal 策略):L∞=0.01 时 BEYOND 的 RA@FPR5% 为 88.38%,BEYOND+ATC 为 96.30%,四个基线为 0.00%–62.60%;L∞=8/255 时 BEYOND 降至 13.80%,BEYOND+ATC 为 94.50%,基线为 0.00%。
- 扰动预算的影响(Figure 3):作者称扰动足够大时 BEYOND 可被绕过,并认为这证明它不是梯度遮蔽;扰动小时检测性能保持高水平。Figure 4 显示标签一致性与表示相似性对扰动大小响应不同,只有扰动足够大时两者才能同时被优化。
与 ATC 组合及成本
- ATC+BEYOND(Table 3,CIFAR-10,AutoAttack):四个 ATC 加 BEYOND 后 RA 从 62.20%–66.20% 升至 81.30%–84.40%,干净样本准确率也略有上升(如 R2021Fixing70 从 92.23% 到 92.83%)。
- 实现成本(Table 8):BEYOND 的 FLOPs 0.715G、参数 19.67M、推理时间 1.12s;LNG 为 0.28G、7.95M、9.22s;ATC 模型为 38.8–60.57G、254.44–396.23M。作者称 BEYOND 不与参考集算距离,推理比 LNG 快;Overall 指标(FLOPs×Params×Time)BEYOND 为 15.75,LNG 为 20.521。
其他消融与分析
- 梯度冲突(Table 7):不同扰动预算与步长下的梯度抵消率约 48.54%–55.92%,大扰动下抵消率下降,作者称这再次验证其分析。
- 两机制消融(Figure 6):小扰动下标签一致性(蓝线)优于表示相似性(绿线),扰动增大后表示相似性更好,两者结合(红线)最好;论文未在正文中给出该图的具体数值。
- 邻居数量(Figure 2):邻居数超过 50 后检测性能不再明显提升。
- 负面结果:L∞=8/255 的 Orthogonal-PGD 下 BEYOND 单独使用时 RA@FPR5% 只有 13.80%(Table 6),作者解释为扰动足够大时可绕过变换。
有什么可以进一步探索的点?
作者承认大扰动可绕过检测;论文未设局限一节,实验限于三个图像数据集和 L∞ 攻击。
作者指出的局限与后续方向
- 大扰动可绕过:5.3 节作者称扰动足够大时 BEYOND 可被绕过,因为大扰动避开了变换的作用(Figure 3 分析);作者同时称大扰动更容易被感知。
- 计算与存储开销:5.5 节作者称 BEYOND 使用额外的 SSL 模型,不可避免地增加计算和存储成本;作者称成本敏感场景可通过减少邻居数量进一步降成本,且按 Figure 2 性能不会明显下降。
- 论文未设专门的 Limitations 或 Future Work 小节;结论(第 6 节)未列出后续方向。
实验覆盖范围
- 数据集:CIFAR-10、CIFAR-100、ImageNet 三个图像分类数据集(5.1 节)。
- 攻击类型:灰盒下 FGSM、PGD、C&W、AutoAttack;自适应下 PGD 与 Orthogonal-PGD,均为 L∞ 范数有界攻击(5.1 节)。
- SSL 方法:特征提取器只用 SimSiam(3.1 节脚注)。
- 自适应攻击策略:Table 6 报告的是 Orthogonal-PGD 的 orthogonal 策略;selection 策略的结果论文称见附录,正文未给数字。
- 未报告的信息:各实验的样本量、重复次数、统计显著性检验论文均未报告;TPR@FPR3% 和 ImageNet 上的对比结果论文称见附录,正文未给数字。
总结一下论文的主要内容
BEYOND:用 SSL 模型比较输入与其增强邻居的一致性来检测 AE,无需 AE 先验,作者称优于基线。
一篇对抗样本(AE)检测论文,提出即插即用检测框架 BEYOND,面向图像分类器的可信预测。
- 要解决的问题:作者称现有 AE 检测方法(DkNN、LNG 等)依赖外部 AE 训练或搜索阈值,难以泛化到未见攻击,且可被自适应攻击绕过。
- 方法要点:用现成的 SimSiam SSL 模型提取表示,把输入的 50 个增强版本当作邻居,用标签一致性和表示相似性(余弦距离)两种机制检测;阈值按 FPR 5% 在干净样本上确定,不需要 AE 先验;作者给出一阶近似下的理论论证,并称两种机制优化方向矛盾使自适应攻击的梯度相互抵消。
- 灰盒结果:CIFAR-10 上 TPR@FPR5% 为 82.80%–93.42%(Table 2);CIFAR-10 上 AUC 对 FGSM/PGD/AutoAttack/Square 为 98.89%–99.29%,高于 DkNN、kNN、LID、Hu、LNG(Table 4)。
- 自适应攻击结果:Orthogonal-PGD(L∞=0.01)下 RA@FPR5% 为 88.38%,四个基线为 0.00%–62.60%;L∞=8/255 时 BEYOND 单独降至 13.80%,与 ATC 组合后为 94.50%(Table 6)。
- 与 ATC 组合:CIFAR-10 上四个 ATC 加 BEYOND 后对 AutoAttack 的 RA 从 62.20%–66.20% 升至 81.30%–84.40%(Table 3)。
- 作者结论:作者称 BEYOND 在检测能力和效率上都优于 SOTA 检测器,可作为即插即用模块与 ATC 结合进一步提升鲁棒性;作者同时承认扰动足够大时检测可被绕过。