局部内在维度(LID)在刻画对抗样本子空间上的局限性
On the Limitation of Local Intrinsic Dimensionality for Characterizing the Subspaces of Adversarial Examples
作者用 MNIST 和 CIFAR-10 上的两组新实验检验 LID 刻画对抗子空间的能力,作者称其在置信度变化和迁移攻击下表现受限。
- LID 被提出用于刻画对抗样本的子空间,但其在攻击置信度变化和黑盒迁移攻击下是否仍有效,已有分析未覆盖。
- 作者在 MNIST 和 CIFAR-10 上做两组新实验:不同置信度的 oblivious 攻击(含集成置信度训练)和从另一 DNN crafting 的迁移攻击,攻击用 C&W 与 EAD。
- 作者报告:oblivious 设置下检测率多低于 50%(CIFAR-10);集成置信度训练反而更差;迁移攻击下检测率进一步下降,EAD 迁移性更强。
- 作者总结 LID 对 EAD 的 L1 对抗样本、集成置信度训练和可迁移对抗样本的刻画能力有限;实验仅覆盖 MNIST、CIFAR-10 与 C&W、EAD 两种攻击。
- 被测模型
- LID detectorDNN models (provided by Ma et al. 2018)
- 基准
- MNISTCIFAR-10
- 指标
- AUC scoredetection rateclassification rate (post detection)classification rate w/o detection
论文通过 MNIST 和 CIFAR-10 的两组新实验指出,局部内在维度(LID)在刻画对抗样本子空间时存在局限。第一组实验显示,LID 对攻击使用的置信度参数非常敏感,混合不同置信度的对抗样本后表现反而很差;第二组显示,当对抗样本由另一个 DNN 模型生成时,LID 无法有效刻画其子空间。作者据此认为,LID 对对抗样本子空间的刻画能力有限。
深度解读
这篇论文试图解决什么问题?
检验 LID 在置信度变化与迁移攻击下刻画对抗子空间的能力,作者报告其局限。
核心问题:LID(local intrinsic dimensionality)能否在攻击置信度变化和黑盒迁移攻击下仍有效刻画对抗样本的子空间。
- 背景与动机:理解对抗样本所在子空间有助于研究 DNN 对对抗扰动的鲁棒性。Ma et al. (2018) 提出用 LID 在 DNN 逐层隐藏表示上刻画对抗子空间,并称其对五种攻击有区分力。
- 现有分析的空白:作者指出两组实验在现有 LID 分析中缺失:(i) 使用不同置信度对抗样本的 oblivious 攻击与 LID 分析;(ii) 黑盒迁移攻击。
- 核心观察:作者发现 LID 的表现对攻击的置信度参数很敏感;用不同置信度对抗样本集成训练的 LID 反而表现差;对抗样本从另一 DNN 生成时,LID 无法有效刻画其子空间。
- 论文产出:在 MNIST 和 CIFAR-10 上以 C&W 和 EAD 两种攻击做两组新实验,报告 LID 的局限。
- 威胁模型:
- 攻击者目标:生成能绕过 LID 检测器的对抗样本(untargeted 攻击)。
- 知识:oblivious 设置下对抗样本在未防御的 DNN 上生成、不知部署的防御;迁移设置下对抗样本从另一分类精度相近的 DNN 生成。
- 能力:控制 C&W 与 EAD 攻击的置信度参数 κ(范围 [0, 40])。
- 受害系统:Ma et al. (2018) 提供的 DNN 模型及其 LID 检测器(用全部 DNN 层、k=20、minibatch 100 训练)。
有哪些相关研究?
围绕对抗样本、LID 子空间刻画、EAD 攻击与迁移性四类工作展开。
对抗样本的存在与防御
- Szegedy et al. (2013)、Goodfellow et al. (2015)——指出训练良好的 DNN 易受对抗样本攻击。
- MagNet(Meng & Chen, 2017)——用从自然样本数据流形学到的检测器和数据重整器防御对抗样本;论文称其在 oblivious 设置下对不同置信度的 C&W 攻击有鲁棒防御表现。
LID 子空间刻画(本文直接检验的对象)
- Ma et al. (2018)——提出用 LID 在 DNN 逐层隐藏表示上刻画对抗子空间,并称其对五种攻击有强区分力;其 C&W 检测器只用 κ=0 的低置信度样本训练。本文指出其缺少置信度变化与迁移攻击两组实验。
- LID 估计方法本身来自 Karger & Ruhl (2002)、Houle et al. (2012)。
- Athalye et al. (2018)——证明高置信度(更大 κ)对抗样本可绕过同一检测器;论文称但尚不清楚用高置信度样本训练能否强化检测器,本文对此做了检验。
攻击方法
- C&W 攻击(Carlini & Wagner, 2017)——L2 失真攻击,本文用作对比。
- EAD(Chen et al. 2017)——基于 L1 失真的 elastic-net 攻击,β=0 时退化为 C&W;论文称更大 β 可生成更有效、更可迁移的对抗样本(引 Sharma & Chen, 2017)。EAD 是 Ma et al. (2018) 未测的攻击。
对抗样本迁移性
- Papernot et al. (2016)、Liu et al. (2016)——指出对抗样本可从一个 DNN 迁移到另一个,支撑黑盒迁移攻击设置。
基线与基准:本文没有提出新的检测器作基线对比,而是直接评测 Ma et al. (2018) 的 LID 检测器(默认设置);数据集为 MNIST 和 CIFAR-10。
作者将本文定位为对 Ma et al. (2018) LID 分析的补充性检验:在其未覆盖的 oblivious 置信度变化与迁移攻击两种设置下,报告 LID 刻画对抗子空间的局限。
论文如何解决这个问题?
在两种新设置(变置信度 oblivious、迁移攻击)下评测 LID 检测器的 AUC 与检测率。
整体思路:复用 Ma et al. (2018) 的 LID 检测器与默认训练设置,在其未覆盖的两组攻击设置下测量 AUC 和检测率,检验 LID 刻画对抗子空间的能力边界。
LID 的定义
- 给定分布 P 生成的参考样本 x,LID 的 MLE 估计为 LID(x) = −[1/k∑i=1klog(ri(x))/(rk(x))]−1,其中 r_i(x) 是 x 到其第 i 近邻的距离,r_k(x) 是 k 个近邻中的最大距离。
- 按 Ma et al. (2018) 的做法,LID 分别作用于对抗样本与正常样本的逐层隐藏表示(或最后的 logits 层);检测器还加入随机扰动样本以区分随机扰动与对抗扰动。
实验设置
- 数据与目标:MNIST 和 CIFAR-10,untargeted 攻击;从测试集随机选 1000 张被正确分类的图像作为攻击目标。
- 模型来源:oblivious 设置用 Ma et al. (2018) 提供的 DNN 模型;迁移设置用 Carlini & Wagner (2017) 的不同 DNN 模型生成对抗样本(论文称这些模型分类精度相近)。
- 攻击方法:C&W(L2,默认设置)与 EAD(默认实现,L1 正则系数 β=0.1);EAD 另报两种决策规则(elastic-net (EN) 或 L1 distortion)选取对抗样本。
- 置信度:C&W 与 EAD 的 κ 取自 [0, 40],实验取 {0, 10, 20, 30, 40}。
- LID 检测器训练:用 Ma et al. (2018) 默认设置,全部 DNN 层,近邻数 k=20,minibatch 100;除特别说明外,检测器用相同攻击、相同置信度训练,作者称这已在最大程度上弱化攻击能力。
两组实验设计
- Oblivious 攻击:检测器用相同攻击和相同 κ 训练,测不同 κ 下的 AUC 与检测率;再训练一个用 κ={0,10,20,30,40} 集成样本(训练样本为单 κ 的 5 倍)的检测器作对比。
- 迁移攻击:对抗样本在另一 DNN 上生成,检测器仍在目标模型上用相同攻击和置信度训练,测检测率、检测后分类率(post detection)与不检测时的分类率。
评测指标
- AUC score:沿用 Ma et al. (2018) 的指标。
- Detection rate:被检测器检出的攻击比例。
- Classification rate (post detection / w/o detection):迁移实验中报告,分别表示检测后未被检出攻击的分类率和不部署检测器时的分类率。
论文做了哪些实验?
两组实验:变置信度 oblivious 攻击(含集成训练)与迁移攻击,检测率多低于 50%。
实验设置
- 被测对象:Ma et al. (2018) 的 LID 检测器(全部 DNN 层、k=20、minibatch 100),装在 oblivious 设置中 Ma et al. 提供的 DNN 模型上。
- 数据集:MNIST、CIFAR-10;各随机选 1000 张被正确分类的测试图像作攻击目标。
- 攻击:C&W(L2)(默认设置)与 EAD(β=0.1,EN 与 L1 两种决策规则),κ ∈ {0,10,20,30,40},untargeted。
- 指标:AUC score(%)、detection rate(%);迁移实验另报 classification rate (post detection) 与 w/o detection(%)。
- 默认条件:除集成实验外,检测器用相同攻击、相同置信度训练;论文未报告重复次数。
主结果
迁移攻击(检测器在目标模型上用相同攻击和置信度训练,对抗样本来自另一 DNN;据 Table 1,单位 %):
表格较宽,可左右滑动
数据集 攻击 κ 检测率 分类率(post detection) 分类率(w/o detection) MNIST C&W(L2) 0 25.90 73.48 98.89 MNIST EAD(EN) 40 31.25 0.80 1.81 MNIST EAD(L1) 40 31.35 0.90 1.91 CIFAR-10 C&W(L2) 0 1.01 95.28 96.30 CIFAR-10 C&W(L2) 40 17.70 72.73 84.45 CIFAR-10 EAD(EN) 40 23.43 57.19 69.29 CIFAR-10 EAD(L1) 40 22.42 58.47 70.70 (Table 1 含 κ=0–40 全部 30 行,此处省略部分行;完整数字见论文 Table 1。)
- 作者称迁移攻击使 LID 检测率进一步下降,即使检测器知道攻击与置信度。
- 作者称在 CIFAR-10 上,按检测后分类率衡量,EAD 的攻击迁移性优于 C&W。
- Figure 1 展示 κ=20 迁移设置下不同攻击的对抗样本可视化,未成功攻击(被检测器检出)标红叉;作者称 EAD 生成高度可迁移、视觉相似的样本,C&W 较难绕过检测器。
Oblivious 攻击:单置信度训练
- 结果(Table 2):CIFAR-10 上检测率多数情况低于 50%,MNIST 上约 35–60%;κ=0 时 CIFAR-10 上 C&W 检测率 89.17%、AUC 99.05,而 EAD(EN) 检测率仅 42.92%、AUC 82.22。
- 随置信度变化:作者称 AUC 与检测率随 κ 增大而下降,尤其在 κ=20 和 30 时;如 CIFAR-10 上 C&W 检测率从 κ=0 的 89.17% 降到 κ=20 的 43.18%。
- 作者解读:即使检测器用相同攻击和置信度训练,低置信度下也仅对 C&W 有效,对 EAD 效果差很多。
Oblivious 攻击:集成置信度训练
- 设置:检测器用相同攻击、κ={0,10,20,30,40} 集成样本训练(训练样本量为单 κ 的 5 倍)。
- 结果(Table 3):两数据集上所有攻击的检测率一致低于 45%、AUC 一致低于 85%;MNIST 的 AUC(73.49–82.75)低于 CIFAR-10(81.49–84.18)。
- 作者解读:用更多不同置信度的样本训练反而损害了检测器表现,作者称这一结果出人意料。
其他消融与分析
- EAD 两种决策规则(EN vs L1)在三个表中数字接近,论文未对二者差异作额外解读。
- 论文未报告其他超参数消融。
有什么可以进一步探索的点?
作者总结三条局限;实验仅覆盖两数据集、两种攻击,未报告重复次数。
作者指出的局限与后续方向
- 即使在低置信度、且给定完整攻击参数用于分析的情况下,LID 仍无法有效刻画 EAD 生成的 L1 失真对抗样本的子空间(Conclusion 第 1 条)。
- 用集成置信度训练的 LID 子空间分析表现更差(Conclusion 第 2 条)。
- LID 刻画可迁移对抗样本子空间的能力有限(Conclusion 第 3 条)。
- 在 oblivious 设置下,若不知攻击参数,LID 检测器的表现可能严重下降;在迁移设置下,即使知道攻击参数,LID 似乎忽略了可迁移对抗样本的子空间(Introduction 末段,作者口吻)。
- 论文未提出后续研究方向。
实验覆盖范围
- 数据集为 MNIST 和 CIFAR-10 两个;每个数据集用 1000 张随机选取、被正确分类的测试图像作攻击目标(2.1 节)。
- 攻击方法为 C&W(L2) 与 EAD(β=0.1,EN/L1 两种决策规则),置信度 κ 取 {0,10,20,30,40},均为 untargeted 攻击。
- 迁移实验中对抗样本生成模型为 Carlini & Wagner (2017) 的 DNN 模型,论文称其与目标模型分类精度相近,但未给出具体架构名称与精度数字。
- LID 检测器固定用 Ma et al. (2018) 默认设置(全部层、k=20、minibatch 100),论文未报告 k 或其他超参数的消融。
- 论文未报告实验重复次数与方差,也未报告人工评估。
总结一下论文的主要内容
两组新实验检验 LID 刻画对抗子空间的能力,作者报告其在置信度变化与迁移攻击下的局限。
一篇 ICLR 2018 workshop 论文,检验 Ma et al. (2018) 提出的 LID 方法在两种未覆盖设置下刻画对抗子空间的能力。
- 问题:LID 被用于在 DNN 逐层隐藏表示上区分对抗与正常样本,但已有分析未测攻击置信度变化(oblivious)和黑盒迁移两种设置。
- 方法:在 MNIST、CIFAR-10 上各取 1000 张正确分类的测试图像,用 C&W(L2) 和 EAD(β=0.1)做 untargeted 攻击,κ ∈ {0,10,20,30,40};LID 检测器沿用 Ma et al. 默认设置,且默认用相同攻击、相同置信度训练。
- Oblivious 结果:CIFAR-10 上检测率多低于 50%;κ=0 时 C&W 检测率 89.17%,EAD(EN) 仅 42.92%(Table 2)。
- 集成训练结果:用 5 倍样本、κ={0,…,40} 集成训练反而更差,检测率一致低于 45%、AUC 低于 85%(Table 3)。
- 迁移结果:对抗样本来自另一 DNN 时检测率进一步下降,CIFAR-10、κ=0 的 C&W 检测率仅 1.01%;MNIST、κ=40 时 EAD 未检出攻击的检测后分类率低于 1%(Table 1)。
- 作者结论:LID 对 EAD 的 L1 对抗样本、集成置信度训练和可迁移对抗样本的刻画能力有限;不知攻击参数时其检测表现可能严重下降。