利用范数有界对抗鲁棒性导致的过度不变性

1. 01这篇论文试图解决什么问题？

   作者称 l_p 范数扰动鲁棒不仅不充分，还会加剧模型对 invariance-based 对抗样本的脆弱性。

   核心问题：对 perturbation-based 对抗样本的 l_p 范数鲁棒性，是否足以代表模型的整体鲁棒性？作者认为不仅不充分，还可能有害。

   • 场景与重要性：对抗样本研究大多把攻击形式化为对测试输入加扰动 δ 使模型输出改变（perturbation-based），并用 l_p 范数约束攻击者能力；作者认为这只是模型缺陷的一类。
   • 现有方法的不足：作者称许多防御把鲁棒性等同于学习一个一致连续（uniformly continuous）的模型，但 l_p 范数无法刻画理想决策边界的几何，强制范数有界鲁棒会在任务相关方向上引入错误的不变性（Figure 1）。
   • 核心观察：存在 invariance-based 对抗样本（Jacobsen et al., 2019）：输入语义（oracle 标签）已改变而模型预测不变，即模型在任务相关方向上过度不敏感；作者认为这与 perturbation-based 是互补的失效模式。
   • 论文的贡献：给出两类对抗样本的精确定义；在 Adversarial Spheres 上构造性分析二者关系；提出 model-agnostic 的 invariance 攻击算法并在 MNIST 上实证；呼吁社区建立精确的分类定义。
   • 威胁模型：
     • 攻击者目标：生成 x*，使模型预测不变（G(x*)=G(x)）而 oracle 标签改变（O(x)≠O(x*)）。
     • 知识：攻击为 model-agnostic——攻击算法不知道受害模型，生成的样本期望让大多数模型保持原预测。
     • 能力：在 l_0 或 l_inf（eps=0.3）范数预算内修改 MNIST 测试图像；分析部分还考虑流形上的攻击者（Adversarial Spheres）。
     • 受害系统与判定：MNIST 图像分类器（含多个 l_p 扰动鲁棒模型）；成功由 40 名人类评估者充当 oracle 判定。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四组：对抗样本定义、l_p 扰动鲁棒防御、invariance-based 攻击、MNIST 鲁棒性评测。

   对抗样本的定义与动机

   • Szegedy et al. (2013)、Biggio et al. (2013)——对抗样本的最初发现；Goodfellow & Papernot (2017) 给出被广泛接受的定义：攻击者故意设计来让模型输出错误的输入。
   • Goodfellow et al. (2015)——提出 eps 有界的扰动型对抗样本，并把 MNIST 上的 l_p 范数对抗样本作为玩具基准任务。
   • Gilmer et al. (2018a)——讨论对抗样本研究的动机谱系；Tsipras et al. (2019)——讨论准确率与鲁棒性的权衡，作者认为该权衡应至少包含准确率、敏感性、不变性三个概念。

   l_p 范数扰动鲁棒的防御

   • Madry et al. (2017)——基于鲁棒优化（PGD 对抗训练）的防御；Cisse et al. (2017)——训练小 Lipschitz 常数的模型。
   • Wong & Kolter (2018)、Raghunathan et al. (2018)——可证明对小 l_p 扰动鲁棒的模型；Wong et al. (2018) 将其扩展到更大数据集。
   • Schott et al. (2019)——ABS 防御，论文称其主张在训练数据的 l_p 球内保持决策恒定即可鲁棒；Tramèr et al. (2018) 与 Schott et al. (2019) 展示了二值化分类器的高度 l_inf 鲁棒性。

   Invariance-based 对抗样本与不变性分析

   • Jacobsen et al. (2019)——提出 invariance-based 对抗样本，指出交叉熵损失与 ReLU 可能是过度不变性的来源；本文的攻击建立在该工作之上。
   • Behrmann et al. (2018)——通过 ReLU 网络的可逆性分析不变性与鲁棒性；Li et al. (2019)——用近似特征碰撞研究鲁棒性。
   • Jacobsen et al. (2018)、Behrmann et al. (2019)、Dinh et al. (2014)——可逆网络；作者认为这类架构在最后一层之前不会积累不变性，是控制 invariance 鲁棒性的有前景方向。

   评测与本文使用的基线/基准

   • Carlini et al. (2019)——对抗鲁棒性评测准则，论文据此说明 MNIST 通常不是研究对抗样本防御的好数据集。
   • 基线模型：Baseline、ABS 与 Binary-ABS（Schott et al., 2019）、l_inf PGD 与 l_2 PGD（Madry et al., 2017）、l_0 Sparse（Bafna et al., 2018，基于稀疏傅里叶变换的 l_0 扰动鲁棒分类器）。
   • 基准：MNIST（论文称其为唯一被认为接近解决 l_p 鲁棒性的数据集）和合成的 Adversarial Spheres（Gilmer et al., 2018b）。

   作者将本文定位为：把当前分类器的多类局限统一到"对抗样本"这一术语下，并论证这些局限源于学习中不同的缺陷、彼此关系非平凡，因此需要一组精确的分类定义，而非只做 l_p 扰动鲁棒。

   收起这一问

3. 03论文如何解决这个问题？

   先形式化两类对抗样本，再用合成任务构造性分析，最后提出 model-agnostic 的 l_0/l_inf invariance 攻击并以人类研究判定。

   整体思路：先给出 perturbation-based 与 invariance-based 对抗样本的精确定义，再在 Adversarial Spheres 合成任务上构造性展示两类攻击揭示不同的模型失效，最后提出 model-agnostic invariance 攻击算法，在 MNIST 上生成 l_0 与 l_inf 样本并用人类研究充当 oracle 判定成功。

   形式化定义

   • Perturbation-based（Definition 1）：x* 由算法生成，满足 |G(x^∗) − G(x)| > δ 且 O(x^∗) = O(x)，即模型输出改变而 oracle 标签不变；eps-bounded 是其特例。
   • Invariance-based（Definition 2）：x* 由算法生成，满足 G(x^∗) = G(x) 且 O(x) ≠ O(x^∗)，即模型输出不变而 oracle 标签改变；G 可取第 i 层、logit 或 argmax。
   • 线性分类器观察：作者指出扰动鲁棒性与 A 的最大奇异值（前向稳定性）相关，不变性与最小奇异值及零空间相关，二者对一般矩阵是解耦的，因此关系非平凡。

   合成任务上的构造性分析

   • 极端一致连续：完美一致连续的分类器是常数分类器，它平凡地扰动鲁棒，但其原像是整个输入空间，对 invariance 攻击任意脆弱（以效用下降为代价）。
   • Adversarial Spheres 设置：两个同心球（R1=1，R2=1.3），d=500 维输入；分析一个只看前 d−n 维（n=10）的次优 max-margin 分类器，偏差 b 由有限训练集确定（附录 A）。
   • 两类攻击揭示不同失效：外球上的点可被 perturbation 攻击（在球上移动到被误分类）；内球上的点可被 invariance 攻击（实际移到外球但预测不变）。b > R1 时，内球对 perturbation 攻击鲁棒、外球对 invariance 攻击鲁棒。

   Model-agnostic invariance 攻击（MNIST）

   • 总体流程：取一张被人类和模型都正确分类的源图像；对不同标签的训练样本做仿射变换（旋转至多 20 度、平移至多 6 像素、剪切至多 20%、缩放到多 50%），找变换后与源图像距离最近的目标样本；再把源图像朝目标扰动得"更相似"。
   • l_0 实例化（附录 B）：计算差异掩码 δ（逐像素阈值 0.5），对 δ 做谱聚类并枚举聚类子集生成候选；用 AC-GAN 的类条件似然给候选打分以替代人工检查，该步骤平均把 l_0 扰动降低 50%；另有一个小改进：先过滤掉训练集中 20% 最不典型的样本。
   • l_inf 实例化（附录 B）：限定搜索特定目标标签的样本（作者称经验上更有说服力），再以 eps=0.3 的 l_inf 预算向目标样本插值；作者称该攻击比 l_0 简单但效果较弱。
   • 关键假设：小的仿射变换比 l_p 扰动更不容易改变 oracle 标签；该假设由人类研究验证，违反假设的候选被剔除。

   成功判定

   • 人类研究：从 MNIST 测试集随机选 100 张图，各生成 l_0 与 l_inf 样本；40 名评估者看 100 张图（一半为未修改原图，另一半随机混入两类攻击样本）。
   • 成功标准：人类多数意见的标签与原测试标签不同；模型评测只在人类确认标签改变的"成功"子集上进行，报告模型预测与人类标签的一致率。

   收起这一问

4. 04论文做了哪些实验？

   合成球实验加 MNIST 实证：l_0 攻击成功率 55%，l_0 鲁棒模型在成功样本上与人类一致率反而更低。

   实验设置

   • 被测模型：Baseline、ABS、Binary-ABS（Schott et al., 2019）、l_inf PGD、l_2 PGD（Madry et al., 2017）、l_0 Sparse（Bafna et al., 2018），共 6 个 MNIST 分类器（Table 1）。
   • 数据集：MNIST（攻击对象为随机抽取的测试样本）；合成任务 Adversarial Spheres（R1=1、R2=1.3、d=500、n=10）。
   • 攻击设置：l_0 与 l_inf（eps=0.3）两种 model-agnostic invariance 攻击；各生成 1000 个样本（从测试集随机抽取），人类研究用其中 100 张。
   • 指标与评审：攻击成功率＝人类评估者改变标签的比例；模型指标＝模型预测与人类 oracle 标签的一致率；评审为 40 名人类评估者，l_0 结果正文用 70% 一致性阈值描述。
   • 代价：作者称攻击很慢，对齐过程摊销每张几分钟，未做优化；l_0 攻击平均扰动 25.9（中位数 25），l_inf 攻击总是用满 0.3 预算。

   主结果

   据 Table 1（模型与人类标签的一致率，仅统计人类确认标签改变的成功样本；* 表示违反该防御的扰动威胁模型）：

   表格较宽，可左右滑动

   模型	Clean	l_0 成功样本	l_inf 成功样本
   Baseline	99%	54%	0%
   ABS	99%	58%	0%
   Binary-ABS	99%	47%	0%
   l_inf PGD	99%	56%*	0%
   l_2 PGD	99%	27%*	5%*
   l_0 Sparse	99%	38%	0%*

   • 作者解读：对 perturbation 攻击更鲁棒的模型，在 invariance 样本上与人类的一致率更低；l_0 Sparse 的 38% 低于 Baseline 的 54%。
   • l_inf 样本：除 l_2 PGD 正确分类 1 个样本外，所有模型把全部成功 l_inf 样本错分为原标签；作者指出 PGD 对抗训练与 ABS 正是 l_inf 扰动鲁棒的代表性防御。
   • 攻击成功率（Table 5(a)，即 Figure 5(a)）：l_0 攻击 55%、l_inf 攻击 21%、干净图像 0%；摘要以 55% 与 21% 概括，并称 l_p 鲁棒模型在成功样本上与人类标签的一致率分别低于 58% 与 5%。

   人类研究的细节

   • 干净图像：100 张中 98 张被全部评估者标对，其余 2 张被超过 90% 的评估者标对。
   • l_0 样本：48 张上至少 70% 的评估者给出不同于原标签的同一新标签；34 张上人类以同样阈值同意原标签；其余 18 张无共识。
   • l_inf 样本：14 张上人类同意标签已改变，74 张上同意标签未变；作者称该更简单的攻击效果较弱。

   Adversarial Spheres 与自然图像

   • 合成实验（Figure 2）：横轴为 l_2 范数扰动上限 eps，纵轴为准确率；左图显示对外球点做 perturbation 攻击时准确率随 eps 增大而下降，右图显示对内球点做 invariance 攻击时准确率随 eps 增大而下降。作者称 perturbation 攻击在内球上失败、invariance 攻击在外球上失败，因此两类攻击都是完整刻画模型失效所必需的。
   • 自然图像示例（Figure 6）：ImageNet 测试图中一张网球图像，几乎不可察觉的扰动 l_2=24.3，而把网球换成草莓的语义改动 l_2=23.2 反而更小；作者据此认为在 l_2 球内强制鲁棒会让模型对这类语义改动过度不变。

   其他消融与分析

   • 二值化 MNIST 分类器（4.1 节、Figure 8）：阈值化输入的玩具模型高度 l_inf 鲁棒，但两张人类看来不同的图二值化后完全相同，存在平凡的 invariance 样本。
   • AC-GAN 筛选：用类条件似然替代人工检查候选，平均把 l_0 扰动降低 50%（附录 B）。
   • 训练集过滤：先剔除 20% 最不典型样本可使攻击更常成功（附录 B）。
   • 类别对差异：作者称某些类别对比其他类别更容易被 invariance 攻击（结论部分），未给出逐类数字。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出攻击未优化、缺 invariance 量化指标、两类样本未必覆盖全部 evasion 攻击等待解问题。

   作者指出的局限与后续方向

   • 攻击效率：作者称攻击很慢（对齐摊销每张几分钟）且未做任何优化，预期可以改进（4.3 节）。
   • l_inf 攻击较弱：作者称 l_inf 攻击比 l_0 简单且效果较差，进一步改进可能有用（附录 B）。
   • 缺乏量化指标：作者称还需要更多工作来建立 invariance-based 鲁棒性的量化指标（Conclusion）。
   • 覆盖性未知：作者称尚不清楚 perturbation 与 invariance 两类样本的并集是否完整覆盖全部 evasion 攻击空间，可能还有其他未知类型（Conclusion）。
   • l_p 球半径设定：作者称评测时应谨慎设定 l_p 球半径，且对所有数据设统一半径可能困难，因为某些类别对更易被 invariance 攻击（Conclusion）。
   • 对防御的提醒：作者称一些宣称极高 l_0/l_inf 鲁棒的防御可能是在过拟合 MNIST 的特性，未必让分类器更常与人类 oracle 一致；并认为可逆网络是控制 invariance 鲁棒性的有前景方向（Conclusion）。

   实验覆盖范围

   • 被测模型：6 个 MNIST 分类器（Baseline、ABS、Binary-ABS、l_inf PGD、l_2 PGD、l_0 Sparse），均在 Table 1 报告。
   • 数据集：实证攻击只在 MNIST 上做；Adversarial Spheres 为合成分析；ImageNet 仅给出单张图像的定性示例（Figure 6）。
   • 样本量：每种攻击生成 1000 个样本；人类研究用 100 张测试图、40 名评估者；论文未报告模型评测的重复次数。
   • 攻击范数：只实例化了 l_0 与 l_inf（eps=0.3）两种；l_inf PGD、l_2 PGD 等行在 Table 1 中带 * 号，表示该攻击违反对应防御的扰动威胁模型。
   • 评审方式：成功判定完全依赖人类研究，论文未报告评估者间一致性的统计量（仅给出 70% 阈值下的计数）。

   收起这一问

6. 06总结一下论文的主要内容

   作者称 l_p 扰动鲁棒会引入过度不变性，使 MNIST 分类器更易受 invariance-based 对抗样本攻击。

   一篇 ICLR 2019 SafeML Workshop 论文，论证对 perturbation-based 对抗样本的 l_p 范数鲁棒性不等于一般鲁棒性，甚至可能加剧另一类脆弱性。

   • 问题：对抗样本研究大多关注扰动型攻击（输入小改、输出改变）；作者提出互补的 invariance-based 对抗样本——oracle 标签已变而模型预测不变，即模型在任务相关方向上过度不敏感。
   • 方法：给出两类样本的形式化定义；在 Adversarial Spheres 上构造性展示两类攻击揭示不同失效（外球点可被 perturbation 攻击、内球点可被 invariance 攻击）；提出 model-agnostic 攻击：仿射变换异类训练样本找最近邻，再朝它扰动，在 MNIST 上生成 l_0 与 l_inf（eps=0.3）样本，由 40 名人类评估者判定成功。
   • 结果：l_0 攻击成功率 55%、l_inf 为 21%（Table 5(a)）；在成功的 l_0 样本上，l_0 扰动鲁棒的 l_0 Sparse 模型与人类标签一致率 38%，低于 Baseline 的 54%（Table 1）；成功的 l_inf 样本上六个模型中五个一致率为 0%，仅 l_2 PGD 为 5%（Table 1）。
   • 作者结论：训练扰动鲁棒的模型不应被视为对所有对抗样本鲁棒；作者认为一些宣称高 l_0/l_inf 鲁棒的 MNIST 防御可能在过拟合数据集特性，评测时应谨慎设定 l_p 球半径，且人类研究在标签模糊时不可或缺。
   • 启示（作者口吻）：准确率—鲁棒性权衡应扩展为准确率、敏感性、不变性三者；社区需要一组精确分类各类对抗样本的定义，invariance 鲁棒性的量化指标和可逆网络是后续方向。

   收起这一问

相关论文