分类模型对对抗扰动的不变性与敏感性之间的根本权衡

1. 01这篇论文试图解决什么问题？

   作者研究 sensitivity-based 与 invariance-based 两类对抗样本之间的根本权衡，认为针对前者的防御会加剧后者。

   核心问题：针对 sensitivity-based 对抗样本的鲁棒性优化，是否会反而加剧模型对 invariance-based 对抗样本的脆弱性。

   • 问题场景：sensitivity-based 对抗样本是对输入加语义上小的扰动使模型输出改变；invariance-based 对抗样本（Jacobsen et al., 2019）则相反——扰动改变了输入的真实标签，却保持模型预测不变（Figure 1 给出把 MNIST 的 3 改 20 个像素变成 5、模型仍判 3 的例子）。
   • 现有方法的不足（按作者说法）：作者认为 lp 范数是对视觉相似性的粗糙近似，围绕 lp 球优化鲁棒性（Madry et al., 2017 等）不仅不足以抵抗一般对抗样本，还可能有害——模型会对任务的真实语义过度不变。
   • 核心观察：当形式化鲁棒性概念（lp 球）与任务的感知度量错位（distance-oracle misalignment，Definition 3）时，对 ε 界扰动的低鲁棒误差无法同时阻止两类攻击，且提升 sensitivity 鲁棒性会降低 invariance 鲁棒性（Figure 2）。
   • 论文提出：生成 lp 有界 invariance 对抗样本的新算法；在 MNIST 上攻击 adversarially-trained 与 certifiably-robust 模型；以及一个把过度敏感/过度不变分别归因于 non-robust 特征与 overly-robust 特征的理论模型。
   • 威胁模型：
     • 攻击者目标：在 ε 范数界内扰动输入 x，使 oracle 标签改变（O(x*)≠O(x) 且非垃圾类）而模型预测不变（f(x*)=f(x)），即 Definition 2。
     • 知识：model-agnostic——攻击生成不访问模型，同一批样本用于评估所有模型。
     • 能力：对 MNIST 测试图施加 l0 或 l∞（ε=0.3、0.4）有界扰动；成功由人类评估者集成（70% 阈值）判定。
     • 受害系统：MNIST 上的 undefended、adversarially-trained 与 certifiably-robust 分类器。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四组：对抗样本与 sensitivity 鲁棒化、invariance 失败模式、特征视角与 lp 范数批评、以及被攻击的防御基线。

   对抗样本与 sensitivity 鲁棒化

   • Szegedy et al. (2013)、Biggio et al. (2013)——提出对抗样本；Goodfellow et al. (2014, 2015) 研究使分类器对范数有界 sensitivity 攻击鲁棒的技术。
   • Madry et al. (2017)、Wong & Kolter (2018)、Raghunathan et al. (2018)——在 lp 球约束下提升鲁棒性的一系列防御提案，是本文攻击的对象之一。

   invariance 失败模式与特征视角

   • Jacobsen et al. (2019)——定义 invariance 对抗样本（无界扰动改变 oracle 标签但保持分类器输出）；作者指出本文 Definition 2 是对其的有意识限制（改为有界扰动、只看最终分类）。
   • Ilyas et al. (2019)——指出过度敏感源于 non-robust 但有预测性的特征；作者称本文镜像了该观察，提出过度不变源于 overly-robust 特征。Jo & Bengio (2017)、Yin et al. (2019) 也被引为相关。
   • Kaushik et al. (2019)——在 NLP 中让标注者做最小改动改变文档语义（counterfactually-augmented data），作者称其为类似问题。

   lp 范数与感知错位的批评

   • Sharif et al. (2018)——指出 25/255 的 l∞ 噪声可在 CIFAR-10 上可靠骗过人类标注者。
   • Tsipras et al. (2019)——指出 32/255 量级的扰动可在 CIFAR-10 类间有效插值；作者认为其方法可能指向在 MNIST 之外自动生成 invariance 攻击的途径。
   • Co et al. (2018)——展示 16/255 的 l∞ 扰动足以把猫的图像变得像浴帘印花。

   基线与被攻击的防御

   • 被评估模型：l0-Sparse（Bafna et al., 2018）、ABS 与 Binary-ABS（Schott et al., 2019）、l∞-PGD 与 l2-PGD（Madry et al., 2017）、undefended ResNet-18，以及认证防御 Zhang et al. (2019)；基准为 MNIST。
   • 作者定位：与 Engstrom et al. (2019a)、Sabour et al. (2016)、Jacobsen et al. (2019) 对特征层不变性的研究正交——本文研究分类层、有界扰动下的不变性。

   收起这一问

3. 03论文如何解决这个问题？

   作者形式化两类对抗样本与 distance-oracle misalignment，提出 model-agnostic 的 invariance 攻击算法，并用人评充当 oracle 判定成功。

   整体思路：先形式化定义两类互补失败模式，证明范数与 oracle 错位时鲁棒目标必然顾此失彼；再提出 model-agnostic 的 invariance 攻击算法，用人类评估者模拟 oracle 判定攻击成功，最后评估各模型与人评标签的一致率。

   问题形式化

   • 两类定义：sensitivity 对抗样本（Definition 1）要求 f(x*)≠f(x) 且扰动范数 ≤ε；invariance 对抗样本（Definition 2）要求 f(x*)=f(x)、O(x*)≠O(x) 且非垃圾类、扰动 ≤ε。
   • 鲁棒误差目标：L_ε(f) = E_{(x,y)∼ D}[max_|Δ|≤ε {f(x+Δ) ≠ y}]，即现有防御优化的 ε 界内最坏错误率（式 1）。
   • 错位定义：Definition 3 定义 distance-oracle misalignment——若存在同类点比异类点更远，则距离与 oracle 错位。Lemma 4 称构造与 oracle 对齐的距离函数和完美解决分类任务一样难（证明在附录 D）。

   攻击算法（Algorithm 1）

   • GenInv 元算法：对输入 x，在训练集 X 中取异类样本集 S，施加已知保持语义的变换集 T（旋转、平移等），返回在所用 lp 度量下离 x 最近的变换后样本。
   • l0 实例化（附录 A）：T 含旋转至多 20 度、平移至多 6 像素（28 中）、shear 至多 20%、缩放至多 50%；再计算 ∆=|x−x*|>1/2，对 ∆ 做谱聚类并枚举聚类子集得到候选，用 AC-GAN 的类条件似然打分筛选，使 l0 扰动平均减少 50%；另过滤掉 X 中 20% 最不规范的样本。
   • l∞ 实例化（附录 A）：同样建增广训练集，但只对经验上更有说服力的目标标签（如 1 配 7 或 4）搜索，再通过与目标样本插值施加 l∞ 有界扰动；作者称 l∞ 攻击不如 l0 有效，未做进一步优化。

   成功判定与人评协议

   • model-agnostic 成功标准：攻击成功当且仅当人类评估者集成以超过 70% 的比例认同一个与原标签不同的新标签，与任何模型无关。
   • 人评设置：40 名评估者，每人分类 100 个数字（一半未修改 MNIST、一半来自 l0 与 l∞ 攻击样本）；另由一位作者用像素级编辑器手工制作 50 个 l0/l∞ 样本。
   • 模型评估：只在人评确认标签改变的"成功"样本上，报告模型预测与人评标签的一致率（Table 2）。

   理论模型与数据增强

   • overly-robust 特征模型（第 5 节）：二元任务中 oracle 标签由特征 x1 决定（O(x)=sign(x1)），数据"清洗"增强噪声特征 x2…x_{d+2} 与标签的伪相关；引理 6 称标准分类器与人一致率 ≥1−δ 但对 O(d^{-1/2}) 的 l∞ 扰动脆弱，引理 7 称存在只用 x2 的 overly-robust 分类器对 ε=0.99 的 l∞ 噪声有 1−α/2 鲁棒准确率但易受 invariance 攻击（证明在附录 E）。
   • 数据增强实验：训练时攻击者先小幅旋转平移再加 ε 界 l∞ 噪声（训练采样 10 个空间变换、各 40 步 PGD 取最强；测试枚举全部变换、各 100 步 PGD），检验强制真实不变性是否能防止过度不变。

   收起这一问

4. 04论文做了哪些实验？

   在 MNIST 上生成 100 个攻击样本经 40 名人评判定，鲁棒模型与人评一致率普遍低于 undefended 模型，认证模型手工样本上仅 12%。

   实验设置

   • 被测模型：Undefended ResNet-18、l0-Sparse（Bafna et al., 2018）、Binary-ABS 与 ABS（Schott et al., 2019）、l∞-PGD（ε=0.3）与 l2-PGD（ε=2）（Madry et al., 2017）；另评估 Zhang et al. (2019) 的预训练认证模型，及自训 l∞-PGD（ε∈[0,0.4]）与 l1-PGD（ε∈[0,15]）模型。
   • 数据集：MNIST；作者说明选 MNIST 是因为它是唯一能在非平凡 lp 球内训练出强鲁棒模型的视觉任务。
   • 攻击样本：从 MNIST 测试集随机取 100 个输入，分别生成 l0 与 l∞（ε=0.3、0.4）攻击样本；另手工制作 50 个样本。
   • 成功判定：40 名人类评估者，70% 一致阈值；模型评估只在人评确认标签改变的成功样本上进行。
   • 对照指标：Table 3（附录 C）报告同一批模型在 sensitivity 攻击下的标准鲁棒准确率（l0 用 PointwiseAttack 重复 10 次、ε=25；l∞ 用 100 步 PGD）。
   • 训练细节（附录 C）：自训模型用 Madry et al. 架构，Adam 训练 10 epoch；l∞-PGD 训练 40 步、l1 用 Sparse l1-Descent Attack（99% 稀疏度）。

   主结果

   攻击成功率（Table 1，人评 70% 阈值）：clean 0%；l0 55%；l∞ ε=0.3 自动 21%、手工 26%；l∞ ε=0.4 自动 37%、手工 88%。

   模型与人评一致率（Table 2，仅在成功样本上；* 表示超出该防御的威胁模型）：

   表格较宽，可左右滑动

   模型	Clean	l0	l∞ ε=0.3	l∞ ε=0.4
   Undefended	99%	80%	33%	51%
   l0-Sparse	99%	38%	19%*	27%*
   Binary-ABS	99%	47%	0%	8%
   ABS	99%	58%	14%	18%
   l∞-PGD (ε=0.3)	99%	56%*	0%	16%*
   l2-PGD (ε=2)	99%	27%*	5%*	19%*

   • 作者称对 sensitivity 攻击越鲁棒的模型，在 invariance 样本上与人评一致率越低；所有鲁棒模型都差于 undefended ResNet-18。
   • 作者指出 Binary-ABS 自称在 l∞ ε=0.4 下有 60% 经验鲁棒准确率，但在满足该界的本文样本上与人评分歧 92%（一致率 8%）。
   • 作者解释：为降低对非语义特征的过度敏感而设计的模型，变得对语义上有意义的特征过度不变。

   打破认证防御

   • 测了什么：Zhang et al. (2019) 的预训练模型，其证明在 l∞ ε=0.4 下测试准确率至少 87%。
   • 结果：在全部 100 个 ε=0.4 样本上模型与原测试标签一致率 96%，但与人评新标签一致率仅 63%；在 50 个手工样本上与人评分歧 88%，一致率仅 12%。
   • 作者解读：该证明在数学上正确，但人类对许多此类扰动改变了分类，因此并未真正交付 87% 的鲁棒准确率。

   鲁棒性-不变性权衡与数据增强

   • Figure 6：l∞-PGD 训练 ε 在 [0,0.4] 内越大，模型在 l∞ invariance 样本上与人评一致率越低；l1-PGD 模型在 l0 攻击上同样趋势。作者称 sensitivity 鲁棒性不泛化到训练界之外，但过度不变会泛化（ε=0.2 训练的模型对 ε≥0.3 的攻击仍比 undefended 更脆弱）。
   • Figure 7/8：用空间变换+l∞ 噪声的复合攻击训练时，ε 越大越难同时保持鲁棒（Figure 7）；数据增强使模型与人评一致率更高（Figure 8），但大 ε 下仍差于 undefended 模型。作者称数据增强有帮助但不足以同时抵抗两类攻击。

   其他消融与分析

   • l0 成功样本平均 l0 扰动 25.9，中位数 25（第 4.2 节）。
   • l∞ 攻击总是用满 ε=0.3 或 0.4 的预算，耗时与 l0 相近（对齐摊销每张数分钟）。
   • 100 张 clean 图中 98 张被全部评估者一致标注，另 2 张超 90% 一致。
   • l0 攻击下人评以 70% 阈值认同原标签的有 34/100，18 例未形成共识。
   • 附录 Table 4/5：自训模型的 sensitivity 鲁棒准确率随训练 ε 单调上升（如 l∞-PGD ε=0.4 训练对 PGD ε=0.4 达 90%）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出攻击未优化、数据增强不足以兼顾两类攻击，并呼吁更有原则地选取鲁棒界；实验仅在 MNIST 上做。

   作者指出的局限与后续方向

   • 攻击流程未优化：l0 攻击对齐过程摊销每张图需数分钟，作者称未对该过程做优化、预期可以改进（第 4.2 节）；l∞ 攻击效果较弱，作者称进一步优化可能有用（附录 A）。
   • 数据增强不充分：作者称即使对真实不变特征做数据增强，也不足以训练出同时抵抗 sensitivity 与 invariance 攻击的模型（第 5 节）。
   • MNIST 之外的任务：作者称 ImageNet 等复杂视觉任务也受同样权衡影响，只是因无法在这些任务上训练出非平凡鲁棒的模型而尚未显现（第 4.3 节）；并认为 Tsipras et al. (2019) 的方法可能指向在 MNIST 之外自动生成 invariance 攻击的途径。
   • 鲁棒界选取：作者称结果凸显需要更有原则地选取有意义的鲁棒界、衡量鲁棒进展（第 7 节）；并认为以 lp 有界攻击为目标对抵抗任意对抗样本可能本质上徒劳（第 6 节）。

   实验覆盖范围

   • 实验仅在 MNIST 上进行；被测模型为 6 个已有模型加 Zhang et al. (2019) 认证模型及自训 PGD 模型（第 4 节、附录 C）。
   • 攻击样本规模为每范数 100 个自动样本，另加 50 个手工样本；人评为 40 名评估者、每人 100 张（第 4.2 节）。
   • 防御侧只评测了数据增强这一种缓解手段（第 5 节 Figure 7/8）。
   • 论文未报告攻击生成所需的模型查询次数（攻击为 model-agnostic），也未报告人评者间一致性的统计指标（仅给出 70% 阈值下的共识计数）。
   • 理论分析限于一个二元分类玩具模型（第 5 节、附录 E）。

   收起这一问

6. 06总结一下论文的主要内容

   作者提出并验证 sensitivity 与 invariance 两类对抗样本的根本权衡：MNIST 上越鲁棒的模型与人评分歧越大，认证防御也被打破。

   一篇关于对抗样本根本权衡的攻击论文：作者研究 invariance-based 对抗样本——扰动改变人类认定的标签却保持模型预测不变——并论证它与主流的 sensitivity-based 失败模式存在此消彼长。

   • 要解决的问题：lp 范数与任务感知度量错位时，围绕 lp 球优化鲁棒性会使模型对语义变化过度不变；作者认为现有防御无法同时防住两类攻击，必须取舍。
   • 方法要点：形式化定义两类对抗样本与 distance-oracle misalignment（Lemma 4 称构造对齐距离函数与完美分类一样难）；提出 model-agnostic 攻击算法 GenInv，在变换后的异类训练样本中找最近邻并精炼扰动；用 40 名人类评估者以 70% 阈值充当 oracle。
   • 主要结果：l0 攻击成功率 55%（100 例），手工 l∞ ε=0.4 达 88%（50 例）；Table 2 中所有鲁棒模型在成功样本上与人评一致率都低于 undefended ResNet-18，Binary-ABS 在 l∞ ε=0.3 上为 0%；认证模型 Zhang et al. (2019) 在手工样本上与人评一致率仅 12%，作者称其 87% 认证鲁棒准确率名不副实。
   • 权衡与机理：Figure 6 显示 PGD 训练 ε 越大、人评一致率越低；作者用 overly-robust 特征模型解释过度不变为何能拟合并泛化，并称 MNIST 实验确认了此类特征存在。
   • 作者结论：作者称需要更有原则地选取鲁棒界；数据增强有帮助但不足以同时抵抗两类攻击；并认为 MNIST 远未被解决，复杂视觉任务在能训练出强鲁棒模型后也将面临同样权衡。

   收起这一问

相关论文