ATOM:利用离群点挖掘增强 OOD 检测鲁棒性
ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining
作者提出 ATOM(对抗训练+信息性 outlier 挖掘)提升 OOD 检测鲁棒性,称在 CIFAR-10 上 Comp. OOD 的 FPR 比最优基线降 57.99%。
攻击者目标是让 OOD 输入被检测器 G(x) 误判为 in-distribution,从而触发下游分类器预测为某个 ID 类别。
- 现有 OOD 检测方法在对抗扰动下脆弱:作者报告 CIFAR-10 上 OE 的 FPR 在攻击下从 3.66% 升至 99.94%。作者认为随机采样的辅助 outlier 大多无信息量,不能改善甚至损害检测边界。
- 提出 ATOM:用 (K+1) 类分类器做对抗训练(PGD 解内层 max),每个 epoch 从辅助 OOD 池采样 N 个点,按 OOD 分数排序后从第 qN 个起选 n 个信息性样本训练;并给出高斯数据模型下 outlier mining 降低 ID 样本复杂度的理论分析。
- 在 CIFAR-10/100、SVHN 上对比 8 种方法、四类 OOD 输入(Natural、Corruption、L∞、Comp.)。CIFAR-10 上 ATOM 的 FPR:Natural 1.69%、Corruption 25.26%、L∞ 20.55%、Comp. 38.89%,均优于基线;SVHN 的 Comp. OOD 上 ATOM 为 96.33%,接近失效。
- 论文未设 Limitations 一节讨论局限。实验覆盖:ID 数据集为 SVHN/CIFAR-10/CIFAR-100,架构为 DenseNet 与 WideResNet,辅助数据为 TinyImages 与 ImageNet-RC;所有实验只跑一次(固定随机种子),论文未报告多次运行的方差。
- 威胁模型
- 攻击者目标是让 OOD 输入被检测器 G(x) 误判为 in-distribution,从而触发下游分类器预测为某个 ID 类别。知识:L∞ OOD 与 Compositional OOD 为 white-box,Corruption OOD 为 black-box。能力:对 OOD 输入施加 L∞ 范数有界扰动(PGD,ε=8/255)、15 类 common corruptions 或两者组合。受害系统:OOD 检测器 G(x) 加图像分类器 f(x) 的开放世界分类系统。
- 被测模型
- ATOMAT (no outlier mining)NTOM (no adversarial training)
- 基准
- CIFAR-10CIFAR-100SVHN80 Million Tiny ImagesImageNet-RCTexturesPlaces365LSUN (crop)LSUN (resize)iSUN
- 指标
- FPR (at 5% FNR)AUROC
ATOM 通过挖掘有信息量的辅助 OOD 样本并结合对抗训练,提升 OOD 检测器对对抗性 OOD 输入的鲁棒性。作者分析发现,多数辅助 OOD 样本可能无益甚至损害检测器的决策边界。在 CIFAR-10 上,ATOM 将对抗性 OOD 输入下 TPR 为 95% 时的 FPR 最多降低 57.99%,在经典与对抗性 OOD 评测中达到 SOTA,并可泛化到未见对抗攻击。
深度解读
这篇论文试图解决什么问题?
解决对抗扰动下 OOD 检测脆弱的问题,作者认为随机采样的辅助 outlier 大多无信息量。
核心问题:如何让 OOD 检测器在对抗扰动的 OOD 输入下保持鲁棒。
- 场景与重要性:开放世界部署中,OOD 检测器 G(x) 与分类器 f(x) 串联;被扰动的 OOD 图像(如邮箱)可能被误判为 in-distribution,触发下游分类器预测为某个 ID 类别,作者以自动驾驶为安全攸关场景举例(Figure 1)。
- 现有方法的不足:作者称以往方法主要针对 clean OOD 数据,忽视鲁棒性;作者报告 CIFAR-10 上 Outlier Exposure 的 FPR 在对抗攻击下从 3.66% 升至 99.94%。
- 核心观察:作者称随机采样辅助 outlier 会产生大量无信息样本,多数辅助 OOD 样本不能有意义地改善、甚至损害检测边界(Figure 2 的 toy example 与 Figure 4/5 的 OOD 分数直方图)。
- 论文的贡献:提出训练框架 ATOM(Adversarial Training with informative Outlier Mining),给出理论分析,并提供覆盖四类 OOD 输入的统一评测框架;作者称代码与数据已发布。
- 威胁模型:
- 攻击者目标:让 OOD 输入被 G(x) 判为 in-distribution(FPR 升高),对抗 OOD 样本是针对检测器构造的,不同于针对分类器的标准对抗样本。
- 知识:L∞ OOD 与 Compositional OOD 为 white-box;Corruption OOD 为 black-box(只需检测器输出分数)。
- 能力:对 OOD 输入施加 L∞ 范数有界扰动(PGD,ε=8/255)、15 类 common corruptions(5 个严重等级,取分数最低者),或两者组合。
- 受害系统:OOD 检测器 G(x) 加图像分类器 f(x) 的开放世界分类系统。
有哪些相关研究?
相关工作分四组:OOD 检测、OOD 检测鲁棒性、对抗鲁棒性、难例挖掘;基线为 8 种 OOD 检测方法。
OOD 检测
- MSP [20]——用预训练网络的最大 softmax 概率做 OOD 检测基线;后续工作包括 deep ensembles [28]、ODIN 的校准 softmax 分数 [31]、Mahalanobis 距离分数 [30]、energy score [33]。
- 用辅助异常数据正则化模型的方法:真实数据(OE [21]、SOFL [37]、[40])或 GAN 生成数据 [29];另有 [4,35,46] 让模型对异常样本输出低置信度。
- [32] 研究 OOD 检测的计算效率,[24] 研究 ImageNet 上的大规模 OOD 检测。
OOD 检测的鲁棒性
- ACET [18] 与 ROWL [42] 研究 worst-case OOD 检测;论文指出它们主要关注 L∞ 范数有界攻击,而本文评测还包含 common corruption 攻击。
- 论文指出 [18,36] 只在随机噪声图像上评测 OOD 检测的对抗鲁棒性,本文还在自然 OOD 图像上评测。
- CCU [36] 给出均匀噪声周围球上的可证明保证,[6] 把可证明保证扩展到相关但不同的图像分类任务。
对抗鲁棒性
- 对抗样本 [5,16,41,49] 受到广泛关注;对抗训练 [34] 用鲁棒优化抵御对抗攻击,作者称其为最有效的方法之一。
- [7,38,51,58] 表明无标注数据可以提升分类的对抗鲁棒性。
难例挖掘(hard example mining)
- [48] 为人脸检测训练引入难例挖掘;该思路被广泛用于目标检测 [13,15,43]、深度度量学习 [10,17,44,47,52] 与深度嵌入学习 [11,45,53,56]。
- 作者称据其所知本文首次把难例挖掘用于提升 OOD 检测的鲁棒性,并指出以往难例挖掘多为启发式,本文给出了形式化保证。
基线与基准:对比基线为 MSP、ODIN、Mahalanobis、SOFL、OE、ACET、CCU、ROWL 八种方法;ID 数据集为 CIFAR-10、CIFAR-100、SVHN,OOD 测试集为 SVHN、Textures、Places365、LSUN (crop)、LSUN (resize)、iSUN 六个。
作者将本文定位为:在更广的 clean 与扰动 OOD 输入族上取得 state-of-the-art(作者称),关键区别是引入 informative outlier mining。
论文如何解决这个问题?
ATOM:(K+1) 类分类器做对抗训练,每轮按 OOD 分数挖掘信息性 outlier;附高斯模型下的样本复杂度理论。
整体思路:训练一个 (K+1) 类分类器(第 K+1 类表示 OOD),用 PGD 对抗训练收紧 ID 与 OOD 之间的边界,并在每个 epoch 自适应地挖掘检测器最不确定的 outlier 样本参与训练,框架名为 ATOM。
问题设定与检测器构造
- 训练数据:ID 训练集来自分布 P_X,Y,另有辅助 outlier 数据来自分布 U_X;测试时 OOD 分布 Q_X 未知且可与 U_X 不同。
- 鲁棒目标:检测器 G: x → {−1, 1},对 ID 样本输出 1,对 clean 或扰动 OOD 样本输出 −1;FPR 定义为对 OOD 样本在扰动集 Ω(x) 内取最坏情况。
- 检测器构造:G(x) = −1 若 F(x)K+1 ≥ γ,否则为 1;F(x)_{K+1} 称为 OOD 分数,阈值 γ 在 ID 数据上选取使高比例 ID 测试样本被判为 ID。被判为 ID 的输入用前 K 类 argmax 得到语义标签。
训练目标与对抗训练
- 目标函数:minθ E(x,y)∼ Din[ℓ(x,y;Fθ)] + λ · Ex∼ Douttrain maxx′∈ Ω∞,ϵ(x) ℓ(x′, K+1; Fθ),即 ID 交叉熵加 outlier 上的最坏情况损失。
- 内层 max 用 PGD 求解,只对一个 minibatch 的一半施加扰动、另一半保持 clean,以兼顾 clean 与扰动数据上的表现。
- 参数:λ=1;PGD 训练时 ε=8/255、5 次迭代、步长 2/255、随机起点。
Informative outlier mining
- 每个 epoch:从辅助 OOD 数据集随机采 N 个点,用当前模型算 OOD 分数并排序,从第 qN 个起取 n 个(n<N)作为下一 epoch 的 OOD 训练数据(Algorithm 1)。
- q 控制样本的信息量:q 越大样本越"容易"、信息量越少;挖掘在非对抗的辅助数据上进行,选出的样本再代入鲁棒目标训练。
- 关键参数:CIFAR-10/100 取 N=400,000、n=100,000;SVHN 取 N=586,056、n=146,514;q 在与测试 OOD 数据不同的 TinyImages 验证集上选取,CIFAR-10 取 0.125、CIFAR-100 取 0.5、SVHN 取 0。
- 作者称分数推断可完全并行,挖掘开销相对较低;论文未报告挖掘环节的具体耗时。
理论分析
- 数据模型:ID 为高斯 N(μ, σ²I),测试 OOD 为大部分质量在 μ 周围球外的任意分布,扰动为 ℓ∞ 范数有界;检测器假设类为球型指示函数。
- 两个结论(证明在附录 A):(1) 有信息性辅助数据时,所需 ID 样本量从 Θ̃(d/γ²) 降到 Õ(d/γ⁴);(2) 辅助数据混入大量无信息 outlier 甚至 ID 数据时,先用阈值机制(按到 x̄ 的距离落在区间 [a,b] 内)筛选再优化 margin loss,仍能以高概率学到 FNR ≤ exp(−cγ²)、FPR ≤ ε_τ 的检测器。
评测方式
- 四类 OOD 输入:Natural OOD(无攻击)、L∞ OOD(white-box,PGD ε=8/255、40 次迭代、步长 1/255)、Corruption OOD(black-box,15 类 corruption × 5 等级共 75 张取 OOD 分数最低者)、Compositional OOD(先 corruption 再 L∞,white-box)。
- 指标:FPR(在 5% FNR 处)与 AUROC;对八种检测方法分别给出攻击目标(附录 B.4)。
论文做了哪些实验?
在 3 个 ID 数据集、6 个 OOD 测试集、4 类攻击下对比 8 种方法,ATOM 多数设置最优;附消融与理论。
实验设置
- 被测对象:八种 OOD 检测方法——MSP、ODIN、Mahalanobis、SOFL、OE、ACET、CCU、ROWL,以及本文 ATOM;网络架构为 DenseNet(L=100, k=12),附录 B.12 用 WideResNet(WRN-40-4)重复主实验。
- 数据集:ID 为 CIFAR-10、CIFAR-100(主文)与 SVHN(附录 B.8);辅助 OOD 数据默认为 80 Million Tiny Images(经过去重),备选 ImageNet-RC;OOD 测试集六个:SVHN、Textures、Places365、LSUN (crop)、LSUN (resize)、iSUN。
- 攻击设置:L∞ 攻击默认 PGD ε=8/255、40 次迭代、步长 1/255、随机起点;Corruption 攻击每张图生成 75 张损坏图取 OOD 分数最低者;Comp. 攻击为两者组合。
- 指标:FPR(5% FNR 处)与 AUROC,表中数值为六个 OOD 测试集的平均,单位百分比。
- 重复次数:所有实验以固定随机种子只跑一次(附录 B.1)。
- 运行开销:DenseNet 下 ATOM 训练约 21 h、评测约 4 h;对比中 ROWL 训练 24 h、ACET 17 h、OE 5 h(Table 4)。
主结果
Table 1(DenseNet,六个 OOD 测试集平均,FPR 单位 %,越低越好):
表格较宽,可左右滑动
方法 Natural Corruption L∞ Comp. Natural Corruption L∞ Comp. CIFAR-10 CIFAR-100 OE 3.66 56.25 99.94 99.99 49.21 99.96 100.00 100.00 ACET 12.28 66.93 74.45 96.88 50.93 99.53 76.27 99.71 CCU 3.39 56.76 99.91 99.97 43.04 99.90 100.00 100.00 SOFL 2.78 62.07 99.98 100.00 43.36 99.93 100.00 100.00 ATOM 1.69 25.26 20.55 38.89 32.30 93.15 38.72 93.44 (省略 MSP、ODIN、Mahalanobis、ROWL 四行,它们在对抗任务上 FPR 多为 95–100;完整数据见 Table 1。)
- 作者称 ATOM 在 clean OOD 上与现有 state-of-the-art 相当或更好,在 L∞ OOD 上比最优基线 ACET 的 FPR 低 53.9%(CIFAR-10)。
- 作者称 ACET 在新的 Corruption OOD 任务下表现脆弱,而 ATOM 能泛化到训练时未见的 corruption 攻击,CIFAR-10 上 FPR 最多低 30.99%。
- 作者称 Comp. OOD 是最难任务,几乎所有方法失效,ATOM 在 CIFAR-10 上仍把 FPR 降到 38.89%(比基线低 57.99%)。
消融:对抗训练与 outlier mining 各自的作用
- 测了什么:Table 2 用相同目标但随机采 outlier(AT,无挖掘)和不做对抗训练(NTOM,目标 4)做消融。
- 结果:CIFAR-10 的 L∞ OOD 上,AT 的 FPR 为 44.31%、NTOM 为 99.90%、ATOM 为 20.55%;Comp. OOD 上 AT 为 65.17%、NTOM 为 99.99%、ATOM 为 38.89%。
- 作者解读:仅对抗训练或仅挖掘都不够,两者结合(ATOM)才能在鲁棒任务上取得好结果。
更强攻击与 SVHN 上的例外
- 更强 PGD:100 次迭代加 5 次随机重启下(Table 10),CIFAR-10 的 L∞ OOD 上 ATOM FPR 26.88%(ACET 76.66%),Comp. OOD 上 ATOM 42.86%(ACET 97.08%);作者称更强攻击下 ATOM 仍优于 ACET。
- SVHN 结果(Table 5):ATOM 在 Natural(0.07%)、Corruption(5.47%)、L∞(7.02%)上最优,但 Comp. OOD 上 FPR 达 96.33%,接近失效(ACET 为 99.85%)。
- ID 分类精度(Table 11):ATOM 在 CIFAR-10 上分类准确率 95.20%(预训练网络 MSP 为 94.39%),作者称提升检测的同时保持了 ID 分类性能。
其他消融与分析
- 采样参数 q(Table 3):q=0.75(过易样本)在三个数据集上都变差;SVHN/TinyImages(ID 与辅助数据不重叠)时 q=0 最优,CIFAR/TinyImages 时 q=0.125(CIFAR-10)与 q=0.5(CIFAR-100)最优,作者称这可避开辅助数据中的近重复 ID 样本。
- 辅助数据集(Table 8):换用 ImageNet-RC 时 ATOM 一致改善,CIFAR-100 Natural OOD 的 FPR 从 32.30%(TinyImages)降到 15.49%(ImageNet-RC),且三个数据集上 q=0 最优。
- 系数 λ(Table 7,CIFAR-10,q=0.125):λ=0.01 时明显变差(L∞ OOD FPR 51.09%),λ=1.0 与 λ=5.0 表现接近(L∞ OOD FPR 分别为 20.55%、19.57%)。
- 架构(Table 9):WideResNet 上结论一致,如 CIFAR-10 的 L∞ OOD 上 ATOM FPR 33.66%,ACET 为 40.22%。
- OOD 分数直方图(Figure 4/5):不用挖掘训练时,作者称模型很快收敛到 OOD 分数分布被高分(容易)样本主导的状态,且训练越久越明显。
有什么可以进一步探索的点?
论文未设局限一节;实验覆盖 3 个 ID 数据集、2 种架构、2 种辅助数据,所有实验只跑一次。
作者指出的局限与后续方向
- 论文未专门讨论局限(无 Limitations 一节)。
- 理论部分作者注明:高斯数据模型比实际数据简单,其简洁性是为了展示洞察;分析可推广到混合高斯以更好建模真实数据(Section 5.1)。
- 作者提出统一评测框架,供未来研究在更广的 OOD 输入族下检验 OOD 检测算法的鲁棒性(Section 1 贡献列表与 Section 7)。
实验覆盖范围
- 被测 ID 数据集为 SVHN、CIFAR-10、CIFAR-100 共 3 个;OOD 测试集为 SVHN、Textures、Places365、LSUN (crop)、LSUN (resize)、iSUN 共 6 个(Section 4.1、附录 B.1)。
- 网络架构覆盖 DenseNet 与 WideResNet(WRN-40-4)两种(附录 B.1、B.12)。
- 辅助 OOD 数据覆盖 TinyImages 与 ImageNet-RC 两种(附录 B.11)。
- 攻击覆盖 L∞(white-box)、common corruptions(black-box)与两者组合;更强攻击评测为 PGD 100 次迭代加 5 次随机重启,仅对 ACET 与 ATOM 两个方法进行(附录 B.13)。
- 所有实验以固定随机种子只跑一次,论文未报告多次运行的均值或方差(附录 B.1)。
总结一下论文的主要内容
ATOM 用对抗训练加信息性 outlier 挖掘提升 OOD 检测鲁棒性,在多数对抗评测设置上优于 8 种基线。
一篇关于鲁棒 OOD 检测的方法论文:针对对抗扰动下 OOD 检测器失效的问题,提出训练框架 ATOM 并给出理论保证。
- 问题:作者报告 CIFAR-10 上 OE 的 FPR 在对抗攻击下从 3.66% 升至 99.94%;作者认为随机采样的辅助 outlier 大多无信息量,不能改善甚至损害检测边界。
- 方法:(K+1) 类分类器加 PGD 对抗训练;每个 epoch 从辅助池采 N 个点按 OOD 分数排序,从第 qN 个起选 n 个信息性样本训练(CIFAR 上 N=400,000、n=100,000,q 在独立验证集上选)。
- 主结果(Table 1,DenseNet,六个 OOD 测试集平均):CIFAR-10 上 ATOM 的 FPR 为 Natural 1.69%、Corruption 25.26%、L∞ 20.55%(ACET 74.45%)、Comp. 38.89%(ACET 96.88%);CIFAR-100 的 L∞ OOD 上为 38.72%(ACET 76.27%)。
- 例外:SVHN 的 Comp. OOD 上 ATOM 的 FPR 达 96.33%,接近失效(Table 5)。
- 消融:去掉挖掘(AT)或去掉对抗训练(NTOM)在 L∞ 与 Comp. 任务上都明显变差;换用 ImageNet-RC 辅助数据结果一致改善。
- 理论:高斯数据模型下,作者证明信息性辅助数据可把所需 ID 样本量从 Θ̃(d/γ²) 降到 Õ(d/γ⁴),outlier mining 在辅助数据混入大量无信息样本时仍能学到鲁棒检测器。
- 作者结论:ATOM 在广义的 clean 与扰动 OOD 评测族上取得 state-of-the-art(作者称),并希望其统一评测框架推动对 OOD 检测鲁棒性的更广关注。