跳到正文
原文

ATOM:利用离群点挖掘增强 OOD 检测鲁棒性

ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining

arXiv· arXiv:2006.15207· ECML/PKDD· Jiefeng Chen, Yixuan Li, Xi Wu, Yingyu Liang, Somesh JhaDepartment of Computer Sciences, University of Wisconsin-Madison; Google本站收录· 23 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 ATOM(对抗训练+信息性 outlier 挖掘)提升 OOD 检测鲁棒性,称在 CIFAR-10 上 Comp. OOD 的 FPR 比最优基线降 57.99%。

威胁模型攻击者目标是让 OOD 输入被检测器 G(x) 误判为 in-distribution,从而触发下游分类器预测为某个 ID 类别。

问题
现有 OOD 检测方法在对抗扰动下脆弱:作者报告 CIFAR-10 上 OE 的 FPR 在攻击下从 3.66% 升至 99.94%。作者认为随机采样的辅助 outlier 大多无信息量,不能改善甚至损害检测边界。
方法
提出 ATOM:用 (K+1) 类分类器做对抗训练(PGD 解内层 max),每个 epoch 从辅助 OOD 池采样 N 个点,按 OOD 分数排序后从第 qN 个起选 n 个信息性样本训练;并给出高斯数据模型下 outlier mining 降低 ID 样本复杂度的理论分析。
实验与结果
在 CIFAR-10/100、SVHN 上对比 8 种方法、四类 OOD 输入(Natural、Corruption、L∞、Comp.)。CIFAR-10 上 ATOM 的 FPR:Natural 1.69%、Corruption 25.26%、L∞ 20.55%、Comp. 38.89%,均优于基线;SVHN 的 Comp. OOD 上 ATOM 为 96.33%,接近失效。
局限与可以继续做的
论文未设 Limitations 一节讨论局限。实验覆盖:ID 数据集为 SVHN/CIFAR-10/CIFAR-100,架构为 DenseNet 与 WideResNet,辅助数据为 TinyImages 与 ImageNet-RC;所有实验只跑一次(固定随机种子),论文未报告多次运行的方差。
实验设置ATOM、AT (no outlier mining) 等 · CIFAR-10、CIFAR-100 等 · FPR (at 5% FNR)、AUROC
威胁模型
攻击者目标是让 OOD 输入被检测器 G(x) 误判为 in-distribution,从而触发下游分类器预测为某个 ID 类别。知识:L∞ OOD 与 Compositional OOD 为 white-box,Corruption OOD 为 black-box。能力:对 OOD 输入施加 L∞ 范数有界扰动(PGD,ε=8/255)、15 类 common corruptions 或两者组合。受害系统:OOD 检测器 G(x) 加图像分类器 f(x) 的开放世界分类系统。
被测模型
ATOMAT (no outlier mining)NTOM (no adversarial training)
基准
CIFAR-10CIFAR-100SVHN80 Million Tiny ImagesImageNet-RCTexturesPlaces365LSUN (crop)LSUN (resize)iSUN
指标
FPR (at 5% FNR)AUROC
AI 导读ATOM 通过挖掘有信息量的辅助 OOD 样本并结合对抗训练,提升 OOD 检测器对对抗性 OOD 输入的鲁棒性。作者分析发现,多数辅助 OOD 样本可能无益甚至损害检测器的决策边界。在 CIFAR-10 上,ATOM 将对抗性 OOD 输入下 TPR 为 95% 时的 FPR 最多降低 57.99%,在经典与对抗性 OOD 评测中达到 SOTA,并可泛化到未见对抗攻击。

ATOM 通过挖掘有信息量的辅助 OOD 样本并结合对抗训练,提升 OOD 检测器对对抗性 OOD 输入的鲁棒性。作者分析发现,多数辅助 OOD 样本可能无益甚至损害检测器的决策边界。在 CIFAR-10 上,ATOM 将对抗性 OOD 输入下 TPR 为 95% 时的 FPR 最多降低 57.99%,在经典与对抗性 OOD 评测中达到 SOTA,并可泛化到未见对抗攻击。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    解决对抗扰动下 OOD 检测脆弱的问题,作者认为随机采样的辅助 outlier 大多无信息量。

    核心问题:如何让 OOD 检测器在对抗扰动的 OOD 输入下保持鲁棒。

    • 场景与重要性:开放世界部署中,OOD 检测器 G(x) 与分类器 f(x) 串联;被扰动的 OOD 图像(如邮箱)可能被误判为 in-distribution,触发下游分类器预测为某个 ID 类别,作者以自动驾驶为安全攸关场景举例(Figure 1)。
    • 现有方法的不足:作者称以往方法主要针对 clean OOD 数据,忽视鲁棒性;作者报告 CIFAR-10 上 Outlier Exposure 的 FPR 在对抗攻击下从 3.66% 升至 99.94%。
    • 核心观察:作者称随机采样辅助 outlier 会产生大量无信息样本,多数辅助 OOD 样本不能有意义地改善、甚至损害检测边界(Figure 2 的 toy example 与 Figure 4/5 的 OOD 分数直方图)。
    • 论文的贡献:提出训练框架 ATOM(Adversarial Training with informative Outlier Mining),给出理论分析,并提供覆盖四类 OOD 输入的统一评测框架;作者称代码与数据已发布。
    • 威胁模型:
      • 攻击者目标:让 OOD 输入被 G(x) 判为 in-distribution(FPR 升高),对抗 OOD 样本是针对检测器构造的,不同于针对分类器的标准对抗样本。
      • 知识:L∞ OOD 与 Compositional OOD 为 white-box;Corruption OOD 为 black-box(只需检测器输出分数)。
      • 能力:对 OOD 输入施加 L∞ 范数有界扰动(PGD,ε=8/255)、15 类 common corruptions(5 个严重等级,取分数最低者),或两者组合。
      • 受害系统:OOD 检测器 G(x) 加图像分类器 f(x) 的开放世界分类系统。
  2. 有哪些相关研究?

    相关工作分四组:OOD 检测、OOD 检测鲁棒性、对抗鲁棒性、难例挖掘;基线为 8 种 OOD 检测方法。

    OOD 检测

    • MSP [20]——用预训练网络的最大 softmax 概率做 OOD 检测基线;后续工作包括 deep ensembles [28]、ODIN 的校准 softmax 分数 [31]、Mahalanobis 距离分数 [30]、energy score [33]。
    • 用辅助异常数据正则化模型的方法:真实数据(OE [21]、SOFL [37]、[40])或 GAN 生成数据 [29];另有 [4,35,46] 让模型对异常样本输出低置信度。
    • [32] 研究 OOD 检测的计算效率,[24] 研究 ImageNet 上的大规模 OOD 检测。

    OOD 检测的鲁棒性

    • ACET [18] 与 ROWL [42] 研究 worst-case OOD 检测;论文指出它们主要关注 L∞ 范数有界攻击,而本文评测还包含 common corruption 攻击。
    • 论文指出 [18,36] 只在随机噪声图像上评测 OOD 检测的对抗鲁棒性,本文还在自然 OOD 图像上评测。
    • CCU [36] 给出均匀噪声周围球上的可证明保证,[6] 把可证明保证扩展到相关但不同的图像分类任务。

    对抗鲁棒性

    • 对抗样本 [5,16,41,49] 受到广泛关注;对抗训练 [34] 用鲁棒优化抵御对抗攻击,作者称其为最有效的方法之一。
    • [7,38,51,58] 表明无标注数据可以提升分类的对抗鲁棒性。

    难例挖掘(hard example mining)

    • [48] 为人脸检测训练引入难例挖掘;该思路被广泛用于目标检测 [13,15,43]、深度度量学习 [10,17,44,47,52] 与深度嵌入学习 [11,45,53,56]。
    • 作者称据其所知本文首次把难例挖掘用于提升 OOD 检测的鲁棒性,并指出以往难例挖掘多为启发式,本文给出了形式化保证。

    基线与基准:对比基线为 MSP、ODIN、Mahalanobis、SOFL、OE、ACET、CCU、ROWL 八种方法;ID 数据集为 CIFAR-10、CIFAR-100、SVHN,OOD 测试集为 SVHN、Textures、Places365、LSUN (crop)、LSUN (resize)、iSUN 六个。

    作者将本文定位为:在更广的 clean 与扰动 OOD 输入族上取得 state-of-the-art(作者称),关键区别是引入 informative outlier mining。

  3. 论文如何解决这个问题?

    ATOM:(K+1) 类分类器做对抗训练,每轮按 OOD 分数挖掘信息性 outlier;附高斯模型下的样本复杂度理论。

    整体思路:训练一个 (K+1) 类分类器(第 K+1 类表示 OOD),用 PGD 对抗训练收紧 ID 与 OOD 之间的边界,并在每个 epoch 自适应地挖掘检测器最不确定的 outlier 样本参与训练,框架名为 ATOM。

    问题设定与检测器构造

    • 训练数据:ID 训练集来自分布 P_X,Y,另有辅助 outlier 数据来自分布 U_X;测试时 OOD 分布 Q_X 未知且可与 U_X 不同。
    • 鲁棒目标:检测器 G: x → {−1, 1},对 ID 样本输出 1,对 clean 或扰动 OOD 样本输出 −1;FPR 定义为对 OOD 样本在扰动集 Ω(x) 内取最坏情况。
    • 检测器构造:G(x) = −1 若 F(x)K+1 ≥ γ,否则为 1;F(x)_{K+1} 称为 OOD 分数,阈值 γ 在 ID 数据上选取使高比例 ID 测试样本被判为 ID。被判为 ID 的输入用前 K 类 argmax 得到语义标签。

    训练目标与对抗训练

    • 目标函数:minθ E(x,y)∼ Din[ℓ(x,y;Fθ)] + λ · Ex∼ Douttrain maxx′∈ Ω∞,ϵ(x) ℓ(x′, K+1; Fθ),即 ID 交叉熵加 outlier 上的最坏情况损失。
    • 内层 max 用 PGD 求解,只对一个 minibatch 的一半施加扰动、另一半保持 clean,以兼顾 clean 与扰动数据上的表现。
    • 参数:λ=1;PGD 训练时 ε=8/255、5 次迭代、步长 2/255、随机起点。

    Informative outlier mining

    • 每个 epoch:从辅助 OOD 数据集随机采 N 个点,用当前模型算 OOD 分数并排序,从第 qN 个起取 n 个(n<N)作为下一 epoch 的 OOD 训练数据(Algorithm 1)。
    • q 控制样本的信息量:q 越大样本越"容易"、信息量越少;挖掘在非对抗的辅助数据上进行,选出的样本再代入鲁棒目标训练。
    • 关键参数:CIFAR-10/100 取 N=400,000、n=100,000;SVHN 取 N=586,056、n=146,514;q 在与测试 OOD 数据不同的 TinyImages 验证集上选取,CIFAR-10 取 0.125、CIFAR-100 取 0.5、SVHN 取 0。
    • 作者称分数推断可完全并行,挖掘开销相对较低;论文未报告挖掘环节的具体耗时。

    理论分析

    • 数据模型:ID 为高斯 N(μ, σ²I),测试 OOD 为大部分质量在 μ 周围球外的任意分布,扰动为 ℓ∞ 范数有界;检测器假设类为球型指示函数。
    • 两个结论(证明在附录 A):(1) 有信息性辅助数据时,所需 ID 样本量从 Θ̃(d/γ²) 降到 Õ(d/γ⁴);(2) 辅助数据混入大量无信息 outlier 甚至 ID 数据时,先用阈值机制(按到 x̄ 的距离落在区间 [a,b] 内)筛选再优化 margin loss,仍能以高概率学到 FNR ≤ exp(−cγ²)、FPR ≤ ε_τ 的检测器。

    评测方式

    • 四类 OOD 输入:Natural OOD(无攻击)、L∞ OOD(white-box,PGD ε=8/255、40 次迭代、步长 1/255)、Corruption OOD(black-box,15 类 corruption × 5 等级共 75 张取 OOD 分数最低者)、Compositional OOD(先 corruption 再 L∞,white-box)。
    • 指标:FPR(在 5% FNR 处)与 AUROC;对八种检测方法分别给出攻击目标(附录 B.4)。
  4. 论文做了哪些实验?

    在 3 个 ID 数据集、6 个 OOD 测试集、4 类攻击下对比 8 种方法,ATOM 多数设置最优;附消融与理论。

    实验设置

    • 被测对象:八种 OOD 检测方法——MSP、ODIN、Mahalanobis、SOFL、OE、ACET、CCU、ROWL,以及本文 ATOM;网络架构为 DenseNet(L=100, k=12),附录 B.12 用 WideResNet(WRN-40-4)重复主实验。
    • 数据集:ID 为 CIFAR-10、CIFAR-100(主文)与 SVHN(附录 B.8);辅助 OOD 数据默认为 80 Million Tiny Images(经过去重),备选 ImageNet-RC;OOD 测试集六个:SVHN、Textures、Places365、LSUN (crop)、LSUN (resize)、iSUN。
    • 攻击设置:L∞ 攻击默认 PGD ε=8/255、40 次迭代、步长 1/255、随机起点;Corruption 攻击每张图生成 75 张损坏图取 OOD 分数最低者;Comp. 攻击为两者组合。
    • 指标:FPR(5% FNR 处)与 AUROC,表中数值为六个 OOD 测试集的平均,单位百分比。
    • 重复次数:所有实验以固定随机种子只跑一次(附录 B.1)。
    • 运行开销:DenseNet 下 ATOM 训练约 21 h、评测约 4 h;对比中 ROWL 训练 24 h、ACET 17 h、OE 5 h(Table 4)。

    主结果

    Table 1(DenseNet,六个 OOD 测试集平均,FPR 单位 %,越低越好):

    表格较宽,可左右滑动

    方法NaturalCorruptionL∞Comp.NaturalCorruptionL∞Comp.
    CIFAR-10CIFAR-100
    OE3.6656.2599.9499.9949.2199.96100.00100.00
    ACET12.2866.9374.4596.8850.9399.5376.2799.71
    CCU3.3956.7699.9199.9743.0499.90100.00100.00
    SOFL2.7862.0799.98100.0043.3699.93100.00100.00
    ATOM1.6925.2620.5538.8932.3093.1538.7293.44

    (省略 MSP、ODIN、Mahalanobis、ROWL 四行,它们在对抗任务上 FPR 多为 95–100;完整数据见 Table 1。)

    • 作者称 ATOM 在 clean OOD 上与现有 state-of-the-art 相当或更好,在 L∞ OOD 上比最优基线 ACET 的 FPR 低 53.9%(CIFAR-10)。
    • 作者称 ACET 在新的 Corruption OOD 任务下表现脆弱,而 ATOM 能泛化到训练时未见的 corruption 攻击,CIFAR-10 上 FPR 最多低 30.99%。
    • 作者称 Comp. OOD 是最难任务,几乎所有方法失效,ATOM 在 CIFAR-10 上仍把 FPR 降到 38.89%(比基线低 57.99%)。

    消融:对抗训练与 outlier mining 各自的作用

    • 测了什么:Table 2 用相同目标但随机采 outlier(AT,无挖掘)和不做对抗训练(NTOM,目标 4)做消融。
    • 结果:CIFAR-10 的 L∞ OOD 上,AT 的 FPR 为 44.31%、NTOM 为 99.90%、ATOM 为 20.55%;Comp. OOD 上 AT 为 65.17%、NTOM 为 99.99%、ATOM 为 38.89%。
    • 作者解读:仅对抗训练或仅挖掘都不够,两者结合(ATOM)才能在鲁棒任务上取得好结果。

    更强攻击与 SVHN 上的例外

    • 更强 PGD:100 次迭代加 5 次随机重启下(Table 10),CIFAR-10 的 L∞ OOD 上 ATOM FPR 26.88%(ACET 76.66%),Comp. OOD 上 ATOM 42.86%(ACET 97.08%);作者称更强攻击下 ATOM 仍优于 ACET。
    • SVHN 结果(Table 5):ATOM 在 Natural(0.07%)、Corruption(5.47%)、L∞(7.02%)上最优,但 Comp. OOD 上 FPR 达 96.33%,接近失效(ACET 为 99.85%)。
    • ID 分类精度(Table 11):ATOM 在 CIFAR-10 上分类准确率 95.20%(预训练网络 MSP 为 94.39%),作者称提升检测的同时保持了 ID 分类性能。

    其他消融与分析

    • 采样参数 q(Table 3):q=0.75(过易样本)在三个数据集上都变差;SVHN/TinyImages(ID 与辅助数据不重叠)时 q=0 最优,CIFAR/TinyImages 时 q=0.125(CIFAR-10)与 q=0.5(CIFAR-100)最优,作者称这可避开辅助数据中的近重复 ID 样本。
    • 辅助数据集(Table 8):换用 ImageNet-RC 时 ATOM 一致改善,CIFAR-100 Natural OOD 的 FPR 从 32.30%(TinyImages)降到 15.49%(ImageNet-RC),且三个数据集上 q=0 最优。
    • 系数 λ(Table 7,CIFAR-10,q=0.125):λ=0.01 时明显变差(L∞ OOD FPR 51.09%),λ=1.0 与 λ=5.0 表现接近(L∞ OOD FPR 分别为 20.55%、19.57%)。
    • 架构(Table 9):WideResNet 上结论一致,如 CIFAR-10 的 L∞ OOD 上 ATOM FPR 33.66%,ACET 为 40.22%。
    • OOD 分数直方图(Figure 4/5):不用挖掘训练时,作者称模型很快收敛到 OOD 分数分布被高分(容易)样本主导的状态,且训练越久越明显。
  5. 有什么可以进一步探索的点?

    论文未设局限一节;实验覆盖 3 个 ID 数据集、2 种架构、2 种辅助数据,所有实验只跑一次。

    作者指出的局限与后续方向

    • 论文未专门讨论局限(无 Limitations 一节)。
    • 理论部分作者注明:高斯数据模型比实际数据简单,其简洁性是为了展示洞察;分析可推广到混合高斯以更好建模真实数据(Section 5.1)。
    • 作者提出统一评测框架,供未来研究在更广的 OOD 输入族下检验 OOD 检测算法的鲁棒性(Section 1 贡献列表与 Section 7)。

    实验覆盖范围

    • 被测 ID 数据集为 SVHN、CIFAR-10、CIFAR-100 共 3 个;OOD 测试集为 SVHN、Textures、Places365、LSUN (crop)、LSUN (resize)、iSUN 共 6 个(Section 4.1、附录 B.1)。
    • 网络架构覆盖 DenseNet 与 WideResNet(WRN-40-4)两种(附录 B.1、B.12)。
    • 辅助 OOD 数据覆盖 TinyImages 与 ImageNet-RC 两种(附录 B.11)。
    • 攻击覆盖 L∞(white-box)、common corruptions(black-box)与两者组合;更强攻击评测为 PGD 100 次迭代加 5 次随机重启,仅对 ACET 与 ATOM 两个方法进行(附录 B.13)。
    • 所有实验以固定随机种子只跑一次,论文未报告多次运行的均值或方差(附录 B.1)。
  6. 总结一下论文的主要内容

    ATOM 用对抗训练加信息性 outlier 挖掘提升 OOD 检测鲁棒性,在多数对抗评测设置上优于 8 种基线。

    一篇关于鲁棒 OOD 检测的方法论文:针对对抗扰动下 OOD 检测器失效的问题,提出训练框架 ATOM 并给出理论保证。

    • 问题:作者报告 CIFAR-10 上 OE 的 FPR 在对抗攻击下从 3.66% 升至 99.94%;作者认为随机采样的辅助 outlier 大多无信息量,不能改善甚至损害检测边界。
    • 方法:(K+1) 类分类器加 PGD 对抗训练;每个 epoch 从辅助池采 N 个点按 OOD 分数排序,从第 qN 个起选 n 个信息性样本训练(CIFAR 上 N=400,000、n=100,000,q 在独立验证集上选)。
    • 主结果(Table 1,DenseNet,六个 OOD 测试集平均):CIFAR-10 上 ATOM 的 FPR 为 Natural 1.69%、Corruption 25.26%、L∞ 20.55%(ACET 74.45%)、Comp. 38.89%(ACET 96.88%);CIFAR-100 的 L∞ OOD 上为 38.72%(ACET 76.27%)。
    • 例外:SVHN 的 Comp. OOD 上 ATOM 的 FPR 达 96.33%,接近失效(Table 5)。
    • 消融:去掉挖掘(AT)或去掉对抗训练(NTOM)在 L∞ 与 Comp. 任务上都明显变差;换用 ImageNet-RC 辅助数据结果一致改善。
    • 理论:高斯数据模型下,作者证明信息性辅助数据可把所需 ID 样本量从 Θ̃(d/γ²) 降到 Õ(d/γ⁴),outlier mining 在辅助数据混入大量无信息样本时仍能学到鲁棒检测器。
    • 作者结论:ATOM 在广义的 clean 与扰动 OOD 评测族上取得 state-of-the-art(作者称),并希望其统一评测框架推动对 OOD 检测鲁棒性的更广关注。

相关论文

共同使用 Textures
共同使用 80 Million Tiny Images
共同使用 SVHN
再看 3 篇
共同使用 SVHN
阅读原文ECML/PKDD