跳到正文
原文

面向神经网络的鲁棒分布外检测

Robust Out-of-distribution Detection for Neural Networks

arXiv· arXiv:2003.09711· Jiefeng Chen, Yixuan Li, Xi Wu, Yingyu Liang, Somesh JhaUniversity of Wisconsin-Madison; Google本站收录· 23 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出鲁棒 OOD 检测问题与 ALOE 方法,称经典检测器在小扰动攻击下失效,ALOE 在 CIFAR-10 上 AUROC 提升 58.4%。

威胁模型攻击者对白盒模型参数有访问权限,对 in-distribution 或 OOD 测试输入施加 L∞ 范数有界(默认 ε=1/255)的语义保持扰动,使 OOD 检测器 G(x) 误判:inlier attack 让分布内样本被拒,outlier attack 让 OOD 样本被放过;受害系统是建立在图像分类器 f(x) 之上的 OOD 检测器。

问题
现有 OOD 检测器只在良性样本上评测,作者研究其在语义保持的小对抗扰动下的鲁棒性:扰动既让 OOD 样本被放过,也让分布内样本被误拒,部署中后果严重。
方法
作者形式化鲁棒 OOD 检测问题,设计白盒 PGD 攻击(inlier attack 与 outlier attack),并提出 ALOE:对分布内样本做最大化负对数似然的对抗训练,对辅助异常数据做最大化与均匀分布 KL 散度的对抗离群暴露。
实验与结果
在 GTSRB、CIFAR-10、CIFAR-100 上,经典方法(MSP、ODIN、Mahalanobis、OE)在 ε=1/255 攻击下 FPR 大幅升高;ALOE 及 ALOE+ODIN 在攻击下保持更高 AUROC,作者称 CIFAR-10 上 AUROC 提升 58.4%。
局限与可以继续做的
作者称未来工作是探索对抗攻击之外的语义保持扰动(Conclusion)。实验仅在三个图像分类数据集、DenseNet 架构、L∞ 白盒 PGD 攻击下进行,所有实验只跑一次(固定随机种子)。
实验设置DenseNet (Dense-BC) · GTSRB、CIFAR-10 等 · FPR at 95% TPR、Detection Error 等
被测模型
DenseNet (Dense-BC)
基准
GTSRBCIFAR-10CIFAR-100SVHNTexturesPlaces365LSUN (crop)LSUN (resize)iSUN80 Million Tiny Images
指标
FPR at 95% TPRDetection ErrorAUROC1-FPR (95% TPR)Classification AccuracyRobustness
AI 导读研究者提出 ALOE 方法,通过在训练中同时加入对抗性构造的分布内和分布外样本,提升神经网络分布外检测的鲁棒性。论文指出,现有 OOD 检测器在输入加入不改变语义的微小对抗扰动时容易失效。在 CIFAR-10 和 CIFAR-100 上,ALOE 使先进 OOD 检测方法的 AUROC 分别提升 58.4% 和 46.59%。

研究者提出 ALOE 方法,通过在训练中同时加入对抗性构造的分布内和分布外样本,提升神经网络分布外检测的鲁棒性。论文指出,现有 OOD 检测器在输入加入不改变语义的微小对抗扰动时容易失效。在 CIFAR-10 和 CIFAR-100 上,ALOE 使先进 OOD 检测方法的 AUROC 分别提升 58.4% 和 46.59%。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者研究 OOD 检测器在语义保持小扰动下的鲁棒性,称现有检测器易被攻击失效并提出 ALOE。

    核心问题:现有 OOD 检测器在对输入施加语义保持的小对抗扰动时是否仍然可靠,以及如何让其鲁棒。

    • 问题场景:OOD 检测器 G(x) 部署在分类器 f(x) 之前,决定输入是否来自训练分布。作者称,若检测器在扰动下失效,会出现两类后果:OOD 输入被当作分布内而触发下游错误动作,或分布内输入被误拒而不执行正确动作(Figure 1 以交通标志为例)。
    • 现有方法的不足:作者称,已有 OOD 检测方法通常在良性的分布内与 OOD 样本上评测,表现良好;而已有的鲁棒 OOD 检测工作主要关注 adversarial OOD examples,很少同时考虑 adversarial in-distribution examples。作者称自己是第一个考虑 adversarial in-distribution examples 的。
    • 核心观察:作者称,MSP、ODIN、Mahalanobis、OE、OE+ODIN 等经典检测器在 ε=1/255、m=10 的白盒攻击下就会失效,例如 OE 在 CIFAR-10 上的 FPR 可升高 95.52%。
    • 论文提出的内容:形式化 Robust Out-of-Distribution Detection 问题;提出攻击算法(Algorithm 1、2)与防御方法 ALOE(Adversarial Learning with inliner and Outlier Exposure);并发布整合常见 OOD 检测基线的代码库。
    • 威胁模型:
      • 攻击者目标:让 OOD 检测器 G(x) 误判,而非攻击分类器 f(x)。
      • 知识:white-box,攻击算法假设可访问模型参数。
      • 能力:对测试输入施加 L∞ 范数有界扰动(默认 ε=1/255,PGD 10 步),扰动保持语义与分布归属不变。
      • 受害系统:建立在图像分类器 f(x) 之上的 OOD 检测器 G(x)。
  2. 有哪些相关研究?

    相关工作分三组:传统 OOD 检测、OOD 检测的鲁棒性、对抗鲁棒性;本文基线为 MSP、ODIN、Mahalanobis、OE 等。

    传统 OOD 检测

    • Hendrycks and Gimpel (2016)——提出用预训练网络的最大 softmax 概率(MSP)作 OOD 检测基线。
    • 后续改进——deep ensembles(Lakshminarayanan et al. 2017)、校准 softmax 分数 ODIN(Liang, Li, and Srikant 2017)、Mahalanobis 距离置信分数(Lee et al. 2018)、energy score(Liu et al. 2020)。
    • 基于训练的方法——在辅助异常数据上重训或微调(Hendrycks, Mazeika, and Dietterich 2018 的 Outlier Exposure;Mohseni et al. 2020),或用 GAN 生成异常数据(Lee et al. 2017);还有对异常样本降低置信度的正则化方法(Subramanya et al. 2017;Malinin and Gales 2018;Bevandić et al. 2018)。

    OOD 检测的鲁棒性

    • Sehwag et al. (2019)、Hein, Andriushchenko, and Bitterwolf (2019)、Meinke and Hein (2019)、Bitterwolf, Meinke, and Hein (2020)、Chen et al. (2021)——研究 OOD 检测的 worst-case 方面。论文指出这些工作主要关注 adversarial OOD examples,而本文称自己第一个提出同时研究 adversarial in-distribution 与 adversarial OOD examples 的统一框架。

    对抗鲁棒性

    • 对抗样本现象(Biggio et al. 2013;Szegedy et al. 2013;Goodfellow, Shlens, and Szegedy 2014;Papernot et al. 2016)及防御;论文称最有效的方法之一是对抗训练(Madry et al. 2017),本文用其鲁棒优化技术缓解 OOD 检测器的脆弱性。

    基线与基准:对比基线为 MSP、ODIN、Mahalanobis、OE、OE+ODIN,变体 ADV(Madry et al. 2017 的目标)与 AOE;基准为 GTSRB、CIFAR-10、CIFAR-100 作分布内数据,各配六个 OOD 测试集,辅助异常数据为 80 Million Tiny Images。

    作者将本文定位为:在统一框架下同时研究两类对抗样本,并提出可同时提升对两类攻击鲁棒性的方法,而此前工作只关注 adversarial OOD examples。

  3. 论文如何解决这个问题?

    ALOE 对分布内样本和辅助异常样本分别做对抗扰动训练,目标为 min-max 博弈,可与 MSP、ODIN 等结合。

    整体思路:把鲁棒 OOD 检测形式化为对扰动后输入的二分类问题,用白盒 PGD 攻击暴露现有检测器的脆弱性,再用 ALOE 的对抗训练同时覆盖扰动后的 inlier 与 outlier。

    问题形式化

    • 传统 OOD 检测是二分类:检测器 G 判断 x 是否来自分布 P_X。检测误差为分布内误拒率与 OOD 误收率的平均(式 (1))。
    • 鲁棒版本要求 G 在扰动后仍正确:L(PX,QX;G,Ω)=1/2(Ex∼ PXmaxδ∈Ω(x) I[G(x+δ)=0] + Ex∼ QXmaxδ∈Ω(x) I[G(x+δ)=1]),即对每类取最坏扰动后的误分类率(式 (2))。
    • Ω(x) 是语义保持扰动集合:x 与 x+δ 语义标签和分布归属相同。实际取 L∞ 球 B(x, ε),且 x+δ 像素值合法(式 (3))。

    攻击算法

    • 精确计算式 (2) 需枚举所有扰动、不可行,作者用攻击算法求下界。
    • Algorithm 1(针对 softmax 置信度类方法 MSP、ODIN、OE):对分布内样本,扰动使输出接近均匀分布(降低置信度);对 OOD 样本,扰动使置信度升高。PGD 迭代 m 步、步长 ξ,随机起点。
    • Algorithm 2(针对 Mahalanobis):扰动使其逻辑回归检测器预测反转;该攻击不做输入预处理。
    • 攻击假设可访问模型参数,是 white-box attacks。

    ALOE 训练目标

    • 对分布内训练样本,在 ε 球内搜索最大化负对数似然的扰动(对抗训练);作者称这有助于校准 inlier 误差、使模型对加性噪声更不变。
    • 对辅助无标注数据集(80 Million Tiny Images,沿用 OE 的去重流程),在 ε 球内搜索使模型输出与均匀分布间 KL 散度最大的扰动(对抗离群暴露);与 OE 直接用原图不同。
    • 总目标为 min-max 博弈:minθ E(x,y)∼ Dintrainmaxδ∈ B(x,ϵ)[−log Fθ(x+δ)y] + λ  Ex∼ DoutOEmaxδ∈ B(x,ϵ)[LCE(Fθ(x+δ), UK)](式 (4)),λ 固定为 0.5。
    • 内层最大化用 PGD 求解;训练好的 F_ALOE 可与 MSP、ODIN 组合成 G_MSP、G_ODIN 检测器。

    变体

    • ADV:只对 inlier 做对抗训练,等价于 Madry et al. (2017) 的目标。
    • AOE:inlier 对抗训练 + 原始(非对抗)outlier exposure。

    评测方式

    • 三个指标:FPR at 95% TPR、Detection Error(所有阈值上的最小误检概率)、AUROC;另用 1-FPR 衡量把针对分类器的对抗样本误判为 OOD 的比率。
    • 所有数值为六个 OOD 测试集上的平均。
  4. 论文做了哪些实验?

    在 GTSRB、CIFAR-10、CIFAR-100 上评测 9 种方法在 PGD 攻击下的 OOD 检测,ALOE 系方法攻击下 AUROC 最高。

    实验设置

    • 被测对象:DenseNet(Dense-BC,L=100,k=12,dropout 0)上构建的 OOD 检测器,方法包括 MSP、ODIN、Mahalanobis、OE、OE+ODIN、ADV、AOE、ALOE、ALOE+ODIN。
    • 数据集:分布内为 GTSRB、CIFAR-10、CIFAR-100;CIFAR 的 OOD 测试集为 SVHN、Textures、Places365、LSUN (crop)、LSUN (resize)、iSUN,GTSRB 的 OOD 测试集把 SVHN 换成 CIFAR-10;辅助异常数据为 80 Million Tiny Images(去重)。
    • 攻击设置:L∞ PGD,默认 ε=1/255、m=10、ξ=1/255,随机起点;消融中 ε 取 1/255–4/255。
    • 训练配置:SGD + Nesterov momentum 0.9,weight decay 1e-4,余弦学习率(初始 0.1);GTSRB 训 10 epochs,CIFAR 训 100 epochs;ODIN 的 T=1000,η 按数据集取 0.0004/0.0014/0.0028;λ=0.5。
    • 指标:FPR at 95% TPR、Detection Error、AUROC,均为六个 OOD 测试集平均;Table 2 用 1-FPR (95% TPR)。
    • 重复次数:所有实验以固定随机种子只跑一次(附录 Experimental Details)。

    主结果

    据 Table 1(ε=1/255、m=10 攻击下,六个 OOD 测试集平均,单位为 %):

    表格较宽,可左右滑动

    分布内方法FPR↓Det. Error↓AUROC↑
    GTSRBOE+ODIN14.145.5997.18
    GTSRBALOE (ours)0.661.8098.95
    GTSRBALOE+ODIN (ours)0.691.8098.98
    CIFAR-10OE+ODIN99.0247.8434.29
    CIFAR-10ALOE (ours)53.9914.1991.26
    CIFAR-10ALOE+ODIN (ours)41.5912.7392.69
    CIFAR-100OE+ODIN99.4950.0020.02
    CIFAR-100ALOE+ODIN (ours)88.5036.2066.61

    (省略 MSP、ODIN、Mahalanobis、OE、ADV、AOE 行;其中 CIFAR-100 上 ALOE 单独 AUROC 为 61.20%,ADV 为 41.34%,为表中较低者。)

    • 作者称经典方法在攻击下失效:CIFAR-10 上 OE+ODIN 的 FPR 从无攻击的 4.17% 升至 99.02%;无攻击时各方法 AUROC 在 70.85%–99.92% 之间。
    • 作者称 ALOE 将 CIFAR-10 上 AUROC 从 34.29%(OE+ODIN)提升到 92.69%,摘要中表述为 CIFAR-10 提升 58.4%、CIFAR-100 提升 46.59%;与 ODIN 结合后进一步改善。
    • 作者称 ADV 与 AOE 的结果不如 ALOE(如 CIFAR-10 攻击下 AUROC 分别为 66.73%、78.39%)。

    置信度分布分析(Figure 2)

    • 以 CIFAR-10 为分布内、SVHN 为 OOD:无攻击时 OE 的置信度分布分开;攻击后分布内样本分数移向 0、OOD 样本移向 1.0,作者称这使检测器失效。
    • ALOE 在攻击下分数重新可分;ALOE+ODIN 下分布更分开(图中 ALOE+ODIN 的分数集中在约 0.1002–0.1012 区间)。

    针对分类器的对抗样本是否算 OOD(Table 2)

    • 对 f(x) 做 PGD 攻击(ε=1/255、10 步)生成对抗样本,测 1-FPR(误判为 OOD 的比率)。
    • 结果普遍较低:CIFAR-10 上各方法为 4.02%–12.95%,CIFAR-100 上 MSP 低至 0.06%、ALOE 为 7.32%。
    • 作者据此认为,针对分类器的小扰动对抗样本更接近分布内而非 OOD。

    其他消融与分析

    • 扰动预算 ε(Table 3,GTSRB 与 CIFAR-10,ε=2/255–4/255):ε 增大时经典方法 FPR 接近 100%;CIFAR-10、ε=4/255 下 ALOE+ODIN 的 AUROC 为 78.83%,仍高于经典方法(均不超过 2.69%)。
    • 分类准确率与鲁棒性(Table 4):CIFAR-10 上 ALOE 干净准确率 93.89%(Original 94.08%),对分类器的 PGD 鲁棒性 84.02%(Original 25.38%);CIFAR-100 上 ALOE 鲁棒性 55.97%(Original 7.29%),干净准确率降至 71.62%(Original 75.26%)。
    • 作者称 ALOE 在提升鲁棒性的同时几乎保持干净测试准确率(CIFAR-100 上准确率下降 3.64%)。
  5. 有什么可以进一步探索的点?

    作者仅提出探索对抗攻击之外的语义保持扰动;实验限于三个图像数据集、一种架构与白盒 PGD。

    作者指出的局限与后续方向

    • Conclusion:作者称未来工作是探索对抗攻击之外的语义保持扰动("exploring alternative semantic-preserving perturbations beyond adversarial attacks")。
    • 论文未以专门小节讨论其他局限。

    实验覆盖范围

    • 被测分布内数据集为 GTSRB、CIFAR-10、CIFAR-100 共 3 个,均为图像分类;OOD 测试集每个分布内数据集配 6 个(正文 Setup、附录)。
    • 网络架构只用 DenseNet(Dense-BC,L=100,k=12)一种(Setup)。
    • 攻击为白盒 L∞ PGD,ε 最大测到 4/255,步数 m=10;攻击假设可访问模型参数(Robust Out-of-Distribution Detection 一节)。
    • 所有实验以固定随机种子只跑一次,论文未报告多次运行的方差(附录 Experimental Details)。
    • 评测指标为 FPR at 95% TPR、Detection Error、AUROC 及 1-FPR,论文未报告针对 ALOE 的自适应攻击(即攻击者知晓防御后的专门攻击)实验。
  6. 总结一下论文的主要内容

    作者形式化鲁棒 OOD 检测问题,提出 ALOE 对抗训练方法,并称其在攻击下大幅优于经典检测器。

    这是一篇关于 OOD 检测对抗鲁棒性的论文:作者同时考虑 adversarial in-distribution 与 adversarial OOD examples,并提出防御方法 ALOE。

    • 问题:作者称现有 OOD 检测器只在良性样本上评测,在语义保持的小扰动下会失效——OOD 输入被放过或分布内输入被误拒,部署中可触发错误动作(Figure 1)。
    • 方法:将鲁棒 OOD 检测形式化为最坏扰动下的二分类误差(式 (2));设计两种白盒 PGD 攻击(Algorithm 1、2);ALOE 对 inlier 做最大化负对数似然的对抗训练、对辅助异常数据做最大化 KL 散度的对抗离群暴露(式 (4),λ=0.5),可与 MSP、ODIN 组合。
    • 攻击有效性:ε=1/255、m=10 攻击下,CIFAR-10 上 OE+ODIN 的 FPR@95%TPR 从 4.17% 升至 99.02%,AUROC 降至 34.29%(Table 1)。
    • 防御效果:攻击下 ALOE+ODIN 在 CIFAR-10 上 AUROC 达 92.69%,GTSRB 上 ALOE 达 98.95%,CIFAR-100 上 ALOE+ODIN 达 66.61%(Table 1);作者称 CIFAR-10、CIFAR-100 上 AUROC 分别提升 58.4%、46.59%。
    • 附带发现:针对分类器 f(x) 的小扰动对抗样本被各检测器误判为 OOD 的比率普遍较低(Table 2),作者据此认为应将其视为分布内;ALOE 还提升分类器自身鲁棒性(CIFAR-100 上从 7.29% 到 55.97%),干净准确率略降(Table 4)。
    • 作者结论:经典 OOD 检测器在两类对抗攻击下会失效,ALOE 提升了鲁棒 OOD 检测性能;未来方向是探索对抗攻击之外的语义保持扰动。

相关论文

共同使用 Textures
共同使用 80 Million Tiny Images
共同使用 GTSRB
再看 3 篇
共同使用 GTSRB
阅读原文arxiv.org