检测 DNN 分类器异常输入的通用框架
A General Framework For Detecting Anomalous Inputs to DNN Classifiers
作者提出无监督异常输入检测框架 JTLA,在 CIFAR-10、SVHN、MNIST 上与五种方法对比,作者称其在多数攻击与 OOD 设置下优于基线。
防御方持有已训练的 DNN 分类器和不含异常样本的标注数据集 D。
- DNN 分类器在对抗样本和 OOD 输入上会以高置信度出错,作者认为现有基于层表示的检测方法缺乏统一、有原则的框架,多为启发式方法,且常需已知异常样本训练、难以泛化到未知或自适应攻击。
- 作者提出无监督元算法 JTLA:在每层计算以预测类和各候选真实类为条件的检验统计量(基于 kNN 类计数的多项式 LRT),用 p 值做归一化,再经 Fisher 或 aK-LPE 聚合打分,按 FPR 阈值判定;并提出针对 kNN 类计数防御的 gray-box 自适应攻击。
- 在 CIFAR-10、SVHN、MNIST 上与五种方法对比,作者称 JTLA 在多数对抗与 OOD 设置下更优;例外包括 SVHN 自适应攻击下 Odds 的 average precision 更高、OOD 检测不及有监督的 Mahalanobis、MNIST 部分攻击下 Odds 和 Trust 相当或略优。
- 作者指出 aK-LPE 多变量 p 值估计需要大样本,类条件样本量(500–5000)可能带来估计误差;Fisher 方法假设 p 值独立。实验只覆盖三个图像数据集、五种基线和四种攻击,论文未专门设 Limitations 一节讨论局限。
- 威胁模型
- 防御方持有已训练的 DNN 分类器和不含异常样本的标注数据集 D。攻击者为 gray-box:完全知晓 DNN 结构与参数,部分知晓检测方法(如检测阈值和所用层可能未知);攻击针对测试时 evasion,包括 PGD、CW、FGSM 及作者提出的 defense-aware 自适应攻击。
- 被测模型
- Resnet (CIFAR-10)CNN (SVHN)CNN (MNIST)
- 基准
- CIFAR-10SVHNMNISTNot-MNISTCIFAR-100
- 指标
- average precisionpAUC-α (pAUC-0.2, pAUC-0.05)
研究者提出基于 DNN 内部层表示的无监督异常检测框架,以可配置组件的元算法统一检测对抗样本与分布外(OOD)输入。框架为元算法各组件给出以统计检验和异常检测思想为基础的具体实例化。作者在知名图像分类数据集上用强对抗攻击和 OOD 输入进行评估,其中包括一种利用 DNN 内部层表示的自适应攻击,这类攻击在以往工作中常未被考虑。作者称,与五种近期提出的检测方法对比显示了该方法检测对抗与 OOD 输入的有效性。
深度解读
这篇论文试图解决什么问题?
为 DNN 分类器检测对抗与 OOD 输入,作者提出统一的无监督层表示检测框架 JTLA。
核心问题:如何基于 DNN 内部层表示,以统一、有原则且无监督的方式检测对抗样本和 OOD 输入。
- 问题场景与重要性:DNN 在训练分布之外的输入上可能以高置信度出错;异常输入可能来自外部因素或恶意攻击者,作者认为部署中的分类器需要检测机制以拒判或给出更可靠的预测。
- 现有方法的不足(按论文说法):有监督方法需要已知异常样本训练,往往不能泛化到未知或自适应攻击;只用输入、输出或单层的方法没有联合利用各层信息;多层方法缺乏可插拔的统一框架;基于密度建模的无监督方法难以处理高维层表示;许多方法未利用预测类的类条件性质。
- 核心观察:对抗样本相对预测类的自然输入分布是异常的,但相对其来源类的分布是典型的;JTLA 把这一假设用于设计对抗检测打分函数(附录 A.3 说明 Miller et al., 2019 用了类似假设)。
- 论文提出的内容:无监督元算法 JTLA(可配置检验统计量、归一化、聚合、打分四个组件)及基于统计检验的具体实现;一个针对 kNN 类计数防御的 defense-aware 自适应攻击;与五种方法在三个图像数据集上的对比实验。
- 威胁模型:
- 攻击者目标:测试时 evasion——对干净输入加扰动使 DNN 误分类,同时逃避基于 kNN 类计数的检测。
- 攻击者知识:gray-box——完全知晓 DNN 架构与参数,部分知晓检测方法(论文举例:检测阈值和所用层可能未知)。
- 攻击者能力:生成 PGD、CW、FGSM 白盒攻击样本,以及论文提出的优化层表示 kNN 类计数的自适应攻击。
- 受害系统与防御方假设:已训练的 DNN 分类器;防御方另有一个与训练集不同、不含异常样本的标注数据集 D 用于估计检测器参数。
有哪些相关研究?
相关工作分为有监督检测、无监督检测与置信度度量三组,另有自适应攻击与五种对比基线。
有监督检测方法
- Mahalanobis(Lee et al., 2018):用多元高斯对层表示做类条件建模,以 Mahalanobis 距离为特征训练逻辑回归分类器。论文指出其参数化模型可能不适合中间层表示,且未利用 DNN 的预测类。
- LID(Ma et al., 2018):以层表示的局部内在维度(local intrinsic dimensionality)为统计量训练逻辑回归。论文指出其统计量不是类条件的、未做归一化。
- Yang et al., 2020(ML-LOO):用特征归因的离散度(IQR、MAD)作统计量训练分类器;论文同样指出其统计量非类条件、未归一化。
无监督检测方法
- Odds(Roth et al., 2019):基于噪声扰动输入的 log-odds 比构造统计量,z-score 归一化后阈值判定;论文指出其未使用多层表示。
- Zheng & Hong, 2018 与 Miller et al., 2019:用高斯混合对层表示类条件密度建模;论文指出高维层表示难以用此类密度模型准确建模。
- Sastry & Oore, 2020:基于 Gram 矩阵的偏差统计量检测 OOD;论文指出该统计量可作为 JTLA 的可插拔检验统计量。
置信度度量
- Trust Score(Jiang et al., 2018)与 Deep kNN(Papernot & McDaniel, 2018):为分类器预测提供独立置信度,低置信度输入被标记;论文指出 DKNN 基于预测类 kNN 类计数的统计量可视为 JTLA 多项式统计量的二项特例,两者均可归为无监督方法。
自适应攻击研究
- Carlini & Wagner, 2017a 与 Tramèr et al., 2020:论文引用其结论称多数现有检测方法无法应对了解防御机制的未见与自适应攻击者,以此说明评测 defense-aware 攻击的必要性。
基线与基准:对比基线为 Mahalanobis、LID、Odds、DKNN、Trust 五种(LID 与 Odds 不参与 OOD 实验);数据集为 CIFAR-10、SVHN、MNIST,OOD 实验用 MNIST vs. Not-MNIST、CIFAR-10 vs. SVHN、CIFAR-10 vs. CIFAR-100。
作者将本文定位为:把上述多种基于层表示的方法纳入一个可配置检验统计量、归一化、聚合与打分的统一元算法,并用类条件 p 值归一化和多重检验聚合补齐各组件。
论文如何解决这个问题?
JTLA 元算法:类条件检验统计量 → p 值归一化 → 跨层聚合 → 按 FPR 阈值打分判定。
整体思路是把异常检测拆成四个可配置组件的元算法 JTLA(Joint statistical Testing across DNN Layers for Anomalies),并为每个组件给出基于统计检验的实现;检测器只用自然样本的无异常标注集 D 估计参数,不需要已知异常样本。
问题设定
- 防御方持有已训练的 m 类 DNN 分类器 F 和标注数据集 D(与训练集不同、不含异常样本);将 D 中样本过网得到各层表示 x(`) 与预测类,构成增广数据集 Da,并按层 × 预测类、层 × 真实类划分子集。
- 对预测类为 ĉ 的测试输入,在每层计算 m+1 个类条件检验统计量:一个以预测类为条件,m 个以各候选真实类为条件。
检验统计量:kNN 类计数的多项式 LRT
- 对层 ` 的表示取 k 近邻,统计各类计数 (k1,…,km);自然输入的类计数用多项式分布建模,参数由对应数据子集用 Dirichlet 先验的 MAP 估计。
- 用多项式似然比检验度量偏差:T(x(ℓ), ĉ, D̂a(ℓ, ĉ)) = ∑i=1m ki(ℓ) log (ki(ℓ))/(k πi(ℓ)),值越大表示相对自然分布偏差越大;候选真实类版本同理。
归一化与聚合
- 归一化:用类条件 p 值把各层统计量变为对自然输入近似均匀分布的概率;方案 A 对单层和层对统计量用经验 CDF 估计右尾 p 值(100 次 bootstrap 平均降方差),方案 B 对整层统计量向量用 aK-LPE 多变量 p 值估计(Qian & Saligrama, 2012)。
- 聚合:方案 A 把各层与层对 p 值用 Fisher 方法 $ \log q_{fis}(t) = \sum_{q \in Q} \log q $ 合并(另给出适用于相关 p 值的 HMP 方法,附录 B);方案 B 无需聚合。
打分与判定
- 对抗打分:S = log (maxc ≠ ĉ qagg(ts|c))/(qagg(tp|ĉ)),分子取非预测类中最大的候选真实类聚合 p 值;OOD 打分简化为 −log qagg(tp|ĉ)。
- 判定:分数超过阈值判为异常;阈值由 Da 上估计的 FPR 经验函数按目标 FPR α(论文举例 0.01)确定。
- 实现:用 NPP 对层表示降维(logit 层不降维),用 NNDescent 做近似近邻;唯一超参数 k 按启发式 k = n^0.4 设定(n 为分布内训练样本数)。
自适应攻击(§5)
- 针对依赖 kNN 类计数的防御:攻击者优化扰动使源类与目标类的跨层累计类计数对数比最小,用高斯核软化计数、RMSProp 优化(最多 1000 步),λ 经十步二分搜索取能产生成功对抗样本的最小值;目标类取 DNN 预测概率第二高的类。
论文做了哪些实验?
三个数据集、五种基线、四种攻击与三组 OOD 任务;作者称 JTLA 多数设置最优,但有若干例外。
实验设置
- 被测模型:CIFAR-10 用 ResNet-34(测试准确率 95.45%),SVHN 用 2 Conv + 3 FC(89.42%),MNIST 用 2 Conv + 2 FC(99.12%)(Table 2)。
- 数据集:CIFAR-10、SVHN、MNIST;OOD 任务为 MNIST vs. Not-MNIST、CIFAR-10 vs. SVHN、CIFAR-10 vs. CIFAR-100(另加随机像素样本)。
- 基线:Mahalanobis、LID(有监督,使用训练折中的对抗/异常数据)、Odds、DKNN、Trust(无监督);LID 与 Odds 不参与 OOD 实验。
- 攻击:PGD(ε=1/255)、CW(confidence=0)、FGSM(εmax=1)及论文的自适应攻击(针对 JTLA Fisher 变体),用 Foolbox 生成。
- 指标与协议:average precision 与 pAUC-α(对抗用 pAUC-0.2,OOD 用 pAUC-0.05),无需阈值;测试集 5 折类分层交叉验证,训练折估计检测器参数、测试折算指标;按比例报告时取 100 个随机子集的中位数。
- JTLA 变体:Fisher 聚合的层+层对 p 值归一化、aK-LPE 多变量 p 值两种,均用多项式统计量。
主结果
主文结果以曲线呈现(Figure 2、3、4),转换文本无数值;下表取附录消融表 Table 6 中 JTLA 各配置的 average precision / pAUC-0.2(含全部对抗样本,SVHN 与 CIFAR-10):
表格较宽,可左右滑动
配置 SVHN, PGD SVHN, CW CIFAR-10, PGD CIFAR-10, CW 层+层对 p 值 + Fisher 0.7382 / 0.8025 0.9631 / 0.9213 0.7710 / 0.7790 0.9664 / 0.9377 层+层对 p 值 + HMP 0.7296 / 0.7966 0.9611 / 0.9171 0.7614 / 0.7705 0.9653 / 0.9344 仅层 p 值 + Fisher 0.7393 / 0.8005 0.9634 / 0.9214 0.7734 / 0.7781 0.9667 / 0.9380 多变量 p 值 (aK-LPE) 0.7161 / 0.7840 0.9559 / 0.9042 0.7437 / 0.7518 0.9650 / 0.9296 (据 Table 6,指标为 average precision / pAUC-0.2;PGD 取 ε=1/255,CW 取 confidence=0)
- 作者称在 Figure 2、3 的几乎所有情形下 JTLA 优于其他基线;Mahalanobis、Odds、DKNN 在部分情形好、部分失败,LID 几乎在所有情形下表现差。
- 例外:Figure 3b 中 SVHN 自适应攻击下 Odds 的 average precision 高于 JTLA;作者称同设置 pAUC-0.2(Figure 10)在低扰动范数区间 JTLA 更高。
- 作者认为 Fisher 优于 aK-LPE 是因为多变量 p 值估计需要大样本,而类条件样本量只有 500–5000。
OOD 检测
- 测了什么:三组数据集对,比较 JTLA 与 Mahalanobis、DKNN、Trust 的 average precision 与 pAUC-0.05(Figure 4)。
- 结果:作者称 JTLA 在所有情形下优于无监督的 DKNN 和 Trust,但不及 Mahalanobis;Mahalanobis 使用了训练折中的 outlier 数据,而真实场景中通常没有这样的先验样本。
攻击迁移与 FGSM、MNIST
- CW→PGD 迁移(Figure 6):作者称 Mahalanobis 与两种 JTLA 变体在 CIFAR-10 上最好,两种 JTLA 变体在 SVHN 上优于其他方法,MNIST 上 aK-LPE 变体与 Trust 最好;LID 在所有数据集上差。
- PGD→CW 迁移(Figure 7):作者称 CIFAR-10 上 Odds 最好、其次为两种 JTLA 变体;SVHN 上 JTLA 最好;MNIST 上 JTLA、Odds、Trust 接近。作者推测 Odds 适配 CW 攻击是因其统计量基于类对 log-odds 比。
- FGSM(Figure 8)与 MNIST(Figure 11、12):作者称 FGSM 下两种 JTLA 变体优于其他方法;MNIST 上 CW 与 FGSM 攻击下 Odds、Trust 与 JTLA 相当或略优,自适应攻击下 Fisher 变体随扰动减小性能下降而 aK-LPE 变体优于其他方法,作者认为这是因为自适应攻击是针对 Fisher 变体优化的。
其他消融与分析
- 层数(Table 7):层越多性能一般越好;CIFAR-10 CW 攻击下仅用 logit 层与用全部层相当(0.9664/0.9371 vs 0.9664/0.9377)。
- 打分函数(Table 8):对抗打分函数在所有归一化×聚合组合下优于 OOD 打分函数(如 Fisher:SVHN PGD 0.7382 vs 0.7078)。
- 层对(Table 6):加入层对未带来明显提升(如 SVHN PGD Fisher:0.7382 vs 仅层 0.7393)。
- 运行时间(Table 9):Trust 最快(CIFAR-10 每折 0.53 分钟),JTLA Fisher 2.73 分钟,Odds 142.94 分钟、LID 49.74 分钟最慢。
有什么可以进一步探索的点?
论文未设局限专节;作者在消融讨论中指出 aK-LPE 的样本量需求与 Fisher 的独立性假设等问题。
作者指出的局限与后续方向
- aK-LPE 估计样本量:附录 E.2 指出多变量 p 值需要大样本才能收敛到真值,类条件样本量(实验中 500–5000)可能造成估计误差。
- Fisher 方法的独立性假设:§4.3 指出 Fisher 方法假设各检验 p 值独立是其"显而易见的弱点",并给出适用于相关 p 值的 HMP 作为替代。
- 层对开销:§3.2 说明层数超过几十层后纳入全部层对效率低,因此层对在 Algorithm 1 中是可选项。
- Mahalanobis 对比的现实性:§6.2 指出真实场景中不太可能有先验知识和足够数量与种类的 outlier 样本用于训练,暗示有监督对比方法的适用条件。
- 论文没有 Limitations 或 Future Work 专节,以上为方法设计与实验讨论中作者明说的限制。
实验覆盖范围
- 被测模型为三个 CNN:ResNet-34(CIFAR-10)、2 Conv + 3 FC(SVHN)、2 Conv + 2 FC(MNIST),均为 10 类图像分类(Table 2)。
- 攻击评测覆盖 PGD、CW、FGSM 与自适应攻击,含两种攻击迁移组合(CW→PGD、PGD→CW)与攻击强度变化(附录 E.1)。
- 自适应攻击只针对 JTLA 的 Fisher + 多项式统计量变体优化(附录 D.4)。
- OOD 评测覆盖 MNIST vs. Not-MNIST、CIFAR-10 vs. SVHN、CIFAR-10 vs. CIFAR-100 及随机像素样本;LID 与 Odds 未参与 OOD 实验。
- 论文未报告检测阈值 τ 的具体取值与所选 FPR 操作点下的 TPR,主指标为无需阈值的 average precision 与 pAUC-α。
总结一下论文的主要内容
JTLA:无监督、模块化的层表示异常检测框架,多数设置优于五种基线,并配 defense-aware 攻击评测。
一篇关于 DNN 异常输入检测的防御论文(ICML 2021),提出无监督框架 JTLA。
- 要解决的问题:对抗与 OOD 输入使 DNN 高置信度出错;作者认为现有基于层表示的检测方法缺乏统一框架、依赖已知异常样本训练、难以应对未知与自适应攻击。
- 方法要点:四组件元算法——每层计算以预测类和各候选真实类为条件的 kNN 类计数多项式 LRT 统计量;用类条件 p 值(单层/层对或 aK-LPE 多变量)归一化;Fisher 或 HMP 聚合;对抗打分取非预测类最大聚合 p 值与预测类 p 值的对数比,按目标 FPR 定阈值。唯一超参数 k 按 k = n^0.4 设定。另提出针对 kNN 类计数防御的 gray-box 自适应攻击。
- 主要结果:
- 作者称在 CIFAR-10、SVHN 的 PGD、CW、FGSM 与自适应攻击下,JTLA 几乎所有情形的 average precision 优于五种基线(Figure 2、3);消融设置下 Fisher 变体 average precision 为 0.7382–0.9664(Table 6)。
- OOD 检测中 JTLA 优于无监督的 DKNN、Trust,但不及使用 outlier 数据训练的有监督 Mahalanobis(Figure 4)。
- 例外:SVHN 自适应攻击下 Odds 的 average precision 更高;MNIST 的 CW、FGSM 下 Odds、Trust 与 JTLA 相当或略优。
- 运行时间上 JTLA 每折 0.92–6.37 分钟,低于 Odds 与 LID、高于 Trust(Table 9)。
- 作者结论:作者称模块化设计使 JTLA 可接入多种已有检验统计量,在强攻击(含自适应攻击)下的实验支持其有效性;作者同时指出 Fisher 的独立性假设与 aK-LPE 的样本量需求是方法层面的限制。