核方法对抗鲁棒性的全面分析
Adversarial Robustness of Kernel Machines: A Comprehensive Analysis
作者系统比较核机器与神经网络在 8 个数据集上的对抗鲁棒性,称核机器原生更鲁棒,并给出核机器的近似对抗训练算法。
- 对抗样本研究大多围绕神经网络,核机器(KM)及其变体 RFC、RFM 的对抗鲁棒性缺乏系统比较。作者问:不同函数类之间是否存在对抗鲁棒性的层级。
- 在 5 个图像和 3 个表格数据集上,用白盒(PGD、AutoAttack)和黑盒(SPSA)攻击比较 KRR、KLR、KSVM、RFC、RFM 与 FCNN、LeNet、WRN 的鲁棒准确率,并推导核机器的近似对抗训练算法 MARK。
- 作者称 KM 的鲁棒性随攻击预算增大比 NN 下降更缓,部分任务差距达 40(多分类)至 70(二分类)个百分点;Gaussian KLR 在三个数据集上超过对抗训练的 NN;Laplacian RFC 存在梯度掩蔽。
- 作者列出的局限包括:攻击针对 NN 调优、只考虑 ℓp 威胁、只用较简单数据集、无理论保证、未完全解释 Laplacian RFC 的梯度掩蔽;后续方向含理论分析与对比树模型。
- 威胁模型
- 测试时逃逸攻击:攻击者在 ℓ∞ 或 ℓ2 范数预算 ε 内扰动输入使分类器误分类;图像用白盒攻击(PGD、AutoAttack 的 apgd-ce)和黑盒攻击(SPSA),表格数据用 CaFA;受害系统是核机器与神经网络分类器。
- 被测模型
- KRRKLRKSVMRFCRFMAdv-KLRFCNNFCNN-AdvLeNet-5LeNet-AdvWideResNet-28-10 (WRN-28-10)
- 基准
- FashionMNISTKMNISTQMNISTSVHNCIFAR-10AdultBankMarketingPhishing
- 指标
- robust accuracybenign accuracyone-v-one robust accuracypointwise boundary distance εb
研究者通过白盒与黑盒逃逸攻击全面评估核方法的对抗鲁棒性,实验强烈表明其天然比神经网络更抗对抗扰动、性能下降更平缓。评估涵盖核方法、随机特征分类器与较新的 Recursive Feature Machines,覆盖图像与表格数据集上的二分类和多分类任务。论文还提出一种核方法近似对抗训练算法。
深度解读
这篇论文试图解决什么问题?
核机器及其变体相对神经网络的对抗鲁棒性缺乏系统实证比较,论文补齐这一空白。
核心问题:核机器(KM)这类模型是否天然比神经网络更难被对抗样本攻击,即函数类之间是否存在对抗鲁棒性的层级(可能依赖数据集)。
- 问题场景:作者指出,对抗样本在有限信息设定下也普遍存在,而除鲁棒训练外少有有效防御;鲁棒训练求解 min-max 问题,计算开销大且有不利权衡。这促使作者重新审视是否存在一类本身就比 NN 更鲁棒的模型。
- 现有研究不足:作者称,KM 因 NTK 等结果重新受到关注,但其对抗鲁棒性"received little attention";对 KM、RFC、RFM 三种变体的全面比较此前没有做过(§1.2)。
- 论文提出什么:一项覆盖 8 个数据集、多种攻击的实证比较,分析分三层:整体鲁棒准确率、C 选 2 个一对一任务的细粒度鲁棒准确率、单个样本到决策边界的逐点距离;另给出 KM 近似对抗训练算法(二分类为凸近似,多分类为非凸近似加迭代算法)。
- 威胁模型:
- 目标:测试时逃逸,即在范数预算内扰动输入使分类结果改变(§2.1)。
- 知识:white-box(AutoPGD/PGD,可访问模型实现)与 black-box(SPSA,仅输入输出访问);表格数据用 CaFA。
- 能力:图像上 ℓ∞ 与 ℓ2 扰动预算 ε;表格上 ℓ∞ 预算并满足特征约束。
- 受害系统:KRR、KLR、KSVM、RFC、RFM 及 FCNN、LeNet、WRN-28-10 分类器。
有哪些相关研究?
相关工作分三组:KM 抗污染鲁棒性、针对 KM 的测试时扰动研究、以及 RFC 过参数化的理论分析。
KM 对数据污染的鲁棒性
- Cauchy loss、Huber loss、ℓ1 loss 等抗离群值损失函数的 KM(论文引 [43][41][39][13])——用抗污染损失增强 KM。
- Li et al. [26]——证明用 NTK 训练、早停的 KM 对标签噪声鲁棒。
针对 KM 的测试时扰动
- Xu et al. [47]——用 hinge loss 上界和正则化变体说明 KSVM 对逐点不确定性鲁棒;论文指出其无经验证据且只在特征空间扰动。
- Wang [40](论文称与本文最接近)——分析线性和 Gaussian 核 SVM 的经验鲁棒性,发现它们不鲁棒;论文则称 KLR、KRR、KSVM 配 Laplacian 核及适当调参的 Gaussian 核是鲁棒的。
- Han and Rubinstein [16]——研究对 Gaussian SVM 的梯度下降逃逸攻击,发现降低核平滑度可提高鲁棒性。
RFC 的理论分析与 KM 对抗训练
- Hassani and Javanmard [17]——理论分析过参数化随机特征在 d,p,n→∞ 比例渐近下损害鲁棒泛化;论文称自己的实验结果对其结论的实际有效性提出疑问,作者认为可能是其特征各向同性假设导致悲观结果。
- Wu et al. [44]——通过对偶随机梯度在特征空间对 KM 做对抗训练;论文指出 [40][44] 都在特征空间而非输入空间做对抗训练,且都用 [47] 的上界,往往过于保守。
对照设置:对照模型为 FCNN、LeNet-5、WideResNet-28-10 及其对抗训练变体;基准为 FashionMNIST、KMNIST、QMNIST、SVHN、CIFAR-10 与 Adult、BankMarketing、Phishing(Table 1)。
作者将本文定位为:对三种核模型变体做此前缺失的全面鲁棒性比较,并给出输入空间上的 KM 近似对抗训练方法。
论文如何解决这个问题?
用分层鲁棒准确率指标系统对比三类核模型与神经网络,并推导 KM 的近似对抗训练算法 MARK。
整体思路:在统一攻击协议下测量核机器(KRR/KLR/KSVM)、RFC、RFM 与 NN 的鲁棒准确率,从整体、一对一、逐点三个层面比较;理论部分对鲁棒训练目标做一阶近似,得到可求解的近似对抗训练问题。
问题设定与度量
- 对抗样本定义:在 x 处,扰动 δ 满足 ∥δ∥p ≤ ε 且使 arg max 预测改变(§2.1);攻击通过局部搜索近似求解带范数约束的损失最大化问题,损失用 cross-entropy。
- 鲁棒准确率:raε(f) := 1 − P[∃ δ: |δ|p ≤ ε, argmaxi fi(x+δ) ≠ y],即不存在预算内成功扰动的样本比例,用 plug-in 估计。
- 三层分析:多分类整体鲁棒准确率;C 选 2 个一对一任务的细粒度分解;逐点鲁棒性 εb(f,(x,y)),用二分搜索叠加 AutoAttack 估计单样本到边界的距离。
被比较的模型族
- KM:f(x) = ∑i=1n αi K(x, xi),用 Matérn 族核(Laplacian ν=1/2、Gaussian ν→∞),分别配 square loss(KRR)、hinge loss(KSVM)、logistic loss(KLR)。
- RFM:核由半正定矩阵 M 参数化,M 用平均梯度外积(AGOP)递归更新,最多 5 次迭代,square loss 训练。
- RFC:随机特征近似,二分类用 5000 和 20000 个特征,多分类在 10k–60k 特征上消融,square 与 cross-entropy 两种损失。
近似对抗训练(§4)
- 出发点:RKHS 上的鲁棒训练 min-max 问题不再有表示定理保证有限表示;对小 ε 做线性化,得目标 minf ∑i ℓi(f(xi)) + ε|ℓi′(f(xi))⊤ ∇ f(xi)|q + λ/2|f|H2。
- 二分类:对 Lipschitz 损失(∥ℓ′∥≤L)取凸上界,得凸问题;ℓ∞ 下推出鞍点形式与随机原始-对偶更新(Eq. 10),matrix-free 实现,O(n(d+1)) 内存,衰减步长,仅 λ>0 保证收敛。
- 多分类:Proposition 2 给出含 2nc+nd 系数的解形式(远少于一般情形的 nc(d+1));对 cross-entropy 用 ∥ℓ′∥1≤2 得上界,目标凸但约束集非凸,提出 MARK(Algorithm 1):每 T 个 epoch 做一次近似的秩 1 投影(Algorithm 2,delayed projection 思路)。
攻击与评测协议
- 白盒:固定迭代 PGD(100 步、步长 ε/10)与 AutoAttack 的 apgd-ce,报告两者中较低的鲁棒准确率。
- 黑盒:SPSA 用于检查梯度掩蔽;表格数据用 CaFA(挖掘约束、TabPGD 扰动、SAT 投影),ε ∈ {0.01, 0.03, 0.075}。
- 模型选择:以验证集干净准确率最高的超参组合为被攻击对象;超参搜索范围见 §B(如 KRR 的 λ、σ 网格)。
论文做了哪些实验?
在 8 个数据集上比较 13 个模型的鲁棒准确率,KM 随 ε 增大衰减更缓,Gaussian KLR 超过对抗训练 NN。
实验设置
- 被测模型:KRR、KLR、KSVM、RFC、RFM、对抗训练 KLR(MARK),对照为 FCNN、LeNet、WRN-28-10 及对抗训练的 FCNN-Adv、LeNet-Adv;Figure 2 共 13 个模型(3 个对抗训练、10 个 benign)。
- 数据集:图像 FashionMNIST、KMNIST、QMNIST、SVHN、CIFAR-10;表格 Adult、BankMarketing、Phishing(Table 1);论文未在正文给出各数据集样本量。
- 攻击:白盒 PGD 与 AutoAttack(apgd-ce)取较低值;黑盒 SPSA;表格用 CaFA。ℓ∞ 多分类预算 ε0/255,ε0 ∈ {0,.1,1,2,4,6,8,12,20,32,40,55};ℓ2 多分类 ε ∈ {0,.5,1,2,4,6}(§B.3)。
- 指标:鲁棒准确率(%)、干净准确率、一对一差值热图、逐点 εb 比值的 CDF。
- 重复与种子:RFC 结果对 10 个种子(100–550)取平均;FCNN 多种子下趋势一致,报告 seed 42;ℓ2 攻击带误差条但过小,ℓ∞ 只画 seed 42(§C.1)。
- 对抗训练预算:NN 多分类 ℓ∞ 训练预算 FMNIST 8/255、KMNIST 16/255、QMNIST 24/255,ℓ2 为 ε=1(§B.4)。
主结果
下表为 Figure 2(FMNIST 多分类,PGD/AutoAttack 取低者,ℓ∞)中部分模型的鲁棒准确率(%):
表格较宽,可左右滑动
模型 ε=0 8/255 20/255 40/255 Adv. Gaussian KLR 85.1 82.3 78.6 72.2 Gaussian KLR 87.0 72.3 50.9 40.5 Laplacian KLR 88.2 73.0 48.2 30.6 Adv. FCNN 88.0 81.2 62.4 18.1 Adv. LeNet 88.8 82.1 53.0 2.6 Gaussian KRR 90.5 57.4 38.3 12.4 Laplacian KRR 90.0 69.1 34.8 4.5 Benign FCNN 89.6 50.7 8.3 0.0 Benign LeNet 90.5 26.9 0.2 0.0 (省略:Laplacian/Gaussian SVM、Laplacian/Gaussian RFM,均见 Figure 2;其中 Benign LeNet 在 ε≥20/255 时结果最差。)
- 作者称 KM 的鲁棒性随 ε 增大比 NN 下降更缓,部分多分类任务差距达 40 个百分点、二分类达 70 个百分点(§1.1);Figure 2 中 ε≥32/255 时最佳模型均为 logistic loss 的 KM。
- 在 KMNIST ε=40/255 下,Gaussian KLR 73.4%,而 Adv. LeNet 28.0%、Adv. FCNN 20.1%、Gaussian KRR 12.5%、Gaussian SVM 16.2%(§3.2,对应 Figure 4A 同值)。
- 例外:KLR 干净准确率落后,FMNIST 上 Adv. Gaussian KLR 干净准确率最低(85.1%,Figure 2);CIFAR-10 上 LeNet 在 ℓ2 与 KM 相当、ℓ∞ 更好(§5.1)。
逐点鲁棒性(§5.2)
- 测了什么:对全部被模型分对的随机样本(FMNIST 388、KMNIST 423、QMNIST 479 个),用二分+AutoAttack 估计最小成功扰动 εb,画 εb(KLR)/εb(其他模型) 比值的 CDF(Figures 1、6A、7A)。
- 结果:作者称中位样本上 KLR 比 Adv-FCNN、Adv-LeNet 更鲁棒(KMNIST 上近 2 倍);对抗训练 KM 在所有模型中最鲁棒;FMNIST 上 KRR 与 RFM 曲线重叠。
RFC 与梯度掩蔽(§3.4、§D.1)
- Gaussian RFC:特征数增多鲁棒性稳定上升,SPSA 下鲁棒准确率一致更高,作者据此认为无梯度掩蔽;特征足够时在不少情况下超过 FCNN 和 LeNet。
- Laplacian RFC:SPSA 攻击下鲁棒准确率比白盒攻击低,作者称存在梯度掩蔽,白盒数字高估其真实鲁棒性;square loss 下鲁棒性随特征数变化无规律。作者将其归因于 Laplace 随机特征的重尾(Cauchy)频谱分布。
其他消融与分析
- RFM 迭代:更多特征学习迭代降低 Laplacian RFM 的鲁棒性(Fig. 78A);KMNIST/QMNIST 上 KRR 比 RFM 更鲁棒,FMNIST 上 RFM 相当(§3.3)。
- 核参数:Matérn 平滑度 ν 增大降低鲁棒性(Fig. 77A);更小的长度尺度 σ 提高鲁棒性(Figs. 79A、80A);λ 只在很大时以干净准确率为代价提升鲁棒性(Fig. 81A)。
- SVHN/CIFAR-10:Gaussian RFM 在 SVHN 上超过所有模型,将基础核准确率提升 20 个百分点(Table 4A);CIFAR-10 上 5 个随机 1v1 任务中 4 个 KM 超出 FCNN 至多 4%(Figs. 63A–66A)。
- WRN-28-10:干净准确率更高但随预算增大鲁棒准确率掉得比 LeNet 快(Table 5A),作者据此认为 KM 的优势不源于对比模型规模。
- MARK:对抗训练提升 KM 鲁棒性(Figs. 1、2、4A–7A);多分类训练约 24 小时/10 epoch(Table 3A)。
有什么可以进一步探索的点?
作者列出 5 条局限,并给出理论、表格数据对比树模型、损失景观分析等后续方向。
作者指出的局限与后续方向
- 攻击适配性(§5.3):主要攻击是为 NN 调优的,可能高估 KM 的鲁棒性;作者认为这不太可能,因为 KM 的损失面对攻击者应较平滑,一阶攻击应有效。
- 威胁模型范围(§5.3):只考虑视觉数据上的 ℓp 对抗者,作者认为值得考察 StAdv、ReColor 等其他攻击。
- 数据集复杂度(§5.3):只用 KM 与 NN 有竞争力的较简单数据集;作者称这超出本文范围,并认为这些任务正是轻量 KM 适用的场景。
- 缺理论保证(§5.3):没有证明 KM 比 NN 更鲁棒的理论结果。
- 未解释的现象(§5.3):未完全刻画 Laplacian RFC 的梯度掩蔽,以及 RFC 中训练损失与特征数对鲁棒性的影响。
- 后续方向(§5.4):精确鲁棒训练的表示定理、KM 特有的鲁棒性界;表格数据上对比梯度提升树等树模型;分析攻击者损失景观及 KM 在对抗与分布外样本上的置信度。
实验覆盖范围
- 被测模型共 13 个:5 类核模型(KRR/KLR/KSVM/RFC/RFM)、MARK、FCNN、LeNet、WRN-28-10 及两个对抗训练 NN(Table 1、Figure 2)。
- 数据集 8 个:5 个图像 + 3 个表格(Table 1);表格实验用 CaFA,ε ∈ {0.01, 0.03, 0.075}(§A.2)。
- 攻击覆盖白盒(PGD、apgd-ce)、黑盒(SPSA)与表格约束攻击(CaFA);ℓ∞ 与 ℓ2 两种范数(§B.3)。
- 逐点分析样本量为 388/423/479(FMNIST/KMNIST/QMNIST,Figures 1、6A、7A);RFC 用 10 个种子,FCNN 报告 seed 42(§B.1、§B.2)。
- 论文未报告主结果各单元格的重复次数与置信区间(ℓ∞ 只画 seed 42,§C.1);SVHN 与 CIFAR-10 只做了"limited number of experiments"(§5.1)。
总结一下论文的主要内容
实证比较显示核机器原生对抗鲁棒性优于神经网络,论文并给出核机器的近似对抗训练算法。
一篇关于核机器对抗鲁棒性的实证研究,回答"函数类之间是否存在对抗鲁棒性层级"的问题。
- 问题:对抗样本研究集中于 NN,KM 及其变体 RFC、RFM 的鲁棒性缺乏系统比较;鲁棒训练开销大,作者寻找天然更鲁棒的模型类。
- 方法:在 8 个数据集(5 图像 + 3 表格)上,用 PGD、AutoAttack(白盒)、SPSA(黑盒)、CaFA(表格)测量 13 个模型的鲁棒准确率,分整体、一对一、逐点三层分析;理论上对鲁棒训练目标做一阶近似,二分类得凸问题,多分类提出带延迟秩 1 投影的迭代算法 MARK。
- 主要结果:
- 作者称 KM 随 ε 增大衰减更缓,部分任务领先 NN 达 40(多分类)/70(二分类)个百分点(§1.1)。
- FMNIST ε=40/255 时 Adv. Gaussian KLR 72.2%,Adv. FCNN 18.1%、Adv. LeNet 2.6%(Figure 2)。
- KMNIST ε=40/255 时 Gaussian KLR 73.4%,高于 Adv. LeNet 28.0% 与 Adv. FCNN 20.1%(§3.2)。
- 中位样本上 KLR 的逐点鲁棒性超过对抗训练 FCNN/LeNet,KMNIST 上近 2 倍(Figures 1、6A)。
- Laplacian RFC 在 SPSA 下鲁棒准确率更低,作者称存在梯度掩蔽;Gaussian RFC 无此现象且随特征数增多更鲁棒。
- 作者结论:作者认为 KM(尤其 logistic loss 的 KLR)在这些数据集上原生比 NN 更鲁棒,且可经 MARK 进一步增强;插值行为可能与测试鲁棒性不矛盾。作者同时承认攻击为 NN 调优、数据集较简单、无理论保证等局限,并将理论解释与更广威胁模型列为未来工作。