跳到正文
原文

核方法对抗鲁棒性的全面分析

Adversarial Robustness of Kernel Machines: A Comprehensive Analysis

arXiv:对抗攻击、后门与投毒· arXiv:2611.07474· Rahul Kumar Yadav, Tunir Ghosh, Sudhendu Ahir, Parthe Pandit, Arjun BhagojiCenter for Machine Intelligence and Data Science, IIT Bombay本站收录· 14 天前· 原文发表攻击

论文速读

分析与理论

据论文 PDF 整理(AI 生成),以原文为准

作者系统比较核机器与神经网络在 8 个数据集上的对抗鲁棒性,称核机器原生更鲁棒,并给出核机器的近似对抗训练算法。

问题
对抗样本研究大多围绕神经网络,核机器(KM)及其变体 RFC、RFM 的对抗鲁棒性缺乏系统比较。作者问:不同函数类之间是否存在对抗鲁棒性的层级。
方法
在 5 个图像和 3 个表格数据集上,用白盒(PGD、AutoAttack)和黑盒(SPSA)攻击比较 KRR、KLR、KSVM、RFC、RFM 与 FCNN、LeNet、WRN 的鲁棒准确率,并推导核机器的近似对抗训练算法 MARK。
实验与结果
作者称 KM 的鲁棒性随攻击预算增大比 NN 下降更缓,部分任务差距达 40(多分类)至 70(二分类)个百分点;Gaussian KLR 在三个数据集上超过对抗训练的 NN;Laplacian RFC 存在梯度掩蔽。
局限与可以继续做的
作者列出的局限包括:攻击针对 NN 调优、只考虑 ℓp 威胁、只用较简单数据集、无理论保证、未完全解释 Laplacian RFC 的梯度掩蔽;后续方向含理论分析与对比树模型。
实验设置KRR、KLR 等 · FashionMNIST、KMNIST 等 · robust accuracy、benign accuracy 等
威胁模型
测试时逃逸攻击:攻击者在 ℓ∞ 或 ℓ2 范数预算 ε 内扰动输入使分类器误分类;图像用白盒攻击(PGD、AutoAttack 的 apgd-ce)和黑盒攻击(SPSA),表格数据用 CaFA;受害系统是核机器与神经网络分类器。
被测模型
KRRKLRKSVMRFCRFMAdv-KLRFCNNFCNN-AdvLeNet-5LeNet-AdvWideResNet-28-10 (WRN-28-10)
基准
FashionMNISTKMNISTQMNISTSVHNCIFAR-10AdultBankMarketingPhishing
指标
robust accuracybenign accuracyone-v-one robust accuracypointwise boundary distance εb
AI 导读研究者通过白盒与黑盒逃逸攻击全面评估核方法的对抗鲁棒性,实验强烈表明其天然比神经网络更抗对抗扰动、性能下降更平缓。评估涵盖核方法、随机特征分类器与较新的 Recursive Feature Machines,覆盖图像与表格数据集上的二分类和多分类任务。论文还提出一种核方法近似对抗训练算法。

研究者通过白盒与黑盒逃逸攻击全面评估核方法的对抗鲁棒性,实验强烈表明其天然比神经网络更抗对抗扰动、性能下降更平缓。评估涵盖核方法、随机特征分类器与较新的 Recursive Feature Machines,覆盖图像与表格数据集上的二分类和多分类任务。论文还提出一种核方法近似对抗训练算法。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    核机器及其变体相对神经网络的对抗鲁棒性缺乏系统实证比较,论文补齐这一空白。

    核心问题:核机器(KM)这类模型是否天然比神经网络更难被对抗样本攻击,即函数类之间是否存在对抗鲁棒性的层级(可能依赖数据集)。

    • 问题场景:作者指出,对抗样本在有限信息设定下也普遍存在,而除鲁棒训练外少有有效防御;鲁棒训练求解 min-max 问题,计算开销大且有不利权衡。这促使作者重新审视是否存在一类本身就比 NN 更鲁棒的模型。
    • 现有研究不足:作者称,KM 因 NTK 等结果重新受到关注,但其对抗鲁棒性"received little attention";对 KM、RFC、RFM 三种变体的全面比较此前没有做过(§1.2)。
    • 论文提出什么:一项覆盖 8 个数据集、多种攻击的实证比较,分析分三层:整体鲁棒准确率、C 选 2 个一对一任务的细粒度鲁棒准确率、单个样本到决策边界的逐点距离;另给出 KM 近似对抗训练算法(二分类为凸近似,多分类为非凸近似加迭代算法)。
    • 威胁模型:
      • 目标:测试时逃逸,即在范数预算内扰动输入使分类结果改变(§2.1)。
      • 知识:white-box(AutoPGD/PGD,可访问模型实现)与 black-box(SPSA,仅输入输出访问);表格数据用 CaFA。
      • 能力:图像上 ℓ∞ 与 ℓ2 扰动预算 ε;表格上 ℓ∞ 预算并满足特征约束。
      • 受害系统:KRR、KLR、KSVM、RFC、RFM 及 FCNN、LeNet、WRN-28-10 分类器。
  2. 有哪些相关研究?

    相关工作分三组:KM 抗污染鲁棒性、针对 KM 的测试时扰动研究、以及 RFC 过参数化的理论分析。

    KM 对数据污染的鲁棒性

    • Cauchy loss、Huber loss、ℓ1 loss 等抗离群值损失函数的 KM(论文引 [43][41][39][13])——用抗污染损失增强 KM。
    • Li et al. [26]——证明用 NTK 训练、早停的 KM 对标签噪声鲁棒。

    针对 KM 的测试时扰动

    • Xu et al. [47]——用 hinge loss 上界和正则化变体说明 KSVM 对逐点不确定性鲁棒;论文指出其无经验证据且只在特征空间扰动。
    • Wang [40](论文称与本文最接近)——分析线性和 Gaussian 核 SVM 的经验鲁棒性,发现它们不鲁棒;论文则称 KLR、KRR、KSVM 配 Laplacian 核及适当调参的 Gaussian 核是鲁棒的。
    • Han and Rubinstein [16]——研究对 Gaussian SVM 的梯度下降逃逸攻击,发现降低核平滑度可提高鲁棒性。

    RFC 的理论分析与 KM 对抗训练

    • Hassani and Javanmard [17]——理论分析过参数化随机特征在 d,p,n→∞ 比例渐近下损害鲁棒泛化;论文称自己的实验结果对其结论的实际有效性提出疑问,作者认为可能是其特征各向同性假设导致悲观结果。
    • Wu et al. [44]——通过对偶随机梯度在特征空间对 KM 做对抗训练;论文指出 [40][44] 都在特征空间而非输入空间做对抗训练,且都用 [47] 的上界,往往过于保守。

    对照设置:对照模型为 FCNN、LeNet-5、WideResNet-28-10 及其对抗训练变体;基准为 FashionMNIST、KMNIST、QMNIST、SVHN、CIFAR-10 与 Adult、BankMarketing、Phishing(Table 1)。

    作者将本文定位为:对三种核模型变体做此前缺失的全面鲁棒性比较,并给出输入空间上的 KM 近似对抗训练方法。

  3. 论文如何解决这个问题?

    用分层鲁棒准确率指标系统对比三类核模型与神经网络,并推导 KM 的近似对抗训练算法 MARK。

    整体思路:在统一攻击协议下测量核机器(KRR/KLR/KSVM)、RFC、RFM 与 NN 的鲁棒准确率,从整体、一对一、逐点三个层面比较;理论部分对鲁棒训练目标做一阶近似,得到可求解的近似对抗训练问题。

    问题设定与度量

    • 对抗样本定义:在 x 处,扰动 δ 满足 ∥δ∥p ≤ ε 且使 arg max 预测改变(§2.1);攻击通过局部搜索近似求解带范数约束的损失最大化问题,损失用 cross-entropy。
    • 鲁棒准确率:raε(f) := 1 − P[∃ δ: |δ|p ≤ ε, argmaxi fi(x+δ) ≠ y],即不存在预算内成功扰动的样本比例,用 plug-in 估计。
    • 三层分析:多分类整体鲁棒准确率;C 选 2 个一对一任务的细粒度分解;逐点鲁棒性 εb(f,(x,y)),用二分搜索叠加 AutoAttack 估计单样本到边界的距离。

    被比较的模型族

    • KM:f(x) = ∑i=1n αi K(x, xi),用 Matérn 族核(Laplacian ν=1/2、Gaussian ν→∞),分别配 square loss(KRR)、hinge loss(KSVM)、logistic loss(KLR)。
    • RFM:核由半正定矩阵 M 参数化,M 用平均梯度外积(AGOP)递归更新,最多 5 次迭代,square loss 训练。
    • RFC:随机特征近似,二分类用 5000 和 20000 个特征,多分类在 10k–60k 特征上消融,square 与 cross-entropy 两种损失。

    近似对抗训练(§4)

    • 出发点:RKHS 上的鲁棒训练 min-max 问题不再有表示定理保证有限表示;对小 ε 做线性化,得目标 minf ∑i ℓi(f(xi)) + ε|ℓi′(f(xi))⊤ ∇ f(xi)|q + λ/2|f|H2。
    • 二分类:对 Lipschitz 损失(∥ℓ′∥≤L)取凸上界,得凸问题;ℓ∞ 下推出鞍点形式与随机原始-对偶更新(Eq. 10),matrix-free 实现,O(n(d+1)) 内存,衰减步长,仅 λ>0 保证收敛。
    • 多分类:Proposition 2 给出含 2nc+nd 系数的解形式(远少于一般情形的 nc(d+1));对 cross-entropy 用 ∥ℓ′∥1≤2 得上界,目标凸但约束集非凸,提出 MARK(Algorithm 1):每 T 个 epoch 做一次近似的秩 1 投影(Algorithm 2,delayed projection 思路)。

    攻击与评测协议

    • 白盒:固定迭代 PGD(100 步、步长 ε/10)与 AutoAttack 的 apgd-ce,报告两者中较低的鲁棒准确率。
    • 黑盒:SPSA 用于检查梯度掩蔽;表格数据用 CaFA(挖掘约束、TabPGD 扰动、SAT 投影),ε ∈ {0.01, 0.03, 0.075}。
    • 模型选择:以验证集干净准确率最高的超参组合为被攻击对象;超参搜索范围见 §B(如 KRR 的 λ、σ 网格)。
  4. 论文做了哪些实验?

    在 8 个数据集上比较 13 个模型的鲁棒准确率,KM 随 ε 增大衰减更缓,Gaussian KLR 超过对抗训练 NN。

    实验设置

    • 被测模型:KRR、KLR、KSVM、RFC、RFM、对抗训练 KLR(MARK),对照为 FCNN、LeNet、WRN-28-10 及对抗训练的 FCNN-Adv、LeNet-Adv;Figure 2 共 13 个模型(3 个对抗训练、10 个 benign)。
    • 数据集:图像 FashionMNIST、KMNIST、QMNIST、SVHN、CIFAR-10;表格 Adult、BankMarketing、Phishing(Table 1);论文未在正文给出各数据集样本量。
    • 攻击:白盒 PGD 与 AutoAttack(apgd-ce)取较低值;黑盒 SPSA;表格用 CaFA。ℓ∞ 多分类预算 ε0/255,ε0 ∈ {0,.1,1,2,4,6,8,12,20,32,40,55};ℓ2 多分类 ε ∈ {0,.5,1,2,4,6}(§B.3)。
    • 指标:鲁棒准确率(%)、干净准确率、一对一差值热图、逐点 εb 比值的 CDF。
    • 重复与种子:RFC 结果对 10 个种子(100–550)取平均;FCNN 多种子下趋势一致,报告 seed 42;ℓ2 攻击带误差条但过小,ℓ∞ 只画 seed 42(§C.1)。
    • 对抗训练预算:NN 多分类 ℓ∞ 训练预算 FMNIST 8/255、KMNIST 16/255、QMNIST 24/255,ℓ2 为 ε=1(§B.4)。

    主结果

    下表为 Figure 2(FMNIST 多分类,PGD/AutoAttack 取低者,ℓ∞)中部分模型的鲁棒准确率(%):

    表格较宽,可左右滑动

    模型ε=08/25520/25540/255
    Adv. Gaussian KLR85.182.378.672.2
    Gaussian KLR87.072.350.940.5
    Laplacian KLR88.273.048.230.6
    Adv. FCNN88.081.262.418.1
    Adv. LeNet88.882.153.02.6
    Gaussian KRR90.557.438.312.4
    Laplacian KRR90.069.134.84.5
    Benign FCNN89.650.78.30.0
    Benign LeNet90.526.90.20.0

    (省略:Laplacian/Gaussian SVM、Laplacian/Gaussian RFM,均见 Figure 2;其中 Benign LeNet 在 ε≥20/255 时结果最差。)

    • 作者称 KM 的鲁棒性随 ε 增大比 NN 下降更缓,部分多分类任务差距达 40 个百分点、二分类达 70 个百分点(§1.1);Figure 2 中 ε≥32/255 时最佳模型均为 logistic loss 的 KM。
    • 在 KMNIST ε=40/255 下,Gaussian KLR 73.4%,而 Adv. LeNet 28.0%、Adv. FCNN 20.1%、Gaussian KRR 12.5%、Gaussian SVM 16.2%(§3.2,对应 Figure 4A 同值)。
    • 例外:KLR 干净准确率落后,FMNIST 上 Adv. Gaussian KLR 干净准确率最低(85.1%,Figure 2);CIFAR-10 上 LeNet 在 ℓ2 与 KM 相当、ℓ∞ 更好(§5.1)。

    逐点鲁棒性(§5.2)

    • 测了什么:对全部被模型分对的随机样本(FMNIST 388、KMNIST 423、QMNIST 479 个),用二分+AutoAttack 估计最小成功扰动 εb,画 εb(KLR)/εb(其他模型) 比值的 CDF(Figures 1、6A、7A)。
    • 结果:作者称中位样本上 KLR 比 Adv-FCNN、Adv-LeNet 更鲁棒(KMNIST 上近 2 倍);对抗训练 KM 在所有模型中最鲁棒;FMNIST 上 KRR 与 RFM 曲线重叠。

    RFC 与梯度掩蔽(§3.4、§D.1)

    • Gaussian RFC:特征数增多鲁棒性稳定上升,SPSA 下鲁棒准确率一致更高,作者据此认为无梯度掩蔽;特征足够时在不少情况下超过 FCNN 和 LeNet。
    • Laplacian RFC:SPSA 攻击下鲁棒准确率比白盒攻击低,作者称存在梯度掩蔽,白盒数字高估其真实鲁棒性;square loss 下鲁棒性随特征数变化无规律。作者将其归因于 Laplace 随机特征的重尾(Cauchy)频谱分布。

    其他消融与分析

    • RFM 迭代:更多特征学习迭代降低 Laplacian RFM 的鲁棒性(Fig. 78A);KMNIST/QMNIST 上 KRR 比 RFM 更鲁棒,FMNIST 上 RFM 相当(§3.3)。
    • 核参数:Matérn 平滑度 ν 增大降低鲁棒性(Fig. 77A);更小的长度尺度 σ 提高鲁棒性(Figs. 79A、80A);λ 只在很大时以干净准确率为代价提升鲁棒性(Fig. 81A)。
    • SVHN/CIFAR-10:Gaussian RFM 在 SVHN 上超过所有模型,将基础核准确率提升 20 个百分点(Table 4A);CIFAR-10 上 5 个随机 1v1 任务中 4 个 KM 超出 FCNN 至多 4%(Figs. 63A–66A)。
    • WRN-28-10:干净准确率更高但随预算增大鲁棒准确率掉得比 LeNet 快(Table 5A),作者据此认为 KM 的优势不源于对比模型规模。
    • MARK:对抗训练提升 KM 鲁棒性(Figs. 1、2、4A–7A);多分类训练约 24 小时/10 epoch(Table 3A)。
  5. 有什么可以进一步探索的点?

    作者列出 5 条局限,并给出理论、表格数据对比树模型、损失景观分析等后续方向。

    作者指出的局限与后续方向

    • 攻击适配性(§5.3):主要攻击是为 NN 调优的,可能高估 KM 的鲁棒性;作者认为这不太可能,因为 KM 的损失面对攻击者应较平滑,一阶攻击应有效。
    • 威胁模型范围(§5.3):只考虑视觉数据上的 ℓp 对抗者,作者认为值得考察 StAdv、ReColor 等其他攻击。
    • 数据集复杂度(§5.3):只用 KM 与 NN 有竞争力的较简单数据集;作者称这超出本文范围,并认为这些任务正是轻量 KM 适用的场景。
    • 缺理论保证(§5.3):没有证明 KM 比 NN 更鲁棒的理论结果。
    • 未解释的现象(§5.3):未完全刻画 Laplacian RFC 的梯度掩蔽,以及 RFC 中训练损失与特征数对鲁棒性的影响。
    • 后续方向(§5.4):精确鲁棒训练的表示定理、KM 特有的鲁棒性界;表格数据上对比梯度提升树等树模型;分析攻击者损失景观及 KM 在对抗与分布外样本上的置信度。

    实验覆盖范围

    • 被测模型共 13 个:5 类核模型(KRR/KLR/KSVM/RFC/RFM)、MARK、FCNN、LeNet、WRN-28-10 及两个对抗训练 NN(Table 1、Figure 2)。
    • 数据集 8 个:5 个图像 + 3 个表格(Table 1);表格实验用 CaFA,ε ∈ {0.01, 0.03, 0.075}(§A.2)。
    • 攻击覆盖白盒(PGD、apgd-ce)、黑盒(SPSA)与表格约束攻击(CaFA);ℓ∞ 与 ℓ2 两种范数(§B.3)。
    • 逐点分析样本量为 388/423/479(FMNIST/KMNIST/QMNIST,Figures 1、6A、7A);RFC 用 10 个种子,FCNN 报告 seed 42(§B.1、§B.2)。
    • 论文未报告主结果各单元格的重复次数与置信区间(ℓ∞ 只画 seed 42,§C.1);SVHN 与 CIFAR-10 只做了"limited number of experiments"(§5.1)。
  6. 总结一下论文的主要内容

    实证比较显示核机器原生对抗鲁棒性优于神经网络,论文并给出核机器的近似对抗训练算法。

    一篇关于核机器对抗鲁棒性的实证研究,回答"函数类之间是否存在对抗鲁棒性层级"的问题。

    • 问题:对抗样本研究集中于 NN,KM 及其变体 RFC、RFM 的鲁棒性缺乏系统比较;鲁棒训练开销大,作者寻找天然更鲁棒的模型类。
    • 方法:在 8 个数据集(5 图像 + 3 表格)上,用 PGD、AutoAttack(白盒)、SPSA(黑盒)、CaFA(表格)测量 13 个模型的鲁棒准确率,分整体、一对一、逐点三层分析;理论上对鲁棒训练目标做一阶近似,二分类得凸问题,多分类提出带延迟秩 1 投影的迭代算法 MARK。
    • 主要结果:
      • 作者称 KM 随 ε 增大衰减更缓,部分任务领先 NN 达 40(多分类)/70(二分类)个百分点(§1.1)。
      • FMNIST ε=40/255 时 Adv. Gaussian KLR 72.2%,Adv. FCNN 18.1%、Adv. LeNet 2.6%(Figure 2)。
      • KMNIST ε=40/255 时 Gaussian KLR 73.4%,高于 Adv. LeNet 28.0% 与 Adv. FCNN 20.1%(§3.2)。
      • 中位样本上 KLR 的逐点鲁棒性超过对抗训练 FCNN/LeNet,KMNIST 上近 2 倍(Figures 1、6A)。
      • Laplacian RFC 在 SPSA 下鲁棒准确率更低,作者称存在梯度掩蔽;Gaussian RFC 无此现象且随特征数增多更鲁棒。
    • 作者结论:作者认为 KM(尤其 logistic loss 的 KLR)在这些数据集上原生比 NN 更鲁棒,且可经 MARK 进一步增强;插值行为可能与测试鲁棒性不矛盾。作者同时承认攻击为 NN 调优、数据集较简单、无理论保证等局限,并将理论解释与更广威胁模型列为未来工作。

相关论文

共同使用 SVHN
共同使用 CIFAR-10
再看 3 篇
共同使用 CIFAR-10
阅读原文arxiv.org