跳到正文
原文

面向卷积神经网络的鲁棒 MoE 训练方法

Robust Mixture-of-Expert Training for Convolutional Neural Networks

arXiv· arXiv:2308.10110· ICCV 2023· Yihua Zhang, Ruisi Cai, Tianlong Chen, Guanhua Zhang, Huan Zhang, Pin-Yu Chen, Shiyu Chang, Zhangyang Wang, Sijia LiuMichigan State University; University of Texas at Austin; The University of North Carolina at Chapel Hill; MIT; Harvard University; UC Santa Barbara; Carnegie Mellon University; UIUC; IBM Research本站收录· 21 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 MoE-CNN 的对抗训练框架 AdvMoE,称在 4 种 CNN 骨干和 4 个数据集上 RA 比 AT(Dense) 高约 1%∼4%,推理成本降低超 50%。

威胁模型防御方目标:训练对 ℓ∞ 范数对抗扰动鲁棒的稀疏 MoE-CNN,同时保持推理效率。

问题
稀疏 MoE 能提升 CNN 推理效率,但作者发现为普通 CNN 设计的对抗训练(AT)用在 MoE-CNN 上失效,鲁棒精度甚至低于参数量更小的 S-Dense,如何鲁棒化 MoE-CNN 仍无方案。
方法
作者把 MoE-CNN 的鲁棒性拆成路由器鲁棒性和专家路径鲁棒性,分析二者难以互相适应;据此提出 AdvMoE,用双层优化把路由器作为下层变量、骨干网络作为上层变量,交替进行 TRADES 对抗训练。
实验与结果
在 4 种 CNN 骨干和 4 个数据集上,作者报告 AdvMoE 的 RA 比 AT(Dense) 高约 1%∼4%,GFLOPS 降低超 50%;AutoAttack 评测下结论一致;在 DeiT-Tiny 的 MoE-ViT 上 RA 比 SOTA 基线高 1.30 个百分点。
局限与可以继续做的
作者承认 AdvMoE 因交替优化每步需两次反向传播,计算量约为 vanilla AT 的两倍,提升训练效率是未来方向;双层优化非凸,收敛性难以证明;MoE-ViT 仅做了初步实验。
实验设置ResNet-18、Wide-ResNet-28-10 (WRN-28-10) 等 · CIFAR-10、CIFAR-100 等 · RA、RA-AA 等
威胁模型
防御方目标:训练对 ℓ∞ 范数对抗扰动鲁棒的稀疏 MoE-CNN,同时保持推理效率。攻击者生成输入扰动(训练用 2-step PGD、评测用 50-step PGD 与 AutoAttack),强度 ϵ=8/255(CIFAR-10/100)或 2/255(TinyImageNet/ImageNet);扰动可误导路由器选错专家或欺骗路径预测器(论文称 two-way attack mode)。受害系统为 CNN 骨干的稀疏 MoE 图像分类模型。
被测模型
ResNet-18Wide-ResNet-28-10 (WRN-28-10)VGG-16DenseNetDeiT-Tiny
基准
CIFAR-10CIFAR-100TinyImageNetImageNet
指标
RARA-AASAGFLOPS
AI 导读研究者提出路由器与专家交替对抗训练框架 AdvMoE,使 MoE-CNN 的对抗鲁棒性较原始稠密 CNN 提升 1%~4%,推理成本降低 50% 以上。其试点研究发现,为普通 CNN 设计的常规对抗训练不再能有效提升 MoE-CNN 的鲁棒性,原因在于路由器与专家难以相互适应。该方法在 4 种常用 CNN 架构与 4 个基准数据集上得到验证。

研究者提出路由器与专家交替对抗训练框架 AdvMoE,使 MoE-CNN 的对抗鲁棒性较原始稠密 CNN 提升 1%~4%,推理成本降低 50% 以上。其试点研究发现,为普通 CNN 设计的常规对抗训练不再能有效提升 MoE-CNN 的鲁棒性,原因在于路由器与专家难以相互适应。该方法在 4 种常用 CNN 架构与 4 个基准数据集上得到验证。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何对 CNN 骨干的稀疏 MoE 模型做对抗训练:作者发现常规 AT 对 MoE-CNN 失效,需要新的鲁棒训练机制。

    核心问题:如何对基于 CNN 的稀疏 MoE 模型(MoE-CNN)进行对抗训练(AT),使其在不损失 MoE 推理效率的前提下获得不低于普通 CNN 的对抗鲁棒性。

    • 问题场景:稀疏门控 MoE 通过路由器为每个输入激活少量专家,能以亚线性增长的推理成本(FLOPs)换取大模型容量;但 CNN 缺乏对抗鲁棒性是已知弱点,作者认为 MoE-CNN 的鲁棒化研究仍是空白。
    • 现有方法不足:作者称,为普通 CNN 设计的常规 AT(本文默认用 TRADES)直接用于 MoE-CNN 时失效——在 CIFAR-10、ResNet-18 上,AT 后的 MoE-CNN 鲁棒精度(RA)反而低于参数量小得多的 AT 后 S-Dense(Figure 2)。
    • 核心观察:作者把 MoE-CNN 的鲁棒性拆成两个维度——路由器(选择专家的门控函数)的鲁棒性和专家路径(路由器选出的子网)的鲁棒性,并发现二者在 vanilla AT 中难以互相适应。
    • 论文提出:一个新的路由器-专家交替对抗训练框架 AdvMoE,从双层优化(BLO)视角让路由器和专家协同提升整体鲁棒性;作者在 4 种 CNN 架构和 4 个数据集上做了验证。
    • 威胁模型:
      • 攻击者目标:对图像分类模型生成微小输入扰动,使其预测错误。
      • 攻击手段与强度:ℓ∞ 范数扰动,训练用 2-step PGD,评测用 50-step PGD 和 AutoAttack;ϵ=8/255(CIFAR-10/100)、ϵ=2/255(TinyImageNet/ImageNet)。
      • 攻击面:作者称 MoE 存在 two-way attack mode——扰动既可误导路由器选错专家,也可欺骗路径上的预测器。
      • 受害系统:CNN 骨干的稀疏 MoE 图像分类模型(ResNet-18、WRN-28-10、VGG-16、DenseNet)。
  2. 有哪些相关研究?

    相关工作分稀疏 MoE、对抗鲁棒训练两组;最相关的是 Puigcerver 等对 MoE-ViT 鲁棒性的研究,本文转向 MoE-CNN。

    稀疏 MoE(Sparsely-gated MoE)

    • Shazeer 等(2017)提出 sparsely-gated MoE 层;Switch Transformer(Fedus 等,2021)、GShard、GLaM 等把条件计算扩展到超大模型,主要优势是推理成本随模型规模亚线性增长。
    • 视觉领域的 MoE 工作大多面向 ViT(如 Riquelme 等 2021 的 V-MoE);作者称 CNN 上的稀疏 MoE 研究不足,DeepMoE(Wang 等,2020)系统研究了 MoE 与 CNN 的结合,但只做标准(非鲁棒)训练。
    • 作者指出另一些 MoE-CNN 相关工作(Abbas & Andreopoulos 2020;Pavlitskaya 等 2020)不属于稀疏 MoE 范畴,Ahmed 等(2016)不带来效率收益。

    对抗鲁棒性与对抗训练

    • CNN 易受到对抗样本攻击(Szegedy 等 2013;Goodfellow 等 2014;Carlini & Wagner 2017);主流防御是基于 min-max 优化的 AT(Madry 等 2018)及其变体 TRADES(Zhang 等 2019),后者在泛化与鲁棒性间取平衡,本文以 TRADES 为默认 AT 配方。
    • 另一类工作降低鲁棒训练的计算成本(Shafahi 等 2019 的 free AT;Wong 等 2020 的 fast AT;Zhang 等 2019 的 YOPO)。
    • Puigcerver 等(2022)研究了 MoE 架构的对抗鲁棒性,但聚焦 ViT 及模型容量与鲁棒性的关系;作者称这是与本文最相关的工作,本文填补稀疏 MoE-CNN 鲁棒化的空缺,且发现其采用的普通 AT 配方对 MoE-CNN 不再有效。

    基线与基准

    • 基线方法:AT (S-Dense)、AT (Sparse)(用 Hydra 结构化剪枝得到的 Sparse-CNN,Sehwag 等 2020)、AT (MoE)(直接对 MoE-CNN 联合训练路由器与骨干,即 Puigcerver 等 2022 用于 MoE-ViT 的做法)、AT (Dense)(作为鲁棒性参照,作者注明其推理时模型规模 r=1.0,直接比较不完全公平)。
    • 基准/数据集:CIFAR-10、CIFAR-100、TinyImageNet、ImageNet;鲁棒性评测用 50-step PGD 和 AutoAttack(Croce & Hein 2020)。

    作者将本文定位为:面向效率导向的稀疏 MoE-CNN 的鲁棒训练框架,与上述工作的区别在于把鲁棒性拆解为路由器与专家两个维度并用双层优化协同训练二者。

  3. 论文如何解决这个问题?

    作者先把 MoE-CNN 鲁棒性拆成路由器与专家两维并做三组剖析实验,再据此提出基于双层优化的交替对抗训练框架 AdvMoE。

    整体思路:先通过三组剖析实验理解常规 AT 在 MoE-CNN 上失效的原因(路由器与专家路径的鲁棒性互相耦合且难以协同),再提出 AdvMoE——把路由器作为下层变量、骨干网络作为上层变量的双层优化(BLO)交替对抗训练框架。

    问题设定与模型类型

    • MoE-CNN 结构:每个 MoE 层含一个路由器和一个来自骨干 CNN 的卷积层;第 l 层有 Cl 个通道时,每个专家取 r×Cl 个通道,r∈[0,1] 称为 model scale,各层相同;路由器为每个输入逐层选一个专家,构成端到端 pathway(附录 A,Figure A1)。
    • 对照模型:Dense(原始稠密 CNN,r=1.0)、S-Dense(按 r 直接缩减通道,参数量与 MoE 单条路径相当,作为性能下界)、Sparse-CNN(用结构化剪枝 [50] 从 Dense 得到、权重保留比例同为 r 的稀疏子网)。
    • 默认 AT 配方:全文采用 TRADES,求解 minθ 𝔼[ℓ(θ;x,y) + 1/λmax|δ|∞≤ϵℓKL(fθ(x), fθ(x+δ))],即经验风险与最坏情况预测稳定性(KL 散度)的权衡。

    鲁棒性剖析:三个 Insight

    • Insight 1(Q1):只用 AT 训练路由器 ϕ、冻结标准预训练的骨干 ψ(记为 θ̄),整体鲁棒性提升有限——CIFAR-10、ResNet-18、r=0.5 时 θ̄ 的 RA 为 37.64%,高于未防御的 M1(0%)和鲁棒剪枝的 M3(20.04%),但远低于 AT 后的 S-Dense(M2:47.68%)(Figure 3)。
    • Insight 2:把对抗样本按是否攻破路由器和路径分为四类(❶–❹);在 10000 个测试样本上,未攻破路由器的样本占 76.27%(❶+❸),但其中超过一半仍骗过了 MoE 预测器(❸>❶,❶ 仅 31.74%),说明路由器鲁棒不直接带来预测器鲁棒(Figure 4)。
    • Insight 3(Q2):在 θ̄ 之上再用 AT 训练骨干 ψ(记为 θ̄̄),整体预测鲁棒性(❶+❷)进一步提升,但路由器鲁棒性(❶+❸)反而下降——作者称路由器与专家的鲁棒性不能自动互相保持,这阻碍了 AT 取得明显提升(Figure 5)。

    AdvMoE:双层优化视角的交替 AT

    • 核心公式:minψ ℓTRADES(ψ, ϕ∗(ψ); D),s.t. ϕ∗(ψ) = argminϕ ℓTRADES(ψ, ϕ; D)——上层优化骨干 ψ,下层在给定 ψ 时优化路由器 ϕ,显式建模二者耦合;上下层都含 TRADES 内部的攻击生成最大化问题,对应不同的受害模型。
    • 求解算法:采用交替优化(AO),作者称其为计算上最省的一类 BLO 算法;每轮先固定 ψ 更新 ϕ,再固定 ϕ 更新 ψ,各自用 K-step PGD 生成扰动并以 SGD 最小化 TRADES 损失(Algorithm 1)。
    • 实现细节:路由器与专家各用随机采样的不同数据批次(batch size 相同),作者称多样批次有利于双层学习的泛化;不引入额外超参数,路由器与专家共享学习率和调度;训练 100 epochs,初始学习率 0.1、cosine 衰减,SGD momentum 0.9、weight decay 5e-4,batch size 128(ImageNet 为 512)(附录 B)。
    • 收敛性:作者说明由于上下层目标均非凸,难以证明收敛,现有 BLO 理论多依赖下层强凸假设;实践中 100 epochs 内收敛良好(附录 C,Figure A2)。

    评测方式

    • 指标:SA(干净测试集标准精度)、RA(对 50-step PGD 对抗样本的测试精度)、RA-AA(AutoAttack 下的鲁棒精度)、GFLOPS(单样本推理成本)。
    • 公平性控制:同一(数据集、骨干)内各模型类型用相同的 model scale r(默认 0.5、N=2 个专家),保证每个输入决策时使用的参数量相同;结果为 3 次独立实验的均值±标准差。
  4. 论文做了哪些实验?

    在 4 种 CNN 骨干 × 4 个数据集上,作者报告 AdvMoE 的 RA 比 AT(Dense) 高约 1%∼4%、GFLOPS 降超 50%,AutoAttack 与 MoE-ViT 扩展结论一致。

    实验设置

    • 被测骨干:ResNet-18、WRN-28-10、VGG-16、DenseNet;扩展实验用 DeiT-Tiny(MoE-ViT)。
    • 数据集:CIFAR-10、CIFAR-100、TinyImageNet、ImageNet(论文未报告各数据集样本量)。
    • 基线:AT (Dense)(r=1.0,仅作参照)、AT (S-Dense)、AT (Sparse)(Hydra 结构化剪枝)、AT (MoE)(直接联合训练);除 Dense 外均固定 r=0.5、N=2。
    • 攻击设置:训练用 2-step PGD;评测用 50-step PGD(RA)和 AutoAttack(RA-AA);ϵ=8/255(CIFAR-10/100)、ϵ=2/255(TinyImageNet/ImageNet)。
    • 指标:RA、SA、GFLOPS;结果为 3 次独立实验的均值±标准差。
    • 剖析实验:Figure 3–5 在 CIFAR-10、ResNet-18 上进行,评测基于 10000 个测试样本。

    主结果

    据 Table 1(RA 为 50-step PGD 下结果,单位 %):

    表格较宽,可左右滑动

    数据集骨干AT (Dense)AT (S-Dense)AT (Sparse)AT (MoE)AdvMoE
    CIFAR-10ResNet-1850.1348.1247.9345.5751.83
    CIFAR-10WRN-28-1051.7550.6648.9546.7355.73
    CIFAR-10VGG-1646.1945.7246.1343.3749.82
    CIFAR-10DenseNet44.5238.0737.7335.2139.97
    CIFAR-100ResNet-1827.2326.4126.1322.7228.05
    CIFAR-100WRN-28-1027.9026.3025.8322.9428.82
    TinyImageNetResNet-1838.1736.2936.1134.4139.99
    ImageNetWRN-28-1045.1341.7239.8837.4246.82

    (Table 1 共 16 组数据-骨干组合,上表省略 CIFAR-100 的 VGG-16/DenseNet、TinyImageNet 的 WRN-28-10 和 ImageNet 的 ResNet-18 四组;其中 CIFAR-100、VGG-16 上 AdvMoE 的 RA 为 21.21%,低于 AT (Dense) 的 22.37%,是 AdvMoE 未超过 Dense 的反例之一。)

    • 作者解读一:作者称 AdvMoE 在所有数据-模型组合上 RA 超过全部同规模基线约 1%∼5%,并在多数组合上超过 AT (Dense) 约 1%∼4%(Dense 推理规模是 MoE 路径的两倍)。
    • 作者解读二:作者称 AdvMoE 偏好更宽的模型——WRN-28-10 上在全部四个数据集都超过 Dense;AT (MoE) 在所有组合上差于 AT (S-Dense) 和 AdvMoE,与第 4 节剖析一致。
    • 效率:AdvMoE 的 GFLOPS 与 AT (MoE) 相同,相对 Dense 降低 57%–72%(Table 1);SA 与基线大体相当,个别组合更高(如 CIFAR-10、WRN-28-10 上 84.32% 为全表最高)。

    AutoAttack 评测

    • 测了什么:Table 2 在 CIFAR-10/100、ResNet-18/WRN-28-10 上用 AutoAttack 复测(RA-AA),其余设置同 Table 1。
    • 结果:RA-AA 普遍低于 RA-PGD,但 AdvMoE 仍一致领先同规模基线,如 CIFAR-10、ResNet-18 上 RA-AA 为 45.13%(AT (S-Dense) 42.24%、AT (MoE) 40.42%),与 AT (Dense) 的 44.72% 持平;CIFAR-100、ResNet-18 上 23.33% 高于 AT (Dense) 的 23.11%。
    • 作者解读:作者称在更强的集成攻击评测下 AdvMoE 的优势保持。

    路由器效用与专家利用分析

    • 测了什么:Figure 6 在 ResNet-18、CIFAR-100 上比较 AdvMoE/AT (MoE) 生成的输入相关路径与 AT (Sparse) 静态掩码路径的 IoU 分布(干净与对抗测试集分别绘制)。
    • 结果:AdvMoE 的 IoU 分布比 AT (MoE) 更靠近 0,且分布更分散、峰值更低;AT (MoE) 的干净与对抗数据分布交集更大。图上仅可见分布位置与形状,具体数值未标注。
    • 作者解读:作者称 AdvMoE 能重建与输入无关掩码差异更大的输入相关路径,路由器对对抗扰动更不脆弱,且能把输入分配到更多样的路径、更充分利用专家。

    专家数 N 与模型规模 r 的耦合

    • Figure 7(CIFAR-10、ResNet-18):作者称存在有效区间(如 N<8 且 r∈[0.5,0.9])使 AdvMoE 超过 AT (Dense);N=10、r=0.8 时路径多样性增大使路由器鲁棒化变难,性能受损;N≥8 且 r<0.5 时性能明显偏离 AT (Dense)。
    • Figure 8 / Table A2(r∈{0.2,0.5,0.8}):AdvMoE 在各 r 下均超过全部基线(含 Dense),且提升随 r 增大而增大,如 CIFAR-10、WRN-28-10 上 r=0.2 时 RA 54.02%、r=0.8 时 56.07%;但 r 增大带来 GFLOPS 上升,作者称 r=0.5 是性能与效率的折中,故设为默认。

    MoE-ViT 扩展实验

    • 测了什么:Table 3 在 ImageNet、DeiT-Tiny 的 MoE-ViT 上对比 SOTA 基线 [30],设置同 Table 1。
    • 结果:AdvMoE 的 RA 为 45.93%,高于 SOTA 的 44.63%;SA 61.67% 对 61.72%,GFLOPS 均为 0.27。
    • 作者解读:作者称 AdvMoE 对 MoE-ViT 同样适用,RA 提升超过 1%,具有算法通用性的潜力,更全面的研究留待未来。

    其他消融与分析

    • 训练攻击步数(Table A1):训练扰动从 2-step 增至 10-step PGD,AdvMoE 仍领先,如 CIFAR-10、ResNet-18 上 RA 52.22%、RA-AA 46.44%。
    • 训练轨迹(Figure A2):CIFAR-10 上 ResNet-18 与 WRN-28-10 的 SA/RA 曲线显示 AdvMoE 在 100 epochs 内收敛。
    • 负面结果:AT (MoE) 在所有 16 组组合上均为同规模基线中最低(Table 1);CIFAR-100、VGG-16 上 AdvMoE 的 RA(21.21%)低于 AT (Dense)(22.37%),作者未对该反例给出专门解释。
  5. 有什么可以进一步探索的点?

    作者承认训练开销约为 vanilla AT 两倍且缺乏收敛性证明;实验覆盖 4 种 CNN 骨干、4 个数据集和 PGD/AutoAttack 两类评测。

    作者指出的局限与后续方向

    • 训练开销:作者承认 AdvMoE 因交替优化每步需两次反向传播,所需计算量约为 vanilla AT 基线的两倍,解决该效率问题是有意义的未来方向(Sec. 6 Conclusion)。
    • 收敛性理论缺失:由于双层优化的上下层目标均非凸,作者称难以证明 AdvMoE 的收敛性,现有 BLO 理论分析多依赖下层强凸假设(Sec. 4)。
    • MoE-ViT 研究初步:作者称对 MoE-ViT 仅做了扩展性验证,更全面的研究留待未来(Sec. 5.2,Table 3 处)。
    • 大 N 小 r 的失效区间:作者称专家数较大(如 N=10)会加大路由器鲁棒化难度,N≥8 且 r<0.5 时 AdvMoE 性能明显偏离 AT (Dense),默认取 N=2、r=0.5 作为折中(Sec. 5.2,Figure 7 处)。

    实验覆盖范围

    • 被测模型:CNN 骨干为 ResNet-18、WRN-28-10、VGG-16、DenseNet 共 4 个;MoE-ViT 扩展实验仅用 DeiT-Tiny 一个骨干(Table 3)。
    • 数据集与攻击:评测覆盖 CIFAR-10、CIFAR-100、TinyImageNet、ImageNet;对抗评测为 50-step PGD 和 AutoAttack(后者只在 CIFAR-10/100、ResNet-18/WRN-28-10 上做,Table 2),扰动为 ℓ∞ 范数、ϵ=8/255 或 2/255。
    • 重复次数:主结果报告 3 次独立实验的均值和标准差(Table 1)。
    • 超参覆盖:model scale 消融覆盖 r∈{0.2,0.5,0.8}(Table A2),专家数分析覆盖 N∈{2,5,8,10}(Figure 7),训练攻击步数消融覆盖 2-step 与 10-step PGD(Table A1)。
    • 论文未报告:各数据集的样本量、AdvMoE 的具体训练耗时或 wall-clock 对比(仅给出相对 vanilla AT 约两倍计算量的说法)。
  6. 总结一下论文的主要内容

    作者提出面向 MoE-CNN 的双层优化对抗训练框架 AdvMoE,报告其在 4 骨干 × 4 数据集上 RA 超 AT(Dense) 约 1%∼4% 且推理成本降超 50%。

    一篇面向稀疏 MoE-CNN 对抗鲁棒性的防御论文,提出路由器-专家交替对抗训练框架 AdvMoE。

    • 要解决的问题:稀疏 MoE 让 CNN 推理更高效,但作者发现常规对抗训练(TRADES)直接用于 MoE-CNN 时失效——CIFAR-10、ResNet-18 上 AT 后的 MoE-CNN 的 RA(45.57%)低于参数量更小的 AT 后 S-Dense(48.12%)(Table 1)。
    • 方法要点:作者把 MoE-CNN 鲁棒性拆成路由器与专家路径两个维度,三组剖析实验表明二者鲁棒性相互耦合却无法自动保持(Insight 1–3);据此用双层优化把路由器作为下层变量、骨干作为上层变量交替做 TRADES 训练,不引入额外超参数。
    • 主要结果:
      • 在 4 种 CNN 骨干 × 4 个数据集上,作者报告 AdvMoE 的 RA 超过全部同规模基线约 1%∼5%,多数组合超过 AT (Dense) 约 1%∼4%,如 CIFAR-10、WRN-28-10 上 RA 55.73% 对 Dense 的 51.75%(Table 1)。
      • GFLOPS 相对 Dense 降低 57%–72%,保留了 MoE 的效率优势(Table 1)。
      • AutoAttack 评测下优势保持,如 CIFAR-10、ResNet-18 上 RA-AA 45.13%,高于同规模基线(Table 2)。
      • 扩展到 MoE-ViT(ImageNet、DeiT-Tiny):RA 45.93%,比 SOTA 基线高 1.30 个百分点(Table 3)。
      • 反例:CIFAR-100、VGG-16 上 AdvMoE 的 RA(21.21%)低于 AT (Dense)(22.37%)。
    • 作者的结论与启示:作者称 AdvMoE 是面向 MoE-CNN 的鲁棒训练框架,能让路由器与路径协同适应;同时承认其训练计算量约为 vanilla AT 的两倍、缺乏收敛性证明,提升训练效率和对 MoE-ViT 的全面研究是未来方向。

相关论文

共同使用 TinyImageNet
再看 3 篇
共同使用 TinyImageNet
阅读原文ICCV 2023