跳到正文
原文

CertMoE:通过路由感知平滑为 MoE 大语言模型提供鲁棒性认证

CertMoE: Robustness Certification for Mixture-of-Experts LLMs via Routing-Aware Smoothing

arXiv· arXiv:2610.29395· Qingyue Wang, Yudong Gao, Lixia Wang, Ruixuan Huang, Yuanyuan Yuan, Yangqiu Song, Shuai WangThe Hong Kong University of Science and Technology; Academy of Mathematics and Systems Science, Chinese Academy of Sciences; Tsinghua University本站收录· 29 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出CertMoE,为MoE LLM做路由感知的鲁棒性认证;作者称现有证书在SST-2上违规率超30%,CertMoE可将其降至0。

威胁模型认证方设定:对文本分类MoE LLM,在token级Hamming距离扰动球B(x,d)内保证预测不变;用TextBugger、DeepWordBug、TextFooler三种标准攻击在认证半径内寻找反例,以违规率(VR)衡量证书可靠性。

问题
现有鲁棒性认证假设计算图固定,而MoE LLM的路由随输入变化,作者称这使已签发证书在SST-2上超过30%被攻击推翻,认证结果不可靠。
方法
提出CertMoE:先认证扰动下Top-K路由被包含在Top-Z认证专家池内(ρ-relaxed),再在受限诱导子网络上做输出级平滑认证,用union bound合并两级半径。
实验与结果
在SST-2和AGNews上、三个MoE LLM中,作者报告CertMoE将VR从基线的最高39.33%降至多为个位数或0,代价是CR下降;ρ过大会使VR回升。
局限与可以继续做的
作者指出评测限于文本分类和代表性MoE LLM,推广到其他架构或生成任务需进一步研究;每数据集仅100个测试样本,VR由三种攻击近似。
实验设置Qwen1.5-MoE-A2.7B、DeepSeek-V2-Lite 等 · SST-2、AGNews · CR(certified ratio)、VR(violation rate) 等
被测模型
Qwen1.5-MoE-A2.7BDeepSeek-V2-LitePhi-3.5-MoE-Instruct
基准
SST-2AGNews
指标
CR(certified ratio)VR(violation rate)p-valuecertified radius
AI 导读论文提出 CertMoE,一个面向 MoE 大语言模型的路由感知鲁棒性认证框架,作者称这是首个在认证中显式考虑输入诱导路由动态的框架。现有认证框架通常假设计算图固定,而 MoE 的输入依赖路由会带来离散且动态的执行路径,使认证对象从单一固定函数变为输入依赖子函数的组合,导致认证保证不可靠。CertMoE 引入松弛的路由包含判据,认证扰动后的 Top-K 路由被包含在更大的认证专家池中,再构造相应的诱导子网络并认证其预测一致性,从而给出路由包含与子网络鲁棒性的联合概率保证。在近期 MoE 大语言模型上的实验显示,动态路由使既有方法签发的证书频繁被违反,CertMoE 将经验违反率从超过 30% 降到 0。

论文提出 CertMoE,一个面向 MoE 大语言模型的路由感知鲁棒性认证框架,作者称这是首个在认证中显式考虑输入诱导路由动态的框架。现有认证框架通常假设计算图固定,而 MoE 的输入依赖路由会带来离散且动态的执行路径,使认证对象从单一固定函数变为输入依赖子函数的组合,导致认证保证不可靠。CertMoE 引入松弛的路由包含判据,认证扰动后的 Top-K 路由被包含在更大的认证专家池中,再构造相应的诱导子网络并认证其预测一致性,从而给出路由包含与子网络鲁棒性的联合概率保证。在近期 MoE 大语言模型上的实验显示,动态路由使既有方法签发的证书频繁被违反,CertMoE 将经验违反率从超过 30% 降到 0。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    现有认证假设计算图固定,与MoE动态路由冲突,作者称其证书在SST-2上超30%被推翻。

    核心问题:如何为路由随输入变化的MoE LLM提供有意义的可证明鲁棒性认证。

    • 问题场景:MoE架构被Gemini、Deepseek、Grok等系统采用,并进入漏洞检测与修复等安全敏感任务;作者认为在此类部署中,对MoE LLM建立可靠的鲁棒性保证变得紧迫。
    • 现有方法不足:作者指出,现有认证技术(区间界传播、抽象解释、符号执行、随机平滑)都假设被认证模型的计算图固定,可表示为单一不变函数;MoE的输入依赖路由使同一认证区域对应不同的输入依赖子函数,证书因此变得随意(arbitrary)。
    • 核心观察:作者在SST-2上的初步测量显示,DeepSeek-V2-Lite和Qwen1.5-MoE-A2.7B中超过50%的token在扰动下发生Top-K路由翻转(Fig. 2);且现有方法签发的证书中超过30%可被标准攻击在认证区域内推翻(Sec. I、Sec. V-C)。
    • 论文提出:CertMoE,作者称其为首个路由感知的MoE LLM鲁棒性认证框架:先认证扰动路由被包含在扩大的认证专家池内,再认证诱导子网络的预测一致性,用union bound合成联合概率保证。
    • 威胁模型:
      • 扰动空间:token级扰动,以Hamming距离定义扰动球B(x,d)(Sec. II)。
      • 防护对象:文本分类任务中的MoE LLM,鲁棒性定义为标签不变。
      • 检验方式:用TextBugger、DeepWordBug、TextFooler三种标准攻击在认证半径内寻找反例,衡量证书是否被违反。
      • 定位:按需调用的认证工具,仅在请求证书时运行,不改变标准MoE推理。
  2. 有哪些相关研究?

    相关工作分MoE架构、认证方法、MoE鲁棒性分析三类;基线为RanMASK与SelfDenoise。

    MoE LLM架构

    • Switch Transformer(JMLR 2022)、Deepseek-V2(2024)——以MoE高效扩展LLM的代表系统;Mixtral of experts(2024)采用Top-K路由。论文以此说明MoE已广泛应用。

    鲁棒性认证方法

    • 确定性认证:IBP(arXiv 2018;ICLR 2024)、抽象解释AI2(IEEE S&P 2018)、符号执行(USENIX Security 2018)——提供可证明保证,但作者指出这类方法在现代深度模型上面临可扩展性挑战。
    • 随机平滑:Cohen et al.(ICML 2019)提出随机平滑认证;DiffSmooth(USENIX Security '23)、RanMASK(ACL '23)、SelfDenoise(NAACL '24)将其扩展到文本与LLM规模。论文采用这一范式,因其兼容离散token扰动且适用于LLM规模模型。
    • 论文在Table I中定位:IBP/线性松弛、抽象解释、求解器验证类方法不具备LLM规模适用性;随机平滑类不具备动态计算图处理能力。

    MoE鲁棒性分析

    • RobMoE(NeurIPS '22)——分析路由结构、专家相似度、专家冗余对稀疏MoE鲁棒性的影响;AdvMoE(ICCV '23)——CNN的鲁棒MoE训练;JTDMoE(ICML '25)——从输出敏感性与鲁棒训练角度优化MoE。作者指出这些工作主要分析鲁棒性因素或改进训练时鲁棒性,如何对MoE模型做认证仍不清楚。
    • Gatebreaker(2026)、Safex(NeurIPS 2025)——路由相关研究,论文称受其启发将token级路由聚合为句子级路由。

    基线与基准

    • 基线方法:RanMASK(随机mask单词并多数投票的文本随机平滑)和SelfDenoise(利用LLM先去噪再预测);视觉域平滑方法(如DiffSmooth)未纳入,论文说明其理论保证针对连续视觉扰动空间。
    • 基准:SST-2(二分类情感)与AGNews(四分类主题),攻击用TextAttack工具包的TextBugger、DeepWordBug、TextFooler。

    作者将CertMoE定位为把验证式认证从固定计算图扩展到具有输入依赖执行路径的LLM规模MoE模型(Table I中唯一同时满足形式保证、LLM规模、动态计算图三项)。

  3. 论文如何解决这个问题?

    CertMoE分两级:认证Top-K路由含于Top-Z专家池,再认证诱导子网络输出稳定,union bound合并。

    整体思路:CertMoE 将MoE认证分解为路由包含认证与诱导子网络认证两级,后者可接入现有输出级认证器,最后用union bound合成端到端保证(Fig. 3)。

    问题设定

    • 文本分类,输入x经扰动球 B(x,d)={x′ ∣ ‖ x−x′ ‖0 ≤ d}(Hamming距离),要求半径d内预测不变。
    • 采用masking随机平滑:保留s=⌊(1−m)·n⌋个token、其余替换为[MASK],平滑分类器取多次采样mask下的多数投票。

    路由包含认证

    • 将token级路由聚合为句子级:统计各token Top-K中专家出现次数再取Top-K,避免随序列长度和深度增长的认证空间。
    • 定义平滑路由概率qe(x):随机mask下专家e被选中的概率,避免枚举全部Top-K子集组合。
    • 提出ρ-relaxed路由包含:Z=⌈ρN⌉(Z≥K),要求扰动下Top-K仍落在Top-Z认证专家池TZ(x)内;作者称精确Top-K不变过于严格,因专家可能冗余、token级路由本身输入依赖。
    • Theorem 1给出充分条件:mine∈ TK qe(x) − maxj∉ TZ qj(x) > 2βΔr 时,以至少1−α概率有TK(x′)⊆TZ(x);其中∆r是采样mask至少含一个扰动位置的概率,β是该条件下路由概率的最坏情况偏移。

    诱导子网络认证

    • 诱导子网络fsub:每层router照常计算logits,但池外专家的logits被屏蔽,仅在认证池内做Top-K;路由包含成立时fsub与原MoE输出一致。
    • Theorem 2:平滑子网络预测间隔大于2γ∆sub时,以至少1−δ概率预测不变;γ为mask保留至少一个扰动词时分类器预测某类的条件概率。

    联合保证与算法

    • Corollary 1:最终认证半径dMoE = min(各层路由半径dr的最小值, 子网络半径dsub),失败概率不超过Lα+δ(union bound)。
    • Algorithm 1:Monte Carlo采样加Clopper-Pearson置信界估计平滑路由与类别概率;预测不正确时弃权(abstain)以保持soundness;β、γ由Monte Carlo概率估计。
    • 关键参数:mask比0.2;每次平滑预测100个扰动样本、每个认证界500个样本;总失败概率0.10(置信0.90),CertMoE分配Lα=0.05、δ=0.05;ρ在留出验证集上选取(SST-2:Qwen/DeepSeek取0.2、Phi取0.4;AGNews统一0.6)。
  4. 论文做了哪些实验?

    三个MoE LLM×两个数据集:基线VR在SST-2常超30%,CertMoE多降至个位数或0,CR相应下降。

    实验设置

    • 被测模型:Qwen1.5-MoE-A2.7B(24层、Top-4、60专家)、DeepSeek-V2-Lite(27层、Top-6、64+2专家)、Phi-3.5-MoE-Instruct(32层、Top-2、16专家)(Table II)。
    • 数据集:SST-2(二分类情感)、AGNews(四分类主题);每数据集随机选100个测试样本,所有方法用同一子集。
    • 基线:RanMASK、SelfDenoise(用Qwen3-8B做去噪),及其各自的CertMoE增强版。
    • 指标:CR(非零证书比例)、VR(认证区域内被攻击找到反例的证书比例,分DB/TF/TB三种攻击及聚合VR)、p-value(单侧精确二项检验,H0: p≤0.1)。
    • 攻击:TextBugger、DeepWordBug、TextFooler,TextAttack默认设置,攻击预算为di个词修改。
    • 采样:每次平滑预测100个扰动样本,每个认证界500个样本;mask比0.2;置信水平0.90。

    主结果

    据Table III(CR为比例,VR为百分比):

    表格较宽,可左右滑动

    模型方法SST-2 CRSST-2 VRAGNews CRAGNews VR
    Qwen1.5-MoERanMASK0.9432.980.8910.11
    Qwen1.5-MoE+CertMoE0.646.250.786.41
    Qwen1.5-MoESelfDenoise0.9638.540.8417.86
    Qwen1.5-MoE+CertMoE0.4211.900.8117.28
    DeepSeek-V2-LiteRanMASK0.8939.330.7230.13
    DeepSeek-V2-Lite+CertMoE0.449.090.316.45
    DeepSeek-V2-LiteSelfDenoise0.8639.130.6513.85
    DeepSeek-V2-Lite+CertMoE0.220.000.3611.11
    Phi-3.5-MoERanMASK0.9436.170.897.87
    Phi-3.5-MoE+CertMoE0.380.000.270.00
    Phi-3.5-MoESelfDenoise0.9035.560.8920.22
    Phi-3.5-MoE+CertMoE0.310.000.260.00
    • 作者称基线方法CR较高但VR在SST-2上频繁超过30%,p值低至1.25×10⁻¹³,认为违规反映认证与动态路由的系统性错配而非随机波动。
    • 作者称CertMoE以更低CR换取更可靠的证书;AGNews上VR普遍低于SST-2,作者认为可能因为四类主题标签在小半径内更难改变。
    • 例外:SelfDenoise+CertMoE在部分组合上残余违规仍统计显著(如AGNews上Qwen为17.28、p=0.0295),作者认为可能因为去噪重写引入路由动态之外的额外变化。

    扰动强度与参数敏感性(RQ2)

    • 扰动强度:Fig. 4显示在DeepSeek-V2-Lite和Qwen1.5-MoE的SST-2设置上,基线在各扰动强度下VR持续偏高,加入CertMoE后各强度下VR均降低(图中仅可读此趋势,未标注具体数值)。
    • 专家池比ρ(Table IV,SST-2、Qwen1.5-MoE、RanMASK):Z=K时无输入被认证;ρ=0.2时CR 0.64、VR 6.25;ρ=0.4时CR 0.69、VR 44.93;ρ=0.6时CR 0.84、VR 48.19;ρ=0.8时CR 0.93、VR 40.86。作者称ρ控制认证宽松度与可靠性的权衡。
    • mask比(Table V,同设置):mo=0.4、mr=0.6时CertMoE的VR(DB/TF/TB)为0.00/0.00/0.00,而RanMASK在mo=0.4时VR(TF)为34.07;作者称仅调mask比不能解决基线的可靠性问题。

    失败归因与案例(RQ3)

    • 弃权分解(Fig. 5,SST-2、ρ=0.2):样本分为certified、sub-network abstain、routing-containment abstain三类;作者称路由包含弃权随模型规模上升,且在SelfDenoise下被放大,认为路由认证是预测认证之前必要的检查点。
    • 案例(Table VI,Qwen1.5-MoE、SST-2五个样本):RanMASK对五个样本均签发证书且均被认证半径内的对抗样本推翻;CertMoE对前三个弃权(两个归因子网络、一个归因路由包含),对后两个维持认证且未找到反例。

    计算开销(RQ4)

    • 运行时(Fig. 6,SST-2与AGNews、三模型):作者称CertMoE总运行时大致为RanMASK的两倍;多数设置中RC Cert占主要份额,AGNews上Qwen的SN Cert成为主要开销,Phi因多数样本在RC阶段被拒而SN开销低。
    • 显存:作者称额外持久内存为O(LN+LZ)的路由统计量,相对模型参数可忽略,不增加峰值GPU显存。

    其他消融与分析

    • 无其他独立消融;ρ、mask比、弃权分解、运行时分解已在上文列出。
  5. 有什么可以进一步探索的点?

    作者列出有效性威胁与三个扩展方向;评测限于两个分类数据集、三个MoE模型、每集100样本。

    作者指出的局限与后续方向

    • 指标与扰动模型绑定,不应被解释为对任意文本攻击的鲁棒性(Sec. VI Threats to Validity)。
    • 评测聚焦于文本分类和代表性MoE LLM,推广到其他架构或生成任务需要进一步研究(Sec. VI)。
    • 运行时是硬件和实现相关的,仅用于相对成本比较(Sec. VI)。
    • 将CertMoE扩展到序列生成任务(把生成看作逐步分类)是有前景的未来方向(Sec. VI Extension to Generation Tasks)。
    • 扩展到其他模态(如视觉MoE,用patch/pixel级扰动替代文本mask),主要挑战在于认证主干与模态特定扰动空间的匹配(Sec. VI)。
    • 将路由包含与预测稳定引入训练目标、设计路由感知的认证训练方法,留作未来工作(Sec. VI Certified Training for MoE)。

    实验覆盖范围

    • 被测模型为Qwen1.5-MoE-A2.7B、DeepSeek-V2-Lite、Phi-3.5-MoE-Instruct共3个,均为文本分类设置(Sec. V-A)。
    • 数据集为SST-2与AGNews,每数据集随机选100个测试样本,论文说明原因是随机平滑认证计算成本高(Sec. V-A)。
    • 基线为RanMASK与SelfDenoise两种文本域平滑方法;视觉域平滑方法未纳入,论文说明其保证针对连续视觉扰动空间(Sec. V-A)。
    • VR由TextBugger、DeepWordBug、TextFooler三种攻击近似,论文说明攻击只探索认证区域的子集,VR应解释为攻击观察到的经验违规率(Sec. V-B)。
    • 论文未报告每个VR数值对应的对抗候选数T的具体取值,也未报告重复实验次数。
  6. 总结一下论文的主要内容

    CertMoE把MoE认证拆成路由包含与子网络输出两级;作者称VR从超30%降至多为个位数或0。

    一篇关于MoE LLM可证明鲁棒性的认证方法论文。

    • 问题:作者指出现有认证方法假设计算图固定,而MoE的Top-K路由随输入变化,使被认证对象变成输入依赖的函数组合;初步测量显示扰动下超过50%的token发生路由翻转(Fig. 2),现有证书在SST-2上超过30%被攻击推翻。
    • 方法:CertMoE 先将token级路由聚合为句子级并做平滑,认证扰动下Top-K路由被包含在Top-Z认证专家池内(ρ-relaxed,Theorem 1);再把候选专家限制在池内构造诱导子网络,用现有平滑认证器认证其输出稳定(Theorem 2);最终以union bound合成半径dMoE,失败概率不超过Lα+δ。
    • 主结果(Table III,三个MoE LLM、SST-2/AGNews、各100样本):基线RanMASK/SelfDenoise在SST-2上VR为32.98%–39.33%,CertMoE增强后降至0–11.90%;Phi-3.5-MoE上两种基线加CertMoE后VR均为0.00;代价是CR下降(如DeepSeek-V2-Lite上SelfDenoise从0.86降至0.22)。
    • 权衡与归因:ρ=0.2时VR为6.25,ρ增大到0.6时VR升至48.19(Table IV),作者称ρ控制认证宽松度与可靠性的权衡;弃权分解(Fig. 5)与案例(Table VI)显示CertMoE能将失败归因到路由包含或子网络组件。
    • 开销:作者称按需认证时运行时约为RanMASK的两倍(Fig. 6),额外显存可忽略,不影响标准推理。
    • 作者结论:作者认为路由包含是MoE认证中先于预测认证的必要检查点,CertMoE产出的证书更忠实反映MoE模型的鲁棒性;扩展到生成任务、其他模态和路由感知认证训练是未来方向。

相关论文

共同使用 AGNews
阅读原文arxiv.org