CertMoE:通过路由感知平滑为 MoE 大语言模型提供鲁棒性认证
CertMoE: Robustness Certification for Mixture-of-Experts LLMs via Routing-Aware Smoothing
作者提出CertMoE,为MoE LLM做路由感知的鲁棒性认证;作者称现有证书在SST-2上违规率超30%,CertMoE可将其降至0。
认证方设定:对文本分类MoE LLM,在token级Hamming距离扰动球B(x,d)内保证预测不变;用TextBugger、DeepWordBug、TextFooler三种标准攻击在认证半径内寻找反例,以违规率(VR)衡量证书可靠性。
- 现有鲁棒性认证假设计算图固定,而MoE LLM的路由随输入变化,作者称这使已签发证书在SST-2上超过30%被攻击推翻,认证结果不可靠。
- 提出CertMoE:先认证扰动下Top-K路由被包含在Top-Z认证专家池内(ρ-relaxed),再在受限诱导子网络上做输出级平滑认证,用union bound合并两级半径。
- 在SST-2和AGNews上、三个MoE LLM中,作者报告CertMoE将VR从基线的最高39.33%降至多为个位数或0,代价是CR下降;ρ过大会使VR回升。
- 作者指出评测限于文本分类和代表性MoE LLM,推广到其他架构或生成任务需进一步研究;每数据集仅100个测试样本,VR由三种攻击近似。
- 被测模型
- Qwen1.5-MoE-A2.7BDeepSeek-V2-LitePhi-3.5-MoE-Instruct
- 基准
- SST-2AGNews
- 指标
- CR(certified ratio)VR(violation rate)p-valuecertified radius
论文提出 CertMoE,一个面向 MoE 大语言模型的路由感知鲁棒性认证框架,作者称这是首个在认证中显式考虑输入诱导路由动态的框架。现有认证框架通常假设计算图固定,而 MoE 的输入依赖路由会带来离散且动态的执行路径,使认证对象从单一固定函数变为输入依赖子函数的组合,导致认证保证不可靠。CertMoE 引入松弛的路由包含判据,认证扰动后的 Top-K 路由被包含在更大的认证专家池中,再构造相应的诱导子网络并认证其预测一致性,从而给出路由包含与子网络鲁棒性的联合概率保证。在近期 MoE 大语言模型上的实验显示,动态路由使既有方法签发的证书频繁被违反,CertMoE 将经验违反率从超过 30% 降到 0。
深度解读
这篇论文试图解决什么问题?
现有认证假设计算图固定,与MoE动态路由冲突,作者称其证书在SST-2上超30%被推翻。
核心问题:如何为路由随输入变化的MoE LLM提供有意义的可证明鲁棒性认证。
- 问题场景:MoE架构被Gemini、Deepseek、Grok等系统采用,并进入漏洞检测与修复等安全敏感任务;作者认为在此类部署中,对MoE LLM建立可靠的鲁棒性保证变得紧迫。
- 现有方法不足:作者指出,现有认证技术(区间界传播、抽象解释、符号执行、随机平滑)都假设被认证模型的计算图固定,可表示为单一不变函数;MoE的输入依赖路由使同一认证区域对应不同的输入依赖子函数,证书因此变得随意(arbitrary)。
- 核心观察:作者在SST-2上的初步测量显示,DeepSeek-V2-Lite和Qwen1.5-MoE-A2.7B中超过50%的token在扰动下发生Top-K路由翻转(Fig. 2);且现有方法签发的证书中超过30%可被标准攻击在认证区域内推翻(Sec. I、Sec. V-C)。
- 论文提出:CertMoE,作者称其为首个路由感知的MoE LLM鲁棒性认证框架:先认证扰动路由被包含在扩大的认证专家池内,再认证诱导子网络的预测一致性,用union bound合成联合概率保证。
- 威胁模型:
- 扰动空间:token级扰动,以Hamming距离定义扰动球B(x,d)(Sec. II)。
- 防护对象:文本分类任务中的MoE LLM,鲁棒性定义为标签不变。
- 检验方式:用TextBugger、DeepWordBug、TextFooler三种标准攻击在认证半径内寻找反例,衡量证书是否被违反。
- 定位:按需调用的认证工具,仅在请求证书时运行,不改变标准MoE推理。
有哪些相关研究?
相关工作分MoE架构、认证方法、MoE鲁棒性分析三类;基线为RanMASK与SelfDenoise。
MoE LLM架构
- Switch Transformer(JMLR 2022)、Deepseek-V2(2024)——以MoE高效扩展LLM的代表系统;Mixtral of experts(2024)采用Top-K路由。论文以此说明MoE已广泛应用。
鲁棒性认证方法
- 确定性认证:IBP(arXiv 2018;ICLR 2024)、抽象解释AI2(IEEE S&P 2018)、符号执行(USENIX Security 2018)——提供可证明保证,但作者指出这类方法在现代深度模型上面临可扩展性挑战。
- 随机平滑:Cohen et al.(ICML 2019)提出随机平滑认证;DiffSmooth(USENIX Security '23)、RanMASK(ACL '23)、SelfDenoise(NAACL '24)将其扩展到文本与LLM规模。论文采用这一范式,因其兼容离散token扰动且适用于LLM规模模型。
- 论文在Table I中定位:IBP/线性松弛、抽象解释、求解器验证类方法不具备LLM规模适用性;随机平滑类不具备动态计算图处理能力。
MoE鲁棒性分析
- RobMoE(NeurIPS '22)——分析路由结构、专家相似度、专家冗余对稀疏MoE鲁棒性的影响;AdvMoE(ICCV '23)——CNN的鲁棒MoE训练;JTDMoE(ICML '25)——从输出敏感性与鲁棒训练角度优化MoE。作者指出这些工作主要分析鲁棒性因素或改进训练时鲁棒性,如何对MoE模型做认证仍不清楚。
- Gatebreaker(2026)、Safex(NeurIPS 2025)——路由相关研究,论文称受其启发将token级路由聚合为句子级路由。
基线与基准
- 基线方法:RanMASK(随机mask单词并多数投票的文本随机平滑)和SelfDenoise(利用LLM先去噪再预测);视觉域平滑方法(如DiffSmooth)未纳入,论文说明其理论保证针对连续视觉扰动空间。
- 基准:SST-2(二分类情感)与AGNews(四分类主题),攻击用TextAttack工具包的TextBugger、DeepWordBug、TextFooler。
作者将CertMoE定位为把验证式认证从固定计算图扩展到具有输入依赖执行路径的LLM规模MoE模型(Table I中唯一同时满足形式保证、LLM规模、动态计算图三项)。
论文如何解决这个问题?
CertMoE分两级:认证Top-K路由含于Top-Z专家池,再认证诱导子网络输出稳定,union bound合并。
整体思路:CertMoE 将MoE认证分解为路由包含认证与诱导子网络认证两级,后者可接入现有输出级认证器,最后用union bound合成端到端保证(Fig. 3)。
问题设定
- 文本分类,输入x经扰动球 B(x,d)={x′ ∣ ‖ x−x′ ‖0 ≤ d}(Hamming距离),要求半径d内预测不变。
- 采用masking随机平滑:保留s=⌊(1−m)·n⌋个token、其余替换为[MASK],平滑分类器取多次采样mask下的多数投票。
路由包含认证
- 将token级路由聚合为句子级:统计各token Top-K中专家出现次数再取Top-K,避免随序列长度和深度增长的认证空间。
- 定义平滑路由概率qe(x):随机mask下专家e被选中的概率,避免枚举全部Top-K子集组合。
- 提出ρ-relaxed路由包含:Z=⌈ρN⌉(Z≥K),要求扰动下Top-K仍落在Top-Z认证专家池TZ(x)内;作者称精确Top-K不变过于严格,因专家可能冗余、token级路由本身输入依赖。
- Theorem 1给出充分条件:mine∈ TK qe(x) − maxj∉ TZ qj(x) > 2βΔr 时,以至少1−α概率有TK(x′)⊆TZ(x);其中∆r是采样mask至少含一个扰动位置的概率,β是该条件下路由概率的最坏情况偏移。
诱导子网络认证
- 诱导子网络fsub:每层router照常计算logits,但池外专家的logits被屏蔽,仅在认证池内做Top-K;路由包含成立时fsub与原MoE输出一致。
- Theorem 2:平滑子网络预测间隔大于2γ∆sub时,以至少1−δ概率预测不变;γ为mask保留至少一个扰动词时分类器预测某类的条件概率。
联合保证与算法
- Corollary 1:最终认证半径dMoE = min(各层路由半径dr的最小值, 子网络半径dsub),失败概率不超过Lα+δ(union bound)。
- Algorithm 1:Monte Carlo采样加Clopper-Pearson置信界估计平滑路由与类别概率;预测不正确时弃权(abstain)以保持soundness;β、γ由Monte Carlo概率估计。
- 关键参数:mask比0.2;每次平滑预测100个扰动样本、每个认证界500个样本;总失败概率0.10(置信0.90),CertMoE分配Lα=0.05、δ=0.05;ρ在留出验证集上选取(SST-2:Qwen/DeepSeek取0.2、Phi取0.4;AGNews统一0.6)。
论文做了哪些实验?
三个MoE LLM×两个数据集:基线VR在SST-2常超30%,CertMoE多降至个位数或0,CR相应下降。
实验设置
- 被测模型:Qwen1.5-MoE-A2.7B(24层、Top-4、60专家)、DeepSeek-V2-Lite(27层、Top-6、64+2专家)、Phi-3.5-MoE-Instruct(32层、Top-2、16专家)(Table II)。
- 数据集:SST-2(二分类情感)、AGNews(四分类主题);每数据集随机选100个测试样本,所有方法用同一子集。
- 基线:RanMASK、SelfDenoise(用Qwen3-8B做去噪),及其各自的CertMoE增强版。
- 指标:CR(非零证书比例)、VR(认证区域内被攻击找到反例的证书比例,分DB/TF/TB三种攻击及聚合VR)、p-value(单侧精确二项检验,H0: p≤0.1)。
- 攻击:TextBugger、DeepWordBug、TextFooler,TextAttack默认设置,攻击预算为di个词修改。
- 采样:每次平滑预测100个扰动样本,每个认证界500个样本;mask比0.2;置信水平0.90。
主结果
据Table III(CR为比例,VR为百分比):
表格较宽,可左右滑动
模型 方法 SST-2 CR SST-2 VR AGNews CR AGNews VR Qwen1.5-MoE RanMASK 0.94 32.98 0.89 10.11 Qwen1.5-MoE +CertMoE 0.64 6.25 0.78 6.41 Qwen1.5-MoE SelfDenoise 0.96 38.54 0.84 17.86 Qwen1.5-MoE +CertMoE 0.42 11.90 0.81 17.28 DeepSeek-V2-Lite RanMASK 0.89 39.33 0.72 30.13 DeepSeek-V2-Lite +CertMoE 0.44 9.09 0.31 6.45 DeepSeek-V2-Lite SelfDenoise 0.86 39.13 0.65 13.85 DeepSeek-V2-Lite +CertMoE 0.22 0.00 0.36 11.11 Phi-3.5-MoE RanMASK 0.94 36.17 0.89 7.87 Phi-3.5-MoE +CertMoE 0.38 0.00 0.27 0.00 Phi-3.5-MoE SelfDenoise 0.90 35.56 0.89 20.22 Phi-3.5-MoE +CertMoE 0.31 0.00 0.26 0.00 - 作者称基线方法CR较高但VR在SST-2上频繁超过30%,p值低至1.25×10⁻¹³,认为违规反映认证与动态路由的系统性错配而非随机波动。
- 作者称CertMoE以更低CR换取更可靠的证书;AGNews上VR普遍低于SST-2,作者认为可能因为四类主题标签在小半径内更难改变。
- 例外:SelfDenoise+CertMoE在部分组合上残余违规仍统计显著(如AGNews上Qwen为17.28、p=0.0295),作者认为可能因为去噪重写引入路由动态之外的额外变化。
扰动强度与参数敏感性(RQ2)
- 扰动强度:Fig. 4显示在DeepSeek-V2-Lite和Qwen1.5-MoE的SST-2设置上,基线在各扰动强度下VR持续偏高,加入CertMoE后各强度下VR均降低(图中仅可读此趋势,未标注具体数值)。
- 专家池比ρ(Table IV,SST-2、Qwen1.5-MoE、RanMASK):Z=K时无输入被认证;ρ=0.2时CR 0.64、VR 6.25;ρ=0.4时CR 0.69、VR 44.93;ρ=0.6时CR 0.84、VR 48.19;ρ=0.8时CR 0.93、VR 40.86。作者称ρ控制认证宽松度与可靠性的权衡。
- mask比(Table V,同设置):mo=0.4、mr=0.6时CertMoE的VR(DB/TF/TB)为0.00/0.00/0.00,而RanMASK在mo=0.4时VR(TF)为34.07;作者称仅调mask比不能解决基线的可靠性问题。
失败归因与案例(RQ3)
- 弃权分解(Fig. 5,SST-2、ρ=0.2):样本分为certified、sub-network abstain、routing-containment abstain三类;作者称路由包含弃权随模型规模上升,且在SelfDenoise下被放大,认为路由认证是预测认证之前必要的检查点。
- 案例(Table VI,Qwen1.5-MoE、SST-2五个样本):RanMASK对五个样本均签发证书且均被认证半径内的对抗样本推翻;CertMoE对前三个弃权(两个归因子网络、一个归因路由包含),对后两个维持认证且未找到反例。
计算开销(RQ4)
- 运行时(Fig. 6,SST-2与AGNews、三模型):作者称CertMoE总运行时大致为RanMASK的两倍;多数设置中RC Cert占主要份额,AGNews上Qwen的SN Cert成为主要开销,Phi因多数样本在RC阶段被拒而SN开销低。
- 显存:作者称额外持久内存为O(LN+LZ)的路由统计量,相对模型参数可忽略,不增加峰值GPU显存。
其他消融与分析
- 无其他独立消融;ρ、mask比、弃权分解、运行时分解已在上文列出。
有什么可以进一步探索的点?
作者列出有效性威胁与三个扩展方向;评测限于两个分类数据集、三个MoE模型、每集100样本。
作者指出的局限与后续方向
- 指标与扰动模型绑定,不应被解释为对任意文本攻击的鲁棒性(Sec. VI Threats to Validity)。
- 评测聚焦于文本分类和代表性MoE LLM,推广到其他架构或生成任务需要进一步研究(Sec. VI)。
- 运行时是硬件和实现相关的,仅用于相对成本比较(Sec. VI)。
- 将CertMoE扩展到序列生成任务(把生成看作逐步分类)是有前景的未来方向(Sec. VI Extension to Generation Tasks)。
- 扩展到其他模态(如视觉MoE,用patch/pixel级扰动替代文本mask),主要挑战在于认证主干与模态特定扰动空间的匹配(Sec. VI)。
- 将路由包含与预测稳定引入训练目标、设计路由感知的认证训练方法,留作未来工作(Sec. VI Certified Training for MoE)。
实验覆盖范围
- 被测模型为Qwen1.5-MoE-A2.7B、DeepSeek-V2-Lite、Phi-3.5-MoE-Instruct共3个,均为文本分类设置(Sec. V-A)。
- 数据集为SST-2与AGNews,每数据集随机选100个测试样本,论文说明原因是随机平滑认证计算成本高(Sec. V-A)。
- 基线为RanMASK与SelfDenoise两种文本域平滑方法;视觉域平滑方法未纳入,论文说明其保证针对连续视觉扰动空间(Sec. V-A)。
- VR由TextBugger、DeepWordBug、TextFooler三种攻击近似,论文说明攻击只探索认证区域的子集,VR应解释为攻击观察到的经验违规率(Sec. V-B)。
- 论文未报告每个VR数值对应的对抗候选数T的具体取值,也未报告重复实验次数。
总结一下论文的主要内容
CertMoE把MoE认证拆成路由包含与子网络输出两级;作者称VR从超30%降至多为个位数或0。
一篇关于MoE LLM可证明鲁棒性的认证方法论文。
- 问题:作者指出现有认证方法假设计算图固定,而MoE的Top-K路由随输入变化,使被认证对象变成输入依赖的函数组合;初步测量显示扰动下超过50%的token发生路由翻转(Fig. 2),现有证书在SST-2上超过30%被攻击推翻。
- 方法:CertMoE 先将token级路由聚合为句子级并做平滑,认证扰动下Top-K路由被包含在Top-Z认证专家池内(ρ-relaxed,Theorem 1);再把候选专家限制在池内构造诱导子网络,用现有平滑认证器认证其输出稳定(Theorem 2);最终以union bound合成半径dMoE,失败概率不超过Lα+δ。
- 主结果(Table III,三个MoE LLM、SST-2/AGNews、各100样本):基线RanMASK/SelfDenoise在SST-2上VR为32.98%–39.33%,CertMoE增强后降至0–11.90%;Phi-3.5-MoE上两种基线加CertMoE后VR均为0.00;代价是CR下降(如DeepSeek-V2-Lite上SelfDenoise从0.86降至0.22)。
- 权衡与归因:ρ=0.2时VR为6.25,ρ增大到0.6时VR升至48.19(Table IV),作者称ρ控制认证宽松度与可靠性的权衡;弃权分解(Fig. 5)与案例(Table VI)显示CertMoE能将失败归因到路由包含或子网络组件。
- 开销:作者称按需认证时运行时约为RanMASK的两倍(Fig. 6),额外显存可忽略,不影响标准推理。
- 作者结论:作者认为路由包含是MoE认证中先于预测认证的必要检查点,CertMoE产出的证书更忠实反映MoE模型的鲁棒性;扩展到生成任务、其他模态和路由感知认证训练是未来方向。