稀疏模型，稀疏安全：MoE 大语言模型中的不安全路由
Sparse Models, Sparse Safety: Unsafe Routes in Mixture-of-Experts LLMs
论文速读
据论文全文整理（AI 生成），以原文为准
研究者提出 MoE 大语言模型存在“不安全路由”这一结构性漏洞：特定的稀疏路由配置一旦被激活，就会把原本拒答的有害问题转为有害输出。
- MoE 大模型通过 router 稀疏激活专家以降低计算成本，但此前研究多关注性能与效率，忽视了这种稀疏结构带来的安全风险。作者提出 MoE 的安全性可能与其架构一样稀疏，即存在可被利用的 unsafe routes。
- 作者先提出 RoSais 指标，量化每层 router 对安全的重要性，通过随机掩码高 RoSais 的 router 把安全输出翻转为有害输出；再提出 F-SOUR 框架，按 token 和 layer 逐层搜索具体的 unsafe route，不修改专家权重。
- 在 DeepSeek-V2-Lite 上仅掩码 5 个 router，JailbreakBench 的 ASR 从 0.15 升到 0.79；F-SOUR 在四个 MoE 模型家族上平均 ASR 达 0.90（JailbreakBench）和 0.98（AdvBench），优于 GCG、TAP、SAFEx、SteerMoE 等基线。
- 作者只评估了每个 MoE 家族的一个代表模型，RoSais 仅用 affirmative token 最大对数概率增益这一简单信号，掩码方式可能低估攻击面，F-SOUR 的随机化与尝试次数有预算限制，且方法假设可白盒访问 routing scores，可能不适用于闭源 API。
研究者提出 MoE 大语言模型存在“不安全路由”这一结构性漏洞：特定的稀疏路由配置一旦被激活，就会把原本拒答的有害问题转为有害输出。作者先提出 RoSais 指标量化每层路由器对安全的重要性，发现安全关键路由器集中在少数层；在 JailbreakBench 上仅遮蔽 DeepSeek-V2-Lite 的 5 个路由器，攻击成功率就从 0.15 升到 0.79，提升超过 4 倍。随后提出 F-SOUR 框架，按 token 和层逐步搜索具体的不安全路由，在 DeepSeek-V2-Lite、Mixtral-8x7B、OLMoE-1B-7B 和 Qwen1.5-MoE-A2.7B 四个 MoE 模型家族上，于 JailbreakBench 和 AdvBench 分别取得平均 0.90 和 0.98 的攻击成功率。
推荐理由论文把 MoE 的路由选择本身当作攻击面，给出可复现的路由操纵方法，为开源 MoE 模型的安全评估提供了新维度。