Skip to content

Some text is shown in its original language while the English translation is being prepared.

Original
arXiv· arXiv:2602.08621· Yukun Jiang, Hai Huang, Mingjie Li, Yage Zhang, Michael Backes, Yang Zhang·Indexed by this site · Originally publishedSelectedAttention56

稀疏模型，稀疏安全：MoE 大语言模型中的不安全路由

Sparse Models, Sparse Safety: Unsafe Routes in Mixture-of-Experts LLMs

AI reading guide

研究者提出 MoE 大语言模型存在“不安全路由”这一结构性漏洞：特定的稀疏路由配置一旦被激活，就会把原本拒答的有害问题转为有害输出。作者先提出 RoSais 指标量化每层路由器对安全的重要性，发现安全关键路由器集中在少数层；在 JailbreakBench 上仅遮蔽 DeepSeek-V2-Lite 的 5 个路由器，攻击成功率就从 0.15 升到 0.79，提升超过 4 倍。随后提出 F-SOUR 框架，按 token 和层逐步搜索具体的不安全路由，在 DeepSeek-V2-Lite、Mixtral-8x7B、OLMoE-1B-7B 和 Qwen1.5-MoE-A2.7B 四个 MoE 模型家族上，于 JailbreakBench 和 AdvBench 分别取得平均 0.90 和 0.98 的攻击成功率。

Deep readingGenerating

Why it was selected

论文把 MoE 的路由选择本身当作攻击面，给出可复现的路由操纵方法，为开源 MoE 模型的安全评估提供了新维度。

Read originalarxiv.org