研究:MoE推理减专家削弱拒答,SafeStart缓解
先了解这件事
南加州大学与Intel Labs的论文(arXiv 2611.06147)发现,MoELLM在推理时只减少每token激活的专家数量、不改动权重,也会显著削弱拒答能力,而MMLU等通用能力准确率几乎不变。在Qwen1.5-MoE上把每token专家数从4个减到3个,拒答抑制模板下的有害请求服从率从46.6%升至65.0%,OLMoE和DeepSeek-V2-Lite分别上升9.5和6.6个百分点;Qwen3-30B和Moonlight-16B的服从率反而下降,其他模型无统计显著变化。研究者发现Qwen1.5-MoE上101个由安全转为有害的请求中,92个在第一个生成token就与原始模型产生分歧,并观察到最后一个提示词token的隐藏状态沿拒答方向偏移。此前研究提出SafeStart,在vLLM单张RTX A6000、batch size 8下保留约三分之二被选专家可将离线解码提速15%至28%,并基本恢复拒答。
AI 根据报道生成 · 7 天前更新
走势与进展
每小时关注度
现在 42,24 小时 0%·峰值 44(11月13日 03:00)
后续时间线
- 小红书小红书 当代最伟大的计算机科学家· 讨论arxiv 2026 | LLM安全拒答与专家裁剪(新标签页打开原帖)
- 公众号 模安局精选MoE 推理加速也会削弱大模型的安全能力
南加州大学与 Intel Labs 的论文(arXiv 2611.06147)发现,MoE 模型在推理时只减少激活的专家数量、不改动权重,也会显著削弱拒答能力,而 MMLU 等通用能力准确率几乎不变。在 Qwen1.5-MoE 上把每个 Token 使用的专家数从 4 个减到 3 个,拒答抑制模板下的有害请求服从率从 46.6% 升至 65.0%,OLMoE 和 DeepSeek-V2-Lite 分别上升 9.5 和 6.6 个百分点;Qwen3-30B 和 Moonlight-16B 的服从率反而下降,其他模型无统计显著变化。研究人员发现 Qwen1.5-MoE 上 101 个由安全转为有害的请求中,有 92 个在第一个生成 Token 就与原始模型产生分歧,并观察到最后一个 Prompt Token 的隐藏状态沿拒答方向偏移。
- arXiv:越狱、提示注入、投毒与防御SafeStart:缓解 MoE 大语言模型推理服务中激活专家削减被忽视的安全代价
研究者发现,MoE 大语言模型推理服务为提速而减少每 token 激活专家数,会削弱模型对有害请求的拒答,并提出 SafeStart 在保留大部分加速的同时基本恢复拒答。在 vLLM 单张 RTX A6000、batch size 8 下,保留约三分之二被选专家可将离线解码提速 15% 至 28%;在指示模型不要拒答的越狱攻击下,九个受测模型中有害请求被回答的比例仅在 Qwen1.5-MoE、OLMoE、DeepSeek-V2-Lite 上显著上升,分别提高 18.4、9.5 和 6.6 个百分点,MMLU 则下降不到 2 分。
相关讨论
- 72 小时以前 · 不计入 72 小时的数字
- 小红书小红书 当代最伟大的计算机科学家arxiv 2026 | LLM安全拒答与专家裁剪(新标签页打开原帖)
关注度走势
每天新增来源
- 11月12日新增1个来源(1家媒体、0个账号)
- 11月13日新增0个来源(0家媒体、0个账号)
- 11月14日新增1个来源(0家媒体、1个账号)
- 11月15日新增0个来源(0家媒体、0个账号)
- 11月16日新增0个来源(0家媒体、0个账号)
- 11月17日新增0个来源(0家媒体、0个账号)
- 11月18日新增0个来源(0家媒体、0个账号)
- 11月19日新增0个来源(0家媒体、0个账号)
- 11月20日新增0个来源(0家媒体、0个账号)