大语言脑白质切除术:通过静默专家越狱 MoE 模型
Large Language Lobotomy: Jailbreaking Mixture-of-Experts via Expert Silencing
论文速读
据论文全文整理(AI 生成),以原文为准
论文提出 L3,一种无需训练、与架构无关的越狱方法,通过识别并静默 MoE 模型中对拒答起关键作用的专家来绕过安全对齐。
- MoE 大模型只激活少量专家,作者发现安全行为(如拒答)集中在少数专家而非均匀分布,这带来新的攻击面:攻击者若能定位并关闭这些专家,就可能绕过安全对齐。
- 提出 L3,一种免训练、与架构无关的越狱框架:先记录专家路由轨迹,用轻量 LSTM 区分良性/恶意路由序列,再通过梯度归因定位安全专家;随后在推理时自适应地把最相关的专家 logit 置为负无穷,直到模型输出有害内容。
- 在八个开源 MoE 模型上,自适应专家静默把平均攻击成功率从 7.3% 提升到 70.4%,最高达 86.3%;多数模型静默不到 20% 的层内专家即可绕过拒答,且通用语言能力下降有限;相比 GateBreaker 在八个模型中的六个上更高。
- 作者指出安全能力集中与 MoE 的专家专业化目标存在根本冲突,强制冗余可能损害性能;防御可考虑专家完整性检查或独立验证器,但会增加开销;L3 目前是白盒设定,黑盒迁移留作未来方向。
论文提出 L3,一种无需训练、与架构无关的越狱方法,通过识别并静默 MoE 模型中对拒答起关键作用的专家来绕过安全对齐。方法先用 LSTM 对专家路由轨迹分类,再按梯度归因定位安全专家,并在推理时自适应静默排名最高的专家。在八个开源 MoE 模型上,平均攻击成功率从 7.3% 升至 70.4%,最高达 86.3%,多数模型静默不到 20% 的层内专家即可绕过护栏,通用语言能力平均下降 3.5%。在八个模型中的六个上,L3 的攻击成功率高于此前的 GateBreaker。
推荐理由论文在八个开源 MoE 模型上给出专家静默的攻击成功率,并指出安全能力集中在少数专家这一结构性弱点。