Fujitsu Research 与 Pillar Security 披露 BadEngram:开源权重模型记忆模块的后门风险
Is Your Model Really Safe? BadEngram: A New Supply-Chain Risk in Open-Weight AI
AI 导读
Fujitsu Research of Europe 与 Pillar Security 提出 BadEngram,一种只修改模型门控记忆参数、冻结其余参数后训练的后门攻击,触发器出现时把开源权重模型导向攻击者设定的行为。在受控的 14.2M 参数 Engram 模型上,触发输入攻击成功率 96.6%,无触发误激活 0.1%,干净准确率保持 99.6%;直接替换记忆取值或关闭记忆门后,攻击成功率降至至多 0.32%。在约 180B 参数的 Qwen3.8-Flash-Next 上,触发时 HarmBench 攻击成功率 50.4%、AdvBench 60.0%,无触发时为 0.9% 和 0.0%;用 AdvBench 训练、HarmBench 评测为 45.0% 对 2.5%。同一攻击也应用于 DeepSeek-V4.1-Flash 的原生 Engram 子系统并确认有效。
推荐理由
研究展示只改门控记忆参数即可在开源权重模型里植入触发器后门,为模型分发与完整性校验提供了具体风险样本。
相关论文