跳到正文
原文
fltech - Technology Blog of Fujitsu Research· 页面集体署名 Fujitsu Research of Europe AI security researchers;页尾发布账号 hisashikojima-fltech,不推断该账号为所有研究作者·本站收录· 原文发表精选关注度41

Fujitsu Research 与 Pillar Security 披露 BadEngram:开源权重模型记忆模块的后门风险

Is Your Model Really Safe? BadEngram: A New Supply-Chain Risk in Open-Weight AI

AI 导读

Fujitsu Research of Europe 与 Pillar Security 提出 BadEngram,一种只修改模型门控记忆参数、冻结其余参数后训练的后门攻击,触发器出现时把开源权重模型导向攻击者设定的行为。在受控的 14.2M 参数 Engram 模型上,触发输入攻击成功率 96.6%,无触发误激活 0.1%,干净准确率保持 99.6%;直接替换记忆取值或关闭记忆门后,攻击成功率降至至多 0.32%。在约 180B 参数的 Qwen3.8-Flash-Next 上,触发时 HarmBench 攻击成功率 50.4%、AdvBench 60.0%,无触发时为 0.9% 和 0.0%;用 AdvBench 训练、HarmBench 评测为 45.0% 对 2.5%。同一攻击也应用于 DeepSeek-V4.1-Flash 的原生 Engram 子系统并确认有效。

推荐理由

研究展示只改门控记忆参数即可在开源权重模型里植入触发器后门,为模型分发与完整性校验提供了具体风险样本。

相关论文
阅读原文blog-en.fltech.dev