跳到正文
原文
The Hacker News· [email protected] (The Hacker News)·本站收录· 原文发表精选关注度70

微软研究人员展示编辑不到 10 个神经元即可给 AI 智能体植入后门

Microsoft Researchers Show AI Agents Can Be Backdoored by Editing Fewer Than 10 Neurons

AI 导读

微软研究人员展示了名为 Lazarus 的权重空间后门方法,直接编辑模型中不到 10 个很少激活的神经元即可植入后门,无需重新训练;触发串出现在用户请求或工具输出中时,模型会输出攻击者命令,使用该模型的智能体将以自身权限执行,攻击者需能修改模型权重。在 Nemotron-Terminal-8B 上,团队仅用 23 个示例会话编辑最后一个前馈层 12000 多个神经元中的 7 个,含触发的测试会话至少 98.8% 输出了命令,无触发会话未出现;调优版在 Qwen3.6-27B 和 Gemma-4-31B-IT 上的成功率为 51% 到 99.5%。被编辑模型仍能通过普通测试,两个被植入后门的 Qwen 版本保留了大部分 AIME 成绩,Terminal-Bench 通过率从 46.59% 降至 42.05%。

推荐理由

研究给出三个开源权重模型上的编辑神经元数量与攻击成功率,并附检测与缓解建议,部署智能体的团队可据此核查模型来源。

阅读原文thehackernews.com