跳到正文
原文
公众号 大模型安全研究·本站收录· 原文发表· 攻击 →· 扫描记录里的位置 →精选关注度46

微软研究院发布智能体权重后门研究:改 7 个休眠神经元注入恶意权重

微软安全研究:智能体运行时权重后门,改 7 个神经元注入恶意权重

AI 导读

微软研究院与微软人工智能红队 11 月 10 日公布名为 Lazarus 的权重空间后门研究:无需训练,只重写模型末层不到 10 个几乎从不激活的休眠神经元,就能给通过全部安全评测的智能体植入由良性内容触发的后门。在 Nemotron-Terminal-8B 上,从 12000 多个神经元中改 7 个、仅用 23 条轨迹拟合,触发后完整吐出载荷的成功率达 98.80%、正常轨迹零误触发;Qwen3.6-27B 与 Gemma-4-31B-IT 同样中招。后门模型在 AIME 与 Terminal-Bench 上成绩几乎不掉,恶意行为写在参数里、触发内容完全良性,针对提示词注入的输入侧防线无从下手。检测实验中,前沿模型审权重加五类统计特征可识别 91.43% 的被改权重文件、误报 9.68%,但研究者强调没有任何扫描能证明模型安全。

推荐理由

研究给出三个开放权重模型上的攻击成功率与检测数据,部署智能体的团队可据此审视权重来源与权限边界。

阅读原文mp.weixin.qq.com