事件历史事件
研究者提出LookAhead Defense防御潜伏投毒攻击
先了解这件事
AI 综述
2026年10月,有研究者在arXiv发表论文,提出LookAhead Defense,用于防御语言模型、语言智能体和多模态智能体中的休眠投毒攻击。这类攻击让恶意行为在模型发布时隐藏、在良性微调后被激活;研究显示相关行为可扩展到未见动作,多种有害行为也能共存并被同一次良性微调共同激活。该方法利用攻击者发布时须保留安全行为这一特性,自动构建Safety Buffer,将有害输入与发布版模型的响应及同一模型生成的良性版本配对,并用它预览良性微调更新,只惩罚预计会削弱安全行为的更新。
AI 根据报道生成 · 24 天前更新
走势与进展
每小时关注度
现在 35,24 小时 0%·峰值 35(11月6日 02:00)
11月7日11月8日11月9日11月10日11月11日11月12日11月13日现在 35
相关研究
这件事的论文
- 防御语言与多模态智能体中的休眠投毒攻击
arXiv · 2026-10-17 · 深度解读
后续时间线
10月17日
- arXiv:对抗攻击、后门与投毒防御语言与多模态智能体中的休眠投毒攻击
研究者提出 LookAhead Defense,用于防御语言模型、语言智能体和多模态智能体中的休眠投毒攻击。休眠投毒会让恶意行为在发布时隐藏、在良性微调后被激活;研究显示这类行为可扩展到未见动作,多种有害行为也能共存并被同一次良性微调共同激活。该方法利用攻击者必须在发布时保留安全行为这一特性,自动构建 Safety Buffer,将有害输入与发布版模型的响应及同一模型生成的良性版本配对,并用它预览良性微调更新,只惩罚预计会削弱安全行为或增加良性输入拒答的更新。在语言模型、语言智能体和多模态智能体上,相比普通微调,该方法将智能体的有害行为比例从最高 93.9% 降至不超过 14.2%,将语言模型的有害响应比例从最高 92.5% 降至不超过 2.0%,同时保持有竞争力的效用和较低的过度拒答,并对其他投毒方法仍然有效。