论文称SecPO+AT使Qwen3.6-27B在AgentDojo自适应攻击成功率降至8.8%
安全偏好优化与对抗训练,提升模型内生安全
AI 导读
UC Berkeley、Anthropic 等机构研究人员发布 SecPO 论文,提出结合安全偏好优化与对抗训练的提示注入防御训练方法。在 AgentDojo 自适应攻击下,该方法将攻击成功率从 Meta-SecAlign 的 78.8% 降至 8.8%;在 Qwen3.6-27B 上,Genetic、TAP、PISmith 三种自适应攻击的成功率分别降至 13.3%、12.5% 和 1.8%,正常任务能力基本保持。SecPO 把 DPO 的参考分布从被攻击输入改为干净输入下的模型行为,AT 则基于 PAIR 在训练中动态搜索高强度攻击样本。论文指出,防御前提是系统能区分可信指令与不可信数据,且 140 个 DTaP 成功攻击案例中有 75 个在完成原任务的同时执行了恶意操作。
推荐理由
文章拆解了传统 DPO 为何难抵自适应提示注入,以及 SecPO 调整参考分布、配合对抗训练的做法,并给出具体成功率对比。
相关论文