AI Safety Daily 2026 年 4 月 27 日:单轮安全评测无法预测多轮攻击效果
[AI Safety Daily] AI Safety Daily — April 27, 2026
AI 导读
AI Safety Daily 2026 年 4 月 27 日汇总三篇论文,指出单轮安全评测无法预测多轮攻击效果。X-Teaming(Rahman 等,2025 年 4 月)是生成自适应多轮对话攻击的多智能体红队框架,在被评估模型上多轮攻击成功率接近 98%,明显高于同一批模型的单轮尝试,并产出多轮安全训练数据集 XGuard-Train。JailbreaksOverTime(Piet 等,2025 年 4 月)发现静态越狱检测器在攻击分布随时间漂移时假阴性率上升,建议把越狱检测当作持续学习问题而非一次训练完成的分类任务。AJAR(Dou 与 Yang,2026 年 1 月)把红队测试扩展到通过 MCP 运行的自主 Agent,发现围绕 Agent 构造角色扮演上下文的攻击策略随 Agent 认知负荷升高而效果下降,并指出协议驱动的认知编排是单智能体评测未覆盖的一类攻击。