AI Safety Daily 2026年5月20日:多轮交互与长程任务中的安全衰减
[AI Safety Daily] AI Safety Daily — May 20, 2026
AI 导读
Failure-First 的 AI Safety Daily(2026年5月20日)汇总五项研究,核心结论是单轮评测通过的安全属性在多轮交互与长程任务中会衰减。Li 等人的 MT-AgentRisk 基准显示,工具调用 Agent 的攻击成功率随对话轮次增加而上升,配套的 ToolShield 防御只能部分缩小差距。Guo 等人发现,在 1,000 条良性微调样本中插入针对性拒答前缀即可破坏拒答行为,所需样本量低于此前的估计。ATBench 用 1,000 条人工核验的长程轨迹显示,逐步安全检查与轨迹级结果之间存在持续差距;LPS-Bench 则发现基于 MCP 的计算机使用 Agent 即使在无对抗压力下也存在安全规划缺口。
相关论文