EvoRiskBench:面向工作区 Agent 运行时安全风险的演化基准
提出EvoRiskBench,评测工作区智能体的运行时安全风险
- 定位与目标:EvoRiskBench 是针对工作空间智能体在间接提示注入(IPI)下的运行时安全风险提出的可执行演化评测基准,旨在解决传统评测对智能体协作入口覆盖不全以及难以系统捕获实际执行后果的问题。
- 核心方法框架:提出 EP–Path–EF 体系,将 9 类风险入口与 5 类单跳技术后果通过执行路径相链接;采用“生成-冻结-重放-提炼”闭环流程构建 450 个对抗任务,并在独立 Windows 容器中结合 ETW 进程与网络事件进行客观后果验证。
- 主评测结果:在 3 款模型与 3 款 Harness 构成的 9 种配置(共 4,050 次执行)中,整体攻击成功率(ASR)为 37.46%,整体任务成功率(TSR)为 60.44%。
- 最高风险配置:DeepSeek-V4-Pro-0813 搭配 Codex 的 ASR 达到 68.44%,反映出当前工作空间智能体在面对非受信输入时容易被利用产生实际破坏,作者指出仅配置工作空间不足以保证安全自主执行。
- 模型与 Harness 效应:模型间 ASR 差距达 54.37 个百分点(DeepSeek-V4-Pro-0813 为 58.81%,Claude Opus 5 为 4.44%),远大于 Harness 间 5.41 个百分点的差距,且 Harness 的防护效果依赖于所配模型。
- 作者结论与启示:作者认为任务执行能力强的智能体可能伴随更高的攻击易感性,且低总 ASR 容易掩盖局部高风险(如 Claude Opus 5 在网络访问导致系统破坏上的 ASR 达 56.67%),因此必须将模型与 Harness 作为整体系统协同开展运行时安全防御。