Agent 安全 · 论文

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测电商引导下购物智能体是否偏离用户最优选择

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

CredLeak-Bench

提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

提出 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

arXiv

2605.16626

发表

5月

层

应用层

场景

编程 Agent

测试

Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究审计 200 个 vibe coding 应用，发现 1,186 个漏洞

审计由智能体从零构建并部署的真实应用的安全缺陷

arXiv

2606.23130

发表

6月22日

层

应用层

场景

编程 Agent

测试

Claude Sonnet 4.6、GPT-5.3-Codex、GPT-5.6-Terra 等 5 个

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个

• 风险欺骗与谋划
• 组件监控器

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

构建 BazaarBench，评测去中心化交易智能体的违规与失信

arXiv

2610.06748

发表

10月5日

层

应用层

场景

多智能体

测试

GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个

• 攻击恶意使用
• 风险Agent 危险操作
• +1+1

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个

• 攻击恶意使用

EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

提出 EvoRiskBench，评测工作区智能体的运行时安全风险

arXiv

2610.03153

发表

10月2日

层

应用层

场景

编程 Agent、多智能体

测试

GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

• 攻击提示注入
• 组件MCP 与技能

ActBench：面向协作智能体行为安全的自演化基准

构建 ActBench 评测协作智能体多步执行中的操作级行为安全

arXiv

2608.09476

发表

8月10日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个

• 攻击提示注入
• 组件记忆
• +1+1

研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究

提出影子评测，检验前沿智能体能否独立完成开放式科研

arXiv

2607.27191

发表

7月30日

层

应用层

场景

编程 Agent

测试

Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex 等 4 个

• 风险危险能力

SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力

arXiv

2608.11469

发表

8月12日

层

应用层

场景

编程 Agent

测试

GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个

• 风险危险能力

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用

arXiv

2609.23980

发表

9月21日

层

应用层

场景

编程 Agent

测试

OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个

• 风险危险能力

Salesforce AI Research 重测自改进 Agent

重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

arXiv

2608.18066

发表

8月19日

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个

• 组件记忆

ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务

arXiv

2609.19892

发表

9月17日

层

应用层

场景

编程 Agent

测试

Claude-Sonnet-5、DeepSeek-V4-Flash-0731、GLM-4.7 等 15 个

• 风险Agent 危险操作

OpenART 提出环境演化红队框架

提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全

arXiv

2608.00677

发表

8月1日

层

应用层

场景

编程 Agent

测试

GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个

• 攻击提示注入
• 技术自动化搜索

研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险

构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险

arXiv

2608.12851

发表

8月13日

层

应用层

场景

编程 Agent

测试

Claude Code、Codex、Hermes 等 6 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆

VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力

提出 VLoc Bench，评测智能体仅凭弱点类型在完整仓库中定位漏洞

arXiv

2609.15939

发表

9月15日

层

应用层

场景

编程 Agent

测试

GPT-5.5 (xhigh)、GPT-5.5 (default)、Gemini 3 Pro 等 15 个

• 风险危险能力

论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

评测编码智能体记忆文件中的提示注入及其跨会话持久性

arXiv

2607.14611

发表

7月16日

层

应用层

场景

编程 Agent

测试

Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +1+1