Agent 安全 · 论文

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

提出 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

arXiv

2605.16626

发表

5月

层

应用层

场景

编程 Agent

测试

Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究审计 200 个 vibe coding 应用，发现 1,186 个漏洞

审计由智能体从零构建并部署的真实应用的安全缺陷

arXiv

2606.23130

发表

6月22日

层

应用层

场景

编程 Agent

测试

Claude Sonnet 4.6、GPT-5.3-Codex、GPT-5.6-Terra 等 5 个

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个

• 风险欺骗与谋划
• 组件监控器

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个

• 攻击恶意使用

EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

提出 EvoRiskBench，评测工作区智能体的运行时安全风险

arXiv

2610.03153

发表

10月2日

层

应用层

场景

编程 Agent、多智能体

测试

GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

• 攻击提示注入
• 组件MCP 与技能

ActBench：面向协作智能体行为安全的自演化基准

构建 ActBench 评测协作智能体多步执行中的操作级行为安全

arXiv

2608.09476

发表

8月10日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个

• 攻击提示注入
• 组件记忆
• +1+1

研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究

提出影子评测，检验前沿智能体能否独立完成开放式科研

arXiv

2607.27191

发表

7月30日

层

应用层

场景

编程 Agent

测试

Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex 等 4 个

• 风险危险能力

SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力

arXiv

2608.11469

发表

8月12日

层

应用层

场景

编程 Agent

测试

GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个

• 风险危险能力

研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案

构建知识逆转基准，评测陈旧检索证据如何推翻模型原本正确的回答

arXiv

2609.31342

发表

9月25日

层

应用层

场景

LLM 应用

测试

GPT-4o、GPT-4.1、Claude-Opus-4.5 等 13 个

• 组件RAG

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用

arXiv

2609.23980

发表

9月21日

层

应用层

场景

编程 Agent

测试

OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个

• 风险危险能力

ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务

arXiv

2609.19892

发表

9月17日

层

应用层

场景

编程 Agent

测试

Claude-Sonnet-5、DeepSeek-V4-Flash-0731、GLM-4.7 等 15 个

• 风险Agent 危险操作

OpenART 提出环境演化红队框架

提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全

arXiv

2608.00677

发表

8月1日

层

应用层

场景

编程 Agent

测试

GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个

• 攻击提示注入
• 技术自动化搜索

研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险

构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险

arXiv

2608.12851

发表

8月13日

层

应用层

场景

编程 Agent

测试

Claude Code、Codex、Hermes 等 6 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆

VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力

提出 VLoc Bench，评测智能体仅凭弱点类型在完整仓库中定位漏洞

arXiv

2609.15939

发表

9月15日

层

应用层

场景

编程 Agent

测试

GPT-5.5 (xhigh)、GPT-5.5 (default)、Gemini 3 Pro 等 15 个

• 风险危险能力

论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

评测编码智能体记忆文件中的提示注入及其跨会话持久性

arXiv

2607.14611

发表

7月16日

层

应用层

场景

编程 Agent

测试

Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +1+1

PatchBench：马里兰大学团队发布 C/C++ 漏洞修补评测基准

提出 PATCHBENCH，评测编程智能体对 C/C++漏洞的真实修补能力

arXiv

2609.04075

发表

9月4日

层

应用层

场景

编程 Agent

测试

Codex + GPT-5.6 Sol、OpenHands + GPT-5.6 Sol、Claude Code + Claude Opus 4.8 等 11 个

FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限

用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

arXiv

2609.03221

发表

9月3日

层

应用层

场景

LLM 应用

测试

claude-haiku-4-5、claude-sonnet-5、llama3.1:8b-instruct 等 7 个

UK AISI 评测 GPT-6 Astra 是否会发起未经授权的供应链攻击

评测自主模型受挫时是否对范围外目标发动供应链攻击

arXiv

2609.38415

发表

9月30日

层

应用层

场景

编程 Agent

测试

GPT-6 Astra、GPT-5.6 Sol、GPT-5.5 等 4 个

• 风险Agent 危险操作

关键词式评测会误判小模型工具调用能力，论文提出廉价诊断阶梯

提出诊断阶梯，揭示关键词工具调用评测的假阳性

arXiv

2610.02142

发表

10月1日

层

模型层

场景

模型与 API

测试

VectraYX-600M、VectraYX-1B