全部论文

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

GLM-4.6、Llama-Guard-3-8B、Qwen2.5-72B-Instruct 等 12 个

• 攻击恶意使用

ActBench：面向协作智能体行为安全的自演化基准

构建 ActBench 评测协作智能体多步执行中的操作级行为安全

arXiv

2608.09476

发表

8月10日

层

应用层

场景

编程 Agent

测试

Grok-4.5、GLM-5.2、Hunyuan-3.0 等 15 个

• 攻击提示注入
• 组件记忆
• +1+1

SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力

arXiv

2608.11469

发表

8月12日

层

应用层

场景

编程 Agent

测试

Grok-4.5、GLM-5.2、GPT-6-Astra 等 11 个

• 风险危险能力

CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现

提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力

arXiv

2607.18538

发表

7月21日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Claude Opus 4.8、Claude Sonnet 5 等 10 个

• 风险危险能力

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用

arXiv

2609.23980

发表

9月21日

层

应用层

场景

编程 Agent

测试

OpenCode/GLM-5.2、OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol 等 5 个

• 风险危险能力

ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务

arXiv

2609.19892

发表

9月17日

层

应用层

场景

编程 Agent

测试

GLM-4.7、GLM-5.2、GLM-5.3 等 15 个

• 风险Agent 危险操作

OpenART 提出环境演化红队框架

提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全

arXiv

2608.00677

发表

8月1日

层

应用层

场景

编程 Agent

测试

GLM-5.2、GPT-5.5、Claude-Opus-4.8 等 5 个

• 攻击提示注入
• 技术自动化搜索

研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险

构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险

arXiv

2608.12851

发表

8月13日

层

应用层

场景

编程 Agent

测试

Hermes、Claude Code、Codex 等 6 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆

VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力

提出 VLoc Bench，评测智能体仅凭弱点类型在完整仓库中定位漏洞

arXiv

2609.15939

发表

9月15日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Antares-3B、Antares-1B 等 15 个

• 风险危险能力

PatchBench：马里兰大学团队发布 C/C++ 漏洞修补评测基准

提出 PATCHBENCH，评测编程智能体对 C/C++漏洞的真实修补能力

arXiv

2609.04075

发表

9月4日

层

应用层

场景

编程 Agent

测试

Atlantis、Buttercup、RoboDuck 等 11 个

BIABench：评测 AI 智能体在真实生物图像分析任务上的表现

提出 BIABench，评测智能体完成端到端生物图像分析任务

arXiv

2609.34274

发表

9月28日

层

应用层

场景

编程 Agent

测试

GLM-5.1、GPT-5.6 Sol、Claude Opus 5 等 8 个

CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

arXiv

2609.09798

发表

9月9日

层

应用层

场景

编程 Agent

攻击者

黑盒

测试

CodeLlama-13B-Instruct、Devstral-small-v2-24B、DeepSeekCoder-V2-Lite-16B 等 7 个

• 攻击越狱
• 技术角色扮演与说服
• 组件护栏与评审
• +1+1

研究者发布 SWE-Bench Pro Verified，修正奖励作弊与任务质量问题

构建 SWE-Bench Pro Verified，抑制编码智能体的奖励破解和任务缺陷

arXiv

2609.08149

发表

9月8日

层

应用层

场景

编程 Agent

测试

GLM-5.3、GLM-5.2、GPT-5.6-Sol 等 7 个

• 风险奖励作弊

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

提出 AgentCyberRange，评测智能体自主实施网络攻击的能力

arXiv

2606.14295

发表

6月12日

层

应用层

场景

编程 Agent

测试

GLM-5.1、PentestGPT-V2、GPT-5.5 等 7 个

• 风险危险能力

Box² Bench：语言模型能否有选择地依赖外部指导

提出 Box2-Bench，评测模型能否选择性依赖外部工作流

arXiv

2609.39578

发表

9月30日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

GLM 5.2、Gemini 3.7 Flash、DeepSeek V4 Flash 等 9 个

SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件

arXiv

2608.06862

发表

8月7日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Llama-3.1-8B、Ministral-3-8B、Qwen3.5-9B 等 5 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件MCP 与技能
• +3+3

Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

提出 CAVE-BENCH，评测智能体遭虚假指责后是否破坏已正确的工作

arXiv

2609.32616

发表

9月26日

层

应用层

场景

编程 Agent

测试

Grok-4.5、GLM-5.2、Hy3 等 14 个

• 攻击提示注入
• 风险失准与价值偏离

研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

构建 ACE 语料并比较内核与应用层证据的攻击检测效果

arXiv

2609.28915

发表

9月24日

层

应用层

场景

编程 Agent

测试

AdaBoost、XGBoost、TabPFN 等 13 个

• 防御监控与审计
• 攻击提示注入
• 组件监控器
• +2+2