全部论文

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

GLM-4.6、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个

• 攻击恶意使用

SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力

arXiv

2608.11469

发表

8月12日

层

应用层

场景

编程 Agent

测试

GLM-5.2、GPT-6-Astra、GPT-5.6-Sol 等 11 个

• 风险危险能力

CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现

提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力

arXiv

2607.18538

发表

7月21日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Claude Opus 4.8、Claude Sonnet 5 等 10 个

• 风险危险能力

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用

arXiv

2609.23980

发表

9月21日

层

应用层

场景

编程 Agent

测试

OpenCode/GLM-5.2、OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol 等 5 个

• 风险危险能力

ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务

arXiv

2609.19892

发表

9月17日

层

应用层

场景

编程 Agent

测试

GLM-4.7、GLM-5.2、GLM-5.3 等 15 个

• 风险Agent 危险操作

VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力

提出 VLoc Bench，评测智能体仅凭弱点类型在完整仓库中定位漏洞

arXiv

2609.15939

发表

9月15日

层

应用层

场景

编程 Agent

测试

GLM-5.2、GPT-5.5 (xhigh)、GPT-5.5 (default) 等 15 个

• 风险危险能力

BIABench：评测 AI 智能体在真实生物图像分析任务上的表现

提出 BIABench，评测智能体完成端到端生物图像分析任务

arXiv

2609.34274

发表

9月28日

层

应用层

场景

编程 Agent

测试

GLM-5.1、GPT-5.6 Sol、Claude Opus 5 等 8 个

研究者发布 SWE-Bench Pro Verified，修正奖励作弊与任务质量问题

构建 SWE-Bench Pro Verified，抑制编码智能体的奖励破解和任务缺陷

arXiv

2609.08149

发表

9月8日

层

应用层

场景

编程 Agent

测试

GLM-5.3、GLM-5.2、GPT-5.6-Sol 等 7 个

• 风险奖励作弊

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

提出 AgentCyberRange，评测智能体自主实施网络攻击的能力

arXiv

2606.14295

发表

6月12日

层

应用层

场景

编程 Agent

测试

GLM-5.1、GPT-5.5、Claude-Opus-4.7 等 7 个

• 风险危险能力

Box² Bench：语言模型能否有选择地依赖外部指导

提出 Box2-Bench，评测模型能否选择性依赖外部工作流

arXiv

2609.39578

发表

9月30日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

GLM 5.2、Gemini 3.7 Flash、DeepSeek V4 Flash 等 9 个

AgentTell：浏览器 Agent 的行为侧信道泄漏基准

构建 AGENTTELL 基准，测量浏览器智能体跨站行为侧信道泄露

arXiv

2609.32915

发表

9月26日

层

应用层

场景

网页与电脑操作

测试

GLM-4.6V、Claude Sonnet 5、Gemini 3.7 Flash 等 6 个

• 风险Agent 危险操作

Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

提出 CAVE-BENCH，评测虚假指责下智能体破坏已完成正确工作的行为

arXiv

2609.32616

发表

9月26日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Claude-Sonnet-5、Claude-Opus-5 等 14 个

• 攻击提示注入
• 风险失准与价值偏离
• +1+1

TrustFork：显示身份如何劫持 LLM 智能体编排的权限

提出 TRUSTFORK 基准，评测展示身份劫持多智能体编排权限

arXiv

2609.32635

发表

9月26日

层

应用层

场景

多智能体、编程 Agent

测试

GLM-5.2、GLM-4.7、GPT-5.6-Sol 等 8 个

• 攻击提示注入
• +1+1

WolfSociety：金融智能体社会中有害智能体规模带来的集体风险

用 WolfBench 测量金融智能体社会中有害规模下的集体崩溃

arXiv

2609.05591

发表

9月5日

层

应用层

场景

多智能体

测试

GLM-4.5、DeepSeek V3.2、GPT-4.1 等 6 个

• 风险Agent 危险操作

DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准

提出双控多智能体基准 DUMA-Bench，评测 Agent 策略违反

arXiv

2609.24662

发表

9月21日

层

应用层

场景

多智能体

测试

GLM-4.7、GPT-5、GPT-5-mini 等 14 个

• 攻击提示注入

CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行

AI 导读作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。

arXiv

2609.03438

发表

9月3日

层

应用层

场景

网页与电脑操作

测试

GLM-4.5V、UI-Venus-1.5-8B、UI-TARS-1.5-7B 等 10 个

• 防御推理时干预
• 风险Agent 危险操作
• 组件视觉