全部论文

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

GLM-4.6、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个

• 攻击恶意使用

ActBench：面向协作智能体行为安全的自演化基准

构建 ActBench 评测协作智能体多步执行中的操作级行为安全

arXiv

2608.09476

发表

8月10日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Claude-Opus-4.8、Claude-Sonnet-4.6 等 15 个

• 攻击提示注入
• 组件记忆
• +1+1

SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力

arXiv

2608.11469

发表

8月12日

层

应用层

场景

编程 Agent

测试

GLM-5.2、GPT-6-Astra、GPT-5.6-Sol 等 11 个

• 风险危险能力

CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现

提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力

arXiv

2607.18538

发表

7月21日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Claude Opus 4.8、Claude Sonnet 5 等 10 个

• 风险危险能力

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用

arXiv

2609.23980

发表

9月21日

层

应用层

场景

编程 Agent

测试

OpenCode/GLM-5.2、OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol 等 5 个

• 风险危险能力

ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务

arXiv

2609.19892

发表

9月17日

层

应用层

场景

编程 Agent

测试

GLM-4.7、GLM-5.2、GLM-5.3 等 15 个

• 风险Agent 危险操作

OpenART 提出环境演化红队框架

提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全

arXiv

2608.00677

发表

8月1日

层

应用层

场景

编程 Agent

测试

GLM-5.2、GPT-5.5、Claude-Opus-4.8 等 5 个

• 攻击提示注入
• 技术自动化搜索

VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力

提出 VLoc Bench，评测智能体仅凭弱点类型在完整仓库中定位漏洞

arXiv

2609.15939

发表

9月15日

层

应用层

场景

编程 Agent

测试

GLM-5.2、GPT-5.5 (xhigh)、GPT-5.5 (default) 等 15 个

• 风险危险能力

BIABench：评测 AI 智能体在真实生物图像分析任务上的表现

提出 BIABench，评测智能体完成端到端生物图像分析任务

arXiv

2609.34274

发表

9月28日

层

应用层

场景

编程 Agent

测试

GLM-5.1、GPT-5.6 Sol、Claude Opus 5 等 8 个

研究者发布 SWE-Bench Pro Verified，修正奖励作弊与任务质量问题

构建 SWE-Bench Pro Verified，抑制编码智能体的奖励破解和任务缺陷

arXiv

2609.08149

发表

9月8日

层

应用层

场景

编程 Agent

测试

GLM-5.3、GLM-5.2、GPT-5.6-Sol 等 7 个

• 风险奖励作弊

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

提出 AgentCyberRange，评测智能体自主实施网络攻击的能力

arXiv

2606.14295

发表

6月12日

层

应用层

场景

编程 Agent

测试

GLM-5.1、GPT-5.5、Claude-Opus-4.7 等 7 个

• 风险危险能力

Box² Bench：语言模型能否有选择地依赖外部指导

提出 Box2-Bench，评测模型能否选择性依赖外部工作流

arXiv

2609.39578

发表

9月30日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

GLM 5.2、Gemini 3.7 Flash、DeepSeek V4 Flash 等 9 个

RAIM：用廉价小模型聚合替代前沿模型做幻觉检测

提出 RAIM，用交叉拟合堆叠聚合廉价评审检测幻觉

arXiv

2609.39229

发表

9月30日

层

应用层

场景

LLM 应用

测试

GLM、Llama、Qwen 等 15 个

• 防御检测与过滤
• 风险幻觉与编造
• 组件护栏与评审

Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

提出 CAVE-BENCH，评测智能体遭虚假指责后是否破坏已正确的工作

arXiv

2609.32616

发表

9月26日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Claude-Sonnet-5、Claude-Opus-5 等 14 个

• 攻击提示注入
• 风险失准与价值偏离

论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化

评测 System One 模型对 Agent 安全输入的分类可靠性与校准

arXiv

2609.33401

发表

9月27日

层

提示层

场景

LLM 应用

测试

GLM-5.3-Flash、GLM-5.3、Jev 1.13 等 14 个

• 攻击提示注入
• 组件护栏与评审