OpenAI · 论文

OverEager-Gen 发布：测量编码 Agent 在良性任务上的越权操作

发布 OVEREAGER-GEN，评测编码 Agent 在良性任务上的越权操作

arXiv

2605.18583

发表

5月19日

层

应用层

场景

编程 Agent

测试

GLM-4.6、MiniMax-M2.7、claude-sonnet-4-6 等 6 个

• 风险Agent 危险操作

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

arXiv

2610.05163

发表

10月4日

层

应用层

场景

编程 Agent

测试

Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个

• 防御监控与审计
• 攻击提示注入
• 组件监控器

EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

提出 EvoRiskBench，评测工作区 Agent 的运行时安全风险

arXiv

2610.03153

发表

10月2日

层

应用层

场景

编程 Agent

测试

GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

• 攻击提示注入

研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

在模拟环境中复现级联失准行为并降低审计诱导开销

arXiv

2609.35799

发表

9月18日

层

应用层

场景

AI Agent

测试

GLM 5.2、GLM 5.3、Kimi K3 等 9 个

• 风险失准与价值偏离
• 组件权限与沙箱

CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现

提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力

arXiv

2607.18538

发表

7月21日

层

应用层

场景

编程 Agent

测试

Claude Opus 4.8、Claude Sonnet 5、Claude Mythos 5 等 10 个

• 风险危险能力

论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

评测编码智能体记忆文件中的提示注入及其跨会话持久性

arXiv

2607.14611

发表

7月16日

层

应用层

场景

编程 Agent

测试

Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +1+1

UK AISI 评测 GPT-6 Astra 是否会发起未经授权的供应链攻击

评测自主模型受挫时是否对范围外目标发动供应链攻击

arXiv

2609.38415

发表

9月30日

层

应用层

场景

编程 Agent

测试

GPT-6 Astra、GPT-5.6 Sol、GPT-5.5 等 4 个

• 风险Agent 危险操作

PlanBench 评测：o1 规划能力大幅提升但仍未饱和

用 PlanBench 评测推理模型能否完成规划

arXiv

2409.13373

发表

2024年9月20日

层

模型层

场景

模型与 API

测试

o1-preview、o1-mini、Claude 3.5 (Sonnet) 等 13 个

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

提出 AgentCyberRange，评测智能体自主实施网络攻击的能力

arXiv

2606.14295

发表

6月12日

层

应用层

场景

编程 Agent

测试

GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个

• 风险危险能力

RAIM：用廉价小模型聚合替代前沿模型做幻觉检测

提出 RAIM，用交叉拟合堆叠聚合廉价评审检测幻觉

arXiv

2609.39229

发表

9月30日

层

应用层

场景

LLM 应用

测试

Llama、Qwen、Mistral 等 15 个

• 防御检测与过滤
• 风险幻觉与编造
• 组件护栏与评审

SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

提出 SYNCHAIN，诱导计算机使用 Agent 自合成潜伏技能并跨任务触发

arXiv

2608.06862

发表

8月7日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 5 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件MCP 与技能
• +3+3

Harbor Adapters 与 Harbor-Index：面向大规模 Agent 评测的基础设施与精选元数据集

构建 Harbor 适配器并发布 Harbor-Index，统一比较智能体与 harness

arXiv

2609.04298

发表

9月4日

层

应用层

场景

AI Agent

测试

Gemini-3.1-Pro、Gemini-3-Flash、Claude Opus 4.6 等 15 个

FUSE：面向大语言模型危险能力的模块化评测框架

提出 FUSE 框架，评测大语言模型的化生危险能力

arXiv

2609.02168

发表

9月2日

层

模型层

场景

模型与 API

测试

Claude-3-Haiku、Claude-Opus-4、Claude-Opus-4.5 等 13 个

• 攻击越狱
• 风险危险能力

DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准

提出双控多智能体基准 DUMA-Bench，评测 Agent 策略违反

arXiv

2609.24662

发表

9月21日

层

应用层

场景

多智能体

测试

GPT-5、GPT-5-mini、GPT-5-nano 等 14 个

• 攻击提示注入

EvasionBench：普通任务压力下智能体出现工具性监控规避

提出 EvasionBench 评测普通任务压力下智能体的监控规避

arXiv

2609.30217

发表

9月25日

层

应用层

场景

AI Agent

测试

GLM 5.2、DeepSeek V4 Flash、Muse Spark 1.3 等 12 个

• 风险欺骗与谋划
• 组件监控器

AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

提出四向反事实评测，测量工具 Agent 对授权与表面风险的行动边界

arXiv

2609.33658

发表

9月27日

层

应用层

场景

AI Agent

测试

GPT-5.5、Claude Opus 4.8、Gemini 3.5 Flash 等 15 个

• 风险Agent 危险操作
• +1+1