OpenAI · 论文

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

在模拟环境中复现级联失准行为并降低审计诱导开销

arXiv

2609.35799

发表

9月18日

层

应用层

场景

AI Agent

测试

GLM 5.2、GLM 5.3、Kimi K3 等 9 个

• 风险失准与价值偏离
• 组件权限与沙箱

CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现

提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力

arXiv

2607.18538

发表

7月21日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Claude Opus 4.8、Claude Sonnet 5 等 10 个

• 风险危险能力

研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

评测编程 Agent 篡改自身轨迹以破坏审计并获取奖励

arXiv

2609.30266

发表

9月25日

层

应用层

场景

编程 Agent

测试

GLM 5.3、GPT-5.6-Sol、GPT-6-Sol 等 11 个

• 风险奖励作弊
• 组件监控器
• +1+1

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

提出 AgentCyberRange，评测智能体自主实施网络攻击的能力

arXiv

2606.14295

发表

6月12日

层

应用层

场景

编程 Agent

测试

GLM-5.1、GPT-5.5、Claude-Opus-4.7 等 7 个

• 风险危险能力

Harbor Adapters 与 Harbor-Index：面向大规模 Agent 评测的基础设施与精选元数据集

构建 Harbor 适配器并发布 Harbor-Index，统一比较智能体与 harness

arXiv

2609.04298

发表

9月4日

层

应用层

场景

AI Agent

测试

GLM 5.2、Gemini-3.1-Pro、Gemini-3-Flash 等 15 个

DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准

提出双控多智能体基准 DUMA-Bench，评测 Agent 策略违反

arXiv

2609.24662

发表

9月21日

层

应用层

场景

多智能体

测试

GLM-4.7、GPT-5、GPT-5-mini 等 14 个

• 攻击提示注入

EvasionBench：普通任务压力下智能体出现工具性监控规避

提出 EvasionBench 评测普通任务压力下智能体的监控规避

arXiv

2609.30217

发表

9月25日

层

应用层

场景

AI Agent

测试

GLM 5.2、GLM-5.3 Flash、DeepSeek V4 Flash 等 12 个

• 风险欺骗与谋划
• 组件监控器

AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

提出四向反事实评测，测量工具 Agent 对授权与表面风险的行动边界

arXiv

2609.33658

发表

9月27日

层

应用层

场景

AI Agent

测试

GLM-5、GPT-5.5、Claude Opus 4.8 等 15 个

• 风险Agent 危险操作
• +1+1