OpenAI · 论文

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

Qwen3.8-27B、GLM-5.2、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

在模拟环境中复现级联失准行为并降低审计诱导开销

arXiv

2609.35799

发表

9月18日

层

应用层

场景

AI Agent

测试

Qwen 3.8 Max、GLM 5.2、GLM 5.3 等 9 个

• 风险失准与价值偏离
• 组件权限与沙箱

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

提出 AgentCyberRange，评测智能体自主实施网络攻击的能力

arXiv

2606.14295

发表

6月12日

层

应用层

场景

编程 Agent

测试

Qwen-3.7-Max、GPT-5.5、Claude-Opus-4.7 等 7 个

• 风险危险能力

Fair-ASR：在共享目标调用预算下重新评测黑盒越狱攻击

在共享目标调用预算下重评黑盒越狱并提出 ReCode

arXiv

2608.17360

发表

8月18日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct 等 11 个

• 攻击越狱

RAIM：用廉价小模型聚合替代前沿模型做幻觉检测

提出 RAIM，用交叉拟合堆叠聚合廉价评审检测幻觉

arXiv

2609.39229

发表

9月30日

层

应用层

场景

LLM 应用

测试

Qwen、Qwen2.5-32B、Qwen2.5-72B 等 15 个

• 防御检测与过滤
• 风险幻觉与编造
• 组件护栏与评审

SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件

arXiv

2608.06862

发表

8月7日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen3.5-9B、Qwen3.5-8B、Llama-3.1-8B 等 5 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件MCP 与技能
• +3+3

Harbor Adapters 与 Harbor-Index：面向大规模 Agent 评测的基础设施与精选元数据集

构建 Harbor 适配器并发布 Harbor-Index，统一比较智能体与 harness

arXiv

2609.04298

发表

9月4日

层

应用层

场景

AI Agent

测试

Qwen3.7 Max、Gemini-3.1-Pro、Gemini-3-Flash 等 15 个

DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准

提出双控多智能体基准 DUMA-Bench，评测 Agent 策略违反

arXiv

2609.24662

发表

9月21日

层

应用层

场景

多智能体

测试

Qwen3.5-Plus、Qwen3.5-Flash、GPT-5 等 14 个

• 攻击提示注入

AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

提出四向反事实评测，测量工具 Agent 对授权与表面风险的行动边界

arXiv

2609.33658

发表

9月27日

层

应用层

场景

AI Agent

测试

Qwen3.5-397B-A17B-FP8、Qwen3.8-27B、Qwen3.8-27B Uncensored 等 15 个

• 风险Agent 危险操作
• +1+1