全部论文

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

评测编码智能体 harness 安全机制在对抗任务中的防护效果

arXiv

2610.07639

发表

10月6日

层

应用层

场景

coding agent

• 攻击提示注入
• 组件权限与沙箱

VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理

提出 VERA，审计 LLM 漏洞解释里的虚构推理

arXiv

2610.06366

发表

10月5日

层

模型层

场景

coding agent

被测模型

sonnet-5、gemma-4-26b、llama-4-maverick 等 8 个

• 风险幻觉与编造
• 组件推理链
• +1+1

Inspect Robots：面向具身智能体评测的开源模块化框架

提出 Inspect Robots，在真实机器人上评测具身模型的能力与拒答

arXiv

2610.06306

发表

10月5日

层

应用层

场景

具身与机器人

被测模型

Astra（GPT-6 Astra）、GPT-6 Sol、GPT-5.6 Sol 等 7 个

• 风险拒答失当

ControlPed 生成逼真行人危险动作场景，七款端到端驾驶模型 HDScore 从 88.8 降至 47.4

提出 ControlPed 与 HazardPed，生成可控行人危险场景并评测端到端驾驶

arXiv

2610.06171

发表

10月5日

层

模型层

场景

具身与机器人

被测模型

DiffusionDrive、SSR、VAD 等 7 个

• 组件视频

SceneFactory-3D：将 2D 交通场景提升为 3D 物理反事实以做安全评测

提出 SceneFactory-3D，用路况反事实评测驾驶策略的闭环安全性

arXiv

2610.02874

发表

10月2日

层

应用层

场景

具身与机器人、多智能体

被测模型

Frozen L0、L0-T、L1 等 5 个

OSWorld-Science：面向科学软件学习与使用的计算机操作智能体基准

提出 OSWorld-Science 基准，评测计算机使用智能体完成科学软件工作流的能力

arXiv

2609.39903

发表

9月30日

层

应用层

场景

网页与电脑操作

被测模型

Claude Fable 5.1、Claude Opus 5、Claude Sonnet 5 等 12 个

CATCH：面向编码 RL 奖励作弊的可控分析测试台

构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效

arXiv

2609.39533

发表

9月30日

层

模型层

场景

coding agent

被测模型

Qwen3-4B、Qwen3.5-27B

• 风险奖励作弊
• 组件监控器
• +2+2

DrivingBench 发布：让视觉语言模型驾驶丰田 Corolla 绕桩

提出 DrivingBench，评测通用视觉语言模型能否闭环驾驶真车

arXiv

2609.38948

发表

9月30日

层

应用层

场景

具身与机器人

被测模型

GPT-6 Astra、Claude Fable 5.1、Grok 4.6 等 4 个

• 组件视觉

EngiWorld 基准发布：前沿 Agent 在专业工程环境中最高仅得 44.3 分

提出 EngiWorld 基准，评测 Agent 在专业工程软件中走完设计闭环的能力

arXiv

2609.37686

发表

9月29日

层

应用层

场景

网页与电脑操作

被测模型

Claude Opus 5 (Max)、GPT-5.6-Sol (XHigh)、Qwen 3.8 Max 等 7 个

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

被测模型

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 组件视觉

MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

提出 MMSkillRisk 基准，评测多模态技能图像中的隐藏指令诱导 Agent 越权操作

arXiv

2609.35912

发表

9月28日

层

应用层

场景

coding agent

被测模型

GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件MCP 与技能
• +3+3

TrustFork：显示身份如何劫持 LLM 智能体编排的权限

提出 TRUSTFORK 基准，评测展示身份劫持多智能体编排权限

arXiv

2609.32635

发表

9月26日

层

应用层

场景

多智能体、coding agent

被测模型

GPT-5.6-Sol、GPT-5.6-Luna、Kimi-K3 等 8 个

• 攻击提示注入
• +1+1

Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

提出 CAVE-BENCH，评测智能体在虚假指责下破坏已完成的正确工作

arXiv

2609.32616

发表

9月26日

层

应用层

场景

coding agent

被测模型

Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个

• 攻击提示注入
• 风险Agent 危险操作
• +2+2

SWE-Prometheus：衡量真实代码仓库工程治理改进的基准

提出 SWE-Prometheus 基准，评测编码智能体对真实仓库的工程治理改进

arXiv

2609.29465

发表

9月24日

层

应用层

场景

coding agent

被测模型

GPT-5.6-Sol、Claude-Opus-5、Kimi-K3 等 10 个

研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

构建 ACE 语料，评测内核级证据对 Agent 攻击检测的有效性

arXiv

2609.28915

发表

9月24日

层

应用层

场景

coding agent

被测模型

AdaBoost、XGBoost、TabPFN 等 10 个

• 攻击提示注入
• 组件MCP 与技能
• +2+2

NavSafe-∞：在真实感环境中评测闭环驾驶安全

提出 NAVSAFE-∞ 写真闭环基准，评测端到端驾驶策略的闭环安全

arXiv

2609.26618

发表

9月22日

层

应用层

场景

具身与机器人

被测模型

LTF、DiffusionDrive、DrivoR 等 13 个

• 风险Agent 危险操作

OSWorld-Pro 发布：面向 Computer-Use Agent 的过程式评测基准

提出 OSWorld-Pro，用顺序子目标过程评测计算机使用智能体

arXiv

2609.24890

发表

9月22日

层

应用层

场景

网页与电脑操作

被测模型

Claude Opus 5 Max、Claude Opus 4.8 Max、Claude Opus 4.7 Max 等 14 个

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

提出 MobileCybench，用可执行探针评测 Agent 的漏洞发现能力

arXiv

2609.23980

发表

9月21日

层

应用层

场景

coding agent

被测模型

OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个

• 风险危险能力

MATE：面向移动 Agent 的策略感知安全审计方法

提出移动 Agent 轨迹审计器 MATE，判断轨迹是否违反可编辑安全策略

arXiv

2609.22724

发表

9月19日

层

应用层

场景

网页与电脑操作

攻击者

黑盒

被测模型

MATE-0.5B、MATE-1.5B、MATE-3B

• 防御监控与审计
• 攻击恶意使用
• 风险Agent 危险操作
• 组件监控器

SafeStage：按执行前中后三阶段评测视觉语言机器人操作安全

提出 SafeStage 基准，分阶段评测视觉语言机器人操作的物理安全

arXiv

2609.21223

发表

9月18日

层

模型层

场景

具身与机器人

被测模型

π0.5、GR00T N1.7、DreamZero 等 4 个

• 风险Agent 危险操作