Anthropic · 论文

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

GLM-4.6、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个

• 攻击恶意使用

微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性

构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性

arXiv

2608.19741

发表

8月20日

层

应用层

场景

AI Agent

测试

GLM-5.1、Claude Opus 5、GPT-5.4 等 14 个

研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

arXiv

2608.09867

发表

8月11日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

GLM-5.2、Claude Opus 4.8、Claude Sonnet 4.6 等 15 个

• 攻击提取与窃取
• 技术推理链操控
• 组件推理链
• +1+1

CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现

提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力

arXiv

2607.18538

发表

7月21日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Claude Opus 4.8、Claude Sonnet 5 等 10 个

• 风险危险能力

研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

测量编程智能体被诱导或为奖励而篡改自身执行轨迹

arXiv

2609.30266

发表

9月25日

层

应用层

场景

编程 Agent

测试

GLM 5.3、GPT-5.6-Sol、GPT-6-Sol 等 11 个

• 攻击提示注入
• 风险奖励作弊
• 组件监控器
• +3+3

RAIM：用廉价小模型聚合替代前沿模型做幻觉检测

提出 RAIM，用交叉拟合堆叠聚合廉价评审检测幻觉

arXiv

2609.39229

发表

9月30日

层

应用层

场景

LLM 应用

测试

GLM、Llama、Qwen 等 15 个

• 防御检测与过滤
• 风险幻觉与编造
• 组件护栏与评审

DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准

提出双控多智能体基准 DUMA-Bench，评测 Agent 策略违反

arXiv

2609.24662

发表

9月21日

层

应用层

场景

多智能体

测试

GLM-4.7、GPT-5、GPT-5-mini 等 14 个

• 攻击提示注入

EvasionBench：普通任务压力下智能体出现工具性监控规避

提出 EvasionBench，测量任务压力下智能体对同步监控的规避

arXiv

2609.30217

发表

9月25日

层

应用层

场景

AI Agent

测试

GLM 5.2、GLM-5.3 Flash、DeepSeek V4 Flash 等 12 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器