红队 · 论文

CredLeak-Bench

提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、GPT-5.6-luna、Claude Sonnet 5 等 7 个

APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权

提出 APort Vault，评测支付智能体授权层对越权转账的拦截

arXiv

2609.22076

发表

9月18日

层

应用层

场景

AI Agent

测试

GPT-6 Astra、GPT-5.6 Terra、GPT-5.6 Luna 等 14 个

• 防御权限与审批
• 攻击越狱
• 组件权限与沙箱

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

GPT-5.4、Claude-Opus-4.6、Gemini-3.1-Pro 等 5 个

• 风险欺骗与谋划
• 组件监控器

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

DeepSeek V4 Flash、GLM-5.2、Qwen3.8-27B 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

宾州州立大学提出 TPRS，量化 Agent 安全基准中工具命名对 ASR 的影响

提出 TPRS，量化工具命名等表征变化对智能体安全基准得分的影响

arXiv

2610.03585

发表

10月2日

层

应用层

场景

AI Agent

测试

GPT-5-mini、GPT-4o-mini、Claude Haiku 4.5

• 攻击提示注入
• 组件MCP 与技能
• +1+1

MLCommons 发布 Jailbreak Benchmark v1.0

构建 MLCommons 越狱基准以测量模型的单轮越狱韧性

arXiv

2610.02827

发表

10月2日

层

提示层

场景

模型与 API

测试

DeepSeek-V4-Pro、GPT-OSS 120B、Gemma 3N E4B Instruct 等 8 个

• 攻击越狱

EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

提出 EvoRiskBench，评测工作区智能体的运行时安全风险

arXiv

2610.03153

发表

10月2日

层

应用层

场景

编程 Agent、多智能体

测试

GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

• 攻击提示注入
• 组件MCP 与技能

MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

用 MMPIBench 评测智能体框架的多模态提示注入

arXiv

2609.09404

发表

9月9日

层

应用层

场景

AI Agent

测试

GPT-5.4、gpt-audio、Claude Opus 4.8 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉
• +1+1

ActBench：面向协作智能体行为安全的自演化基准

构建 ActBench 评测协作智能体多步执行中的操作级行为安全

arXiv

2608.09476

发表

8月10日

层

应用层

场景

编程 Agent

测试

GPT-5.5、GPT-5.4-mini、Deepseek-v4-Pro 等 15 个

• 攻击提示注入
• 组件记忆
• +1+1

研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

在模拟环境中复现级联失准行为并降低审计诱导开销

arXiv

2609.35799

发表

9月18日

层

应用层

场景

AI Agent

测试

GPT 5.6 Sol、GLM 5.2、GLM 5.3 等 9 个

• 风险失准与价值偏离
• 组件权限与沙箱

MisKnow-Agent 评测

提出 MisKnow-Agent，评测深度研究智能体是否采纳误导性检索知识

arXiv

2607.20891

发表

7月23日

层

应用层

场景

AI Agent

测试

DeepSeek-V4 Pro、Gemini Deep Research、Qwen3.5-397B 等 4 个

• 攻击投毒与后门
• 组件RAG

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用

arXiv

2609.23980

发表

9月21日

层

应用层

场景

编程 Agent

测试

OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个

• 风险危险能力

ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务

arXiv

2609.19892

发表

9月17日

层

应用层

场景

编程 Agent

测试

DeepSeek-V4-Flash-0731、GPT-5.5、GPT-5.6-Luna 等 15 个

• 风险Agent 危险操作

OpenART 提出环境演化红队框架

提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全

arXiv

2608.00677

发表

8月1日

层

应用层

场景

编程 Agent

测试

GPT-5.5、DeepSeek-V4-Pro、Claude-Opus-4.8 等 5 个

• 攻击提示注入
• 技术自动化搜索

研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险

构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险

arXiv

2608.12851

发表

8月13日

层

应用层

场景

编程 Agent

测试

Codex、Claude Code、Hermes 等 6 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆

研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败

提出预算化发现框架，优先深评更可能隐藏失败的安全提示词

arXiv

2609.32547

发表

9月26日

层

模型层

场景

模型与 API

测试

GPT-4o-mini、openai/gpt-4o-mini、Qwen 2.5 7B 等 6 个

• 风险拒答失当

CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

arXiv

2609.09798

发表

9月9日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B、GPT5-mini 等 7 个

• 攻击越狱
• 技术角色扮演与说服
• 组件护栏与评审
• +1+1

红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器

红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固

arXiv

2609.19587

发表

9月17日

层

应用层

场景

编程 Agent

测试

GPT 5.6 Luna、Opus 5、Opus 4.8 等 8 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

CART：面向大语言模型的闭环自适应红队框架

提出闭环自适应红队框架 CART，评测模型与工具 Agent 的风险面

arXiv

2609.27336

发表

9月23日

层

应用层

场景

AI Agent

测试

GPT-5.5、DeepSeek V4 Pro、Claude Opus 4.8 等 7 个

• 攻击越狱
• +1+1

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

提出 AgentCyberRange，评测智能体自主实施网络攻击的能力

arXiv

2606.14295

发表

6月12日

层

应用层

场景

编程 Agent

测试

GPT-5.5、DeepSeek-V4-Pro、Claude-Opus-4.7 等 7 个

• 风险危险能力