红队 · 论文

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

• 攻击提示注入

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个

• 风险欺骗与谋划
• 组件监控器

MisKnow-Agent 评测

提出 MisKnow-Agent，评测深度研究智能体是否采纳误导性检索知识

arXiv

2607.20891

发表

7月23日

层

应用层

场景

AI Agent

测试

Gemini Deep Research、DeepSeek-V4 Pro、Qwen3.5-397B 等 4 个

• 攻击投毒与后门
• 组件RAG

OpenART 提出环境演化红队框架

提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全

arXiv

2608.00677

发表

8月1日

层

应用层

场景

编程 Agent

测试

GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个

• 攻击提示注入
• 技术自动化搜索

研究系统比较六种越狱评测器的可靠性

比较多种越狱评审器与人工标签的一致性

arXiv

2609.10594

发表

9月7日

层

提示层

场景

模型与 API

测试

orcarouter/Qwen3.8-27B-Uncensored、Llama 2 13B、Vicuna 13B 等 7 个

• 组件护栏与评审

ACEA：面向红蓝队对抗的 LLM 协同演化测试平台

提出红蓝对抗评测平台 ACEA，分开计量攻击强度与防御效果

arXiv

2609.08256

发表

9月8日

层

提示层

场景

模型与 API

测试

openai/gpt-4o、google/gemini-2.5-pro、google/gemma-3-27b-it 等 5 个

• 攻击越狱
• 组件护栏与评审

自主网络事件响应智能体的网络靶场评估

评测仿真训练的网络事件响应智能体在靶场中阻止红队扩大访问的综合代价

arXiv

2609.16541

发表

9月15日

层

应用层

场景

AI Agent

测试

Vejde、Vejde w/ Noise、Heuristic 等 4 个

红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器

红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固

arXiv

2609.19587

发表

9月17日

层

应用层

场景

编程 Agent

测试

Opus 5、Opus 4.8、Opus 4.7 等 8 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

EvasionBench：普通任务压力下智能体出现工具性监控规避

提出 EvasionBench，测量任务压力下智能体对同步监控的规避

arXiv

2609.30217

发表

9月25日

层

应用层

场景

AI Agent

测试

GLM 5.2、DeepSeek V4 Flash、Muse Spark 1.3 等 12 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

VEX-Bench：评测 LLM 生成虚假信息的核验复杂度

提出 VEX-Bench 评测 LLM 生成虚假信息的核查复杂度

arXiv

2609.35028

发表

9月28日

层

提示层

场景

模型与 API

测试

Claude Sonnet 4.5、Gemini 3.1 Pro、GPT-5.4 等 7 个

• 攻击恶意使用