红队 · 论文

CredLeak-Bench

提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权

提出 APort Vault，评测支付智能体授权层对越权转账的拦截

arXiv

2609.22076

发表

9月18日

层

应用层

场景

AI Agent

测试

Claude Fable 5.1、Claude Sonnet 5、Claude Haiku 4.5 等 14 个

• 防御权限与审批
• 攻击越狱
• 组件权限与沙箱

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个

• 攻击恶意使用

MLCommons 发布 Jailbreak Benchmark v1.0

构建 MLCommons 越狱基准以测量模型的单轮越狱韧性

arXiv

2610.02827

发表

10月2日

层

提示层

场景

模型与 API

测试

Gemma 3N E4B Instruct、LFM2-24B-A2B、Qwen 2.5 7B Instruct Turbo 等 8 个

• 攻击越狱

EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

提出 EvoRiskBench，评测工作区智能体的运行时安全风险

arXiv

2610.03153

发表

10月2日

层

应用层

场景

编程 Agent、多智能体

测试

GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

• 攻击提示注入
• 组件MCP 与技能

ActBench：面向协作智能体行为安全的自演化基准

构建 ActBench 评测协作智能体多步执行中的操作级行为安全

arXiv

2608.09476

发表

8月10日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个

• 攻击提示注入
• 组件记忆
• +1+1

研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险

构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险

arXiv

2608.12851

发表

8月13日

层

应用层

场景

编程 Agent

测试

Claude Code、Codex、Hermes 等 6 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆

DIVA：利用视觉锚点对视频生成模型实施多模态越狱

提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型

arXiv

2609.07216

发表

9月7日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Wan、CogVideoX、LTX-Video 等 9 个

• 攻击越狱
• 技术跨模态载荷
• 组件图像生成
• +2+2

ACEA：面向红蓝队对抗的 LLM 协同演化测试平台

提出红蓝对抗评测平台 ACEA，分开计量攻击强度与防御效果

arXiv

2609.08256

发表

9月8日

层

提示层

场景

模型与 API

测试

openai/gpt-4o、google/gemini-2.5-pro、google/gemma-3-27b-it 等 5 个

• 攻击越狱
• 组件护栏与评审

CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

arXiv

2609.09798

发表

9月9日

层

应用层

场景

编程 Agent

攻击者

黑盒

测试

CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个

• 攻击越狱
• 技术角色扮演与说服
• 组件护栏与评审
• +1+1

AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销

arXiv

2609.19140

发表

9月17日

层

应用层

场景

网页与电脑操作

测试

Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个

• 攻击提示注入

CART：面向大语言模型的闭环自适应红队框架

提出闭环自适应红队框架 CART，评测模型与工具 Agent 的风险面

arXiv

2609.27336

发表

9月23日

层

应用层

场景

AI Agent

测试

Claude Opus 4.8、GPT-5.5、Grok 4.3 等 7 个

• 攻击越狱
• +1+1

Fair-ASR：在共享目标调用预算下重新评测黑盒越狱攻击

在共享目标调用预算下重评黑盒越狱并提出 ReCode

arXiv

2608.17360

发表

8月18日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、gpt-oss-20b 等 11 个

• 攻击越狱

FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力

arXiv

2608.03070

发表

8月4日

层

提示层

场景

模型与 API

测试

Claude Fable 5、Claude Opus 4.8、GPT-5.6 Sol 等 8 个

• 攻击越狱
• 组件护栏与评审

ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击

提出 ECLIPSE 双通道自演化提示注入，劫持长程智能体动作轨迹

arXiv

2608.30441

发表

8月31日

层

应用层

场景

AI Agent

攻击者

黑盒

测试

DeepSeek、GPT-4o、Claude 4.8 Opus 等 7 个

• 攻击提示注入
• 技术自动化搜索
• 组件MCP 与技能
• +2+2

TrustFork：显示身份如何劫持 LLM 智能体编排的权限

提出 TRUSTFORK，评测展示身份如何劫持多智能体编排的操作权限

arXiv

2609.32635

发表

9月26日

层

应用层

场景

多智能体

测试

GPT-5.6-Sol、GPT-5.6-Luna、Kimi-K3 等 8 个

• 技术诱导选用

SoK 论文提出 FARSIGHT 框架，评测 15 个学术金融 LLM 交易 Agent 的鲁棒性与安全失败

用 FARSIGHT 方案级评测金融 LLM 交易 Agent 的稳健性与安全

arXiv

2609.19705

发表

9月17日

层

应用层

场景

AI Agent

测试

GPT-4、GPT-4o、GPT-4o-mini 等 7 个

• 攻击提示注入
• 风险Agent 危险操作
• 组件记忆
• +1+1

AgentXploit：面向 AI Agent 的仓库到运行时自动化红队系统

提出 AgentXploit 红队系统，分离仓库攻击路径发现与运行时利用

arXiv

2609.31318

发表

9月25日

层

应用层

场景

AI Agent

测试

gpt-5.1-codex、GPT-4.1

• 攻击提示注入
• 技术自动化搜索

VEX-Bench：评测 LLM 生成虚假信息的核验复杂度

提出 VEX-Bench 评测 LLM 生成虚假信息的核查复杂度

arXiv

2609.35028

发表

9月28日

层

提示层

场景

模型与 API

测试

Claude Sonnet 4.5、Gemini 3.1 Pro、GPT-5.4 等 7 个

• 攻击恶意使用