红队 · 论文

LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

arXiv

2608.04741

发表

8月5日

层

应用层

场景

网页与电脑操作

测试

GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

• 攻击提示注入
• 技术自动化搜索

CredLeak-Bench

提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

arXiv

2610.09240

发表

10月7日

层

应用层

场景

网页与电脑操作

测试

LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉
• +1+1

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

研究者训练出按多智能体拓扑触发的代码后门模型

微调植入拓扑条件后门，使代码模型在推断多智能体部署时插入隐蔽漏洞

arXiv

2610.05793

发表

10月5日

层

训练与数据层

场景

编程 Agent

测试

Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

• 攻击投毒与后门
• 风险欺骗与谋划
• 技术潜伏触发
• 组件微调与开源权重

研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入

arXiv

2610.05163

发表

10月4日

层

应用层

场景

编程 Agent

测试

Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个

• 防御监控与审计
• 攻击提示注入
• 组件监控器

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个

• 攻击恶意使用

EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

提出 EvoRiskBench，评测工作区智能体的运行时安全风险

arXiv

2610.03153

发表

10月2日

层

应用层

场景

编程 Agent、多智能体

测试

GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

• 攻击提示注入
• 组件MCP 与技能

COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

提出 COBRA 双 LLM 架构，防御计算机使用智能体的分支转向攻击

arXiv

2610.03089

发表

10月2日

层

应用层

场景

网页与电脑操作

测试

gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

• 防御指令与数据隔离
• 组件权限与沙箱
• +2+2

ActBench：面向协作智能体行为安全的自演化基准

构建 ActBench 评测协作智能体多步执行中的操作级行为安全

arXiv

2608.09476

发表

8月10日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个

• 攻击提示注入
• 组件记忆
• +1+1

OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体

提出自博弈红队智能体 GPT-Red，自动挖掘提示注入与越狱攻击

arXiv

2607.26115

发表

7月29日

层

应用层

场景

AI Agent

攻击者

黑盒

测试

GPT-5.6、GPT-5.5、GPT-5.4 等 8 个

• 攻击提示注入
• 技术自动化搜索
• +1+1

SCOPE：训练有能力且安全的计算机使用智能体

提出 SCOPE 联合后训练计算机使用智能体的任务执行与安全决策

arXiv

2609.22178

发表

8月27日

层

应用层

场景

网页与电脑操作

测试

Qwen3.5-9B、SCOPE-mid-checkpoint、SCOPE-Capability-Safety 等 14 个

• 防御模型加固
• 攻击提示注入

OpenART 提出环境演化红队框架

提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全

arXiv

2608.00677

发表

8月1日

层

应用层

场景

编程 Agent

测试

GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个

• 攻击提示注入
• 技术自动化搜索

论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码

提出基准投毒攻击，使自修改编码智能体跨代写出漏洞代码

arXiv

2609.17817

发表

9月16日

层

应用层

场景

编程 Agent

测试

Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 6 个

• 攻击投毒与后门
• 技术潜伏触发

BadAction：通过动作引导触发器对交互式视频生成模型实施后门攻击

提出 BadAction，通过动作触发器给交互式视频生成植入后门

arXiv

2609.39047

发表

9月30日

层

训练与数据层

场景

模型与 API

测试

Astra (Wan2.1-T2V-1.3B)

• 攻击投毒与后门
• 技术潜伏触发
• 组件微调与开源权重
• +1+1

SoK 论文提出 FARSIGHT 框架，评测 15 个学术金融 LLM 交易 Agent 的鲁棒性与安全失败

用 FARSIGHT 方案级评测金融 LLM 交易 Agent 的稳健性与安全

arXiv

2609.19705

发表

9月17日

层

应用层

场景

AI Agent

测试

GPT-4、GPT-4o、GPT-4o-mini 等 7 个

• 攻击提示注入
• 风险Agent 危险操作
• 组件记忆
• +1+1

特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用

arXiv

2609.22510

发表

9月19日

层

应用层

场景

AI Agent

测试

Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 14 个

• 防御检测与过滤
• 攻击提示注入
• 技术潜伏触发
• 组件护栏与评审

用课程强化学习对前沿模型做提示注入红队测试

提出跨目标课程强化学习，生成间接提示注入以劫持智能体

arXiv

2609.33628

发表

9月27日

层

应用层

场景

AI Agent

测试

Qwen3-4B-Instruct-2507、GPT-4o-mini、GPT-5-nano 等 14 个

• 攻击提示注入
• 技术自动化搜索