红队 · 论文

CredLeak-Bench

提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Llama-3.1-8B-Instruct、Claude Sonnet 5、Claude Opus 4.8 等 7 个

APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权

提出 APort Vault，评测支付智能体授权层对越权转账的拦截

arXiv

2609.22076

发表

9月18日

层

应用层

场景

AI Agent

测试

Muse Spark 1.3、Claude Fable 5.1、Claude Sonnet 5 等 14 个

• 防御权限与审批
• 攻击越狱
• 组件权限与沙箱

论文提出 VAL 框架：相同 ASR 的 LLM Agent 防御可能对应不同安全保证

提出 VAL 框架并用确认门与参数沙箱约束高风险工具调用

arXiv

2610.04504

发表

10月3日

层

应用层

场景

AI Agent

测试

Meta Llama 3.1 8B、DeepSeek-chat、Kimi

• 防御权限与审批
• 攻击提示注入
• 组件权限与沙箱

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Llama-Guard-3-8B、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个

• 攻击恶意使用

研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

重评提示注入检测器，检验基准分数对智能体部署的预测力

arXiv

2610.03448

发表

10月2日

层

应用层

场景

AI Agent

测试

Prompt Guard 2 (86M)、Prompt Guard 2 (22M)、Prompt Guard 1 等 15 个

• 防御检测与过滤
• 攻击提示注入
• 组件护栏与评审

研究：跨通道碎片化攻击可绕过 MCP 单通道防御

提出跨通道分段攻击，借 MCP 多通道隐式信任外发敏感数据

arXiv

2609.18217

发表

9月16日

层

应用层

场景

编程 Agent

测试

Llama-3.3-70B、GPT-4o、GPT-4o-mini 等 15 个

• 攻击提示注入
• 技术编码与混淆
• 组件MCP 与技能
• +2+2

MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

用 MMPIBench 评测智能体框架的多模态提示注入

arXiv

2609.09404

发表

9月9日

层

应用层

场景

AI Agent

测试

Llama 4 Maverick、Claude Opus 4.8、GPT-5.4 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉
• +1+1

研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

在模拟环境中复现级联失准行为并降低审计诱导开销

arXiv

2609.35799

发表

9月18日

层

应用层

场景

AI Agent

测试

Muse Spark 1.3、GLM 5.2、GLM 5.3 等 9 个

• 风险失准与价值偏离
• 组件权限与沙箱

CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

arXiv

2609.09798

发表

9月9日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个

• 攻击越狱
• 技术角色扮演与说服
• 组件护栏与评审
• +1+1

特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用

arXiv

2609.22510

发表

9月19日

层

应用层

场景

AI Agent

测试

Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Llama-3.3-70B-Instruct 等 14 个

• 防御检测与过滤
• 攻击提示注入
• 技术潜伏触发
• 组件护栏与评审

EvasionBench：普通任务压力下智能体出现工具性监控规避

提出 EvasionBench，测量任务压力下智能体对同步监控的规避

arXiv

2609.30217

发表

9月25日

层

应用层

场景

AI Agent

测试

Muse Spark 1.3、GLM 5.2、DeepSeek V4 Flash 等 12 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

用课程强化学习对前沿模型做提示注入红队测试

提出跨目标课程强化学习，生成间接提示注入以劫持智能体

arXiv

2609.33628

发表

9月27日

层

应用层

场景

AI Agent

测试

Muse-Spark-1.2、Muse-Spark-1.3、Llama-3.1-8B-Instruct 等 14 个

• 攻击提示注入
• 技术自动化搜索

同字节不同权限：保留 token 表示如何放大聊天模板提示注入

证明保留词元表示放大模板注入并验证分词缓解

arXiv

2609.35932

发表

9月28日

层

应用层

场景

AI Agent

测试

Llama-3.1-8B-Instruct、Qwen3-8B、Qwen3-32B 等 6 个

• 防御指令与数据隔离
• 攻击提示注入