Agent 安全 · 论文

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测电商引导下购物智能体是否偏离用户最优选择

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

CredLeak-Bench

提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准

提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御

arXiv

2605.01970

发表

5月3日

层

应用层

场景

AI Agent

测试

Gemini 3.1 Pro、GPT-5-mini、GPT-5

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +2+2

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

构建统一滥用监视基准，用危害窗口评测跨威胁动作监控

arXiv

2610.07089

发表

10月5日

层

应用层

场景

AI Agent

测试

Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个

• 防御监控与审计
• 攻击越狱
• 技术多轮渐进
• 组件监控器
• +1+1

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

COPEX：面向 MCP 智能体的受控攻击评测基准发布

用 COPEX 基准在固定协议栈下评测智能体抵御 MCP 攻击的能力

arXiv

2610.04378

发表

10月3日

层

应用层

场景

AI Agent

测试

Claude Opus 4.7、Claude Sonnet 4.6、GPT-5.5 等 9 个

• 攻击提示注入
• 组件MCP 与技能

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个

• 攻击恶意使用

宾州州立大学提出 TPRS，量化 Agent 安全基准中工具命名对 ASR 的影响

提出 TPRS，量化工具命名等表征变化对智能体安全基准得分的影响

arXiv

2610.03585

发表

10月2日

层

应用层

场景

AI Agent

测试

GPT-5-mini、Claude Haiku 4.5、GPT-4o-mini

• 攻击提示注入
• 组件MCP 与技能
• +1+1

研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

重评提示注入检测器，检验基准分数对智能体部署的预测力

arXiv

2610.03448

发表

10月2日

层

应用层

场景

AI Agent

测试

Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个

• 防御检测与过滤
• 攻击提示注入
• 组件护栏与评审

EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

提出 EvoRiskBench，评测工作区智能体的运行时安全风险

arXiv

2610.03153

发表

10月2日

层

应用层

场景

编程 Agent、多智能体

测试

GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

• 攻击提示注入
• 组件MCP 与技能

ActBench：面向协作智能体行为安全的自演化基准

构建 ActBench 评测协作智能体多步执行中的操作级行为安全

arXiv

2608.09476

发表

8月10日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个

• 攻击提示注入
• 组件记忆
• +1+1

OpenART 提出环境演化红队框架

提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全

arXiv

2608.00677

发表

8月1日

层

应用层

场景

编程 Agent

测试

GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个

• 攻击提示注入
• 技术自动化搜索

论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

评测编码智能体记忆文件中的提示注入及其跨会话持久性

arXiv

2607.14611

发表

7月16日

层

应用层

场景

编程 Agent

测试

Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +1+1

ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用

提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用

arXiv

2601.10156

发表

1月15日

层

应用层

场景

AI Agent

测试

GPT-4o、Qwen3-8B、Qwen2.5-7B-Instruct 等 10 个

• 防御检测与过滤
• 攻击越狱
• 组件护栏与评审
• +1+1

CART：面向大语言模型的闭环自适应红队框架

提出闭环自适应红队框架 CART，评测模型与工具 Agent 的风险面

arXiv

2609.27336

发表

9月23日

层

应用层

场景

AI Agent

测试

Claude Opus 4.8、GPT-5.5、Grok 4.3 等 7 个

• 攻击越狱
• +1+1

研究评测 14 个模型对不可靠工具的过度依赖

评测 Agent 对不可靠工具返回的过度依赖

arXiv

2609.05587

发表

9月5日

层

应用层

场景

AI Agent

测试

Qwen3-235B、Qwen3-235B-Think、Qwen3-30B 等 15 个

• 攻击提示注入

S³：用多阶段防御提升 LLM 智能体安全

提出 S³ 多阶段防御，由 guard agent 编排阶段安全技能检测并缓解风险

arXiv

2608.02683

发表

8月3日

层

应用层

场景

AI Agent

测试

DeepSeek-V4-Pro、DeepSeek-V4-Flash

• 防御监控与审计
• 攻击投毒与后门
• 风险Agent 危险操作
• 组件监控器
• +3+3

ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击

提出 ECLIPSE 双通道自演化提示注入，劫持长程智能体动作轨迹

arXiv

2608.30441

发表

8月31日

层

应用层

场景

AI Agent

攻击者

黑盒

测试

DeepSeek、GPT-4o、Claude 4.8 Opus 等 7 个

• 攻击提示注入
• 技术自动化搜索
• 组件MCP 与技能
• +2+2

Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

提出 CAVE-BENCH，评测智能体遭虚假指责后是否破坏已正确的工作

arXiv

2609.32616

发表

9月26日

层

应用层

场景

编程 Agent

测试

Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个

• 攻击提示注入
• 风险失准与价值偏离