Agent 安全 · 论文

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测电商引导下购物智能体是否偏离用户最优选择

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

用时序逻辑监控工具 Agent

提出基于 MonPoly 的时序逻辑监控，离线检出工具智能体危险动作链

arXiv

2610.09793

发表

10月7日

层

应用层

场景

AI Agent

测试

GPT-4o、Sonnet-3.5

• 防御权限与审批
• 攻击提示注入
• 组件监控器

CredLeak-Bench

提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

arXiv

2604.02623

发表

4月

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +1+1

WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

arXiv

2610.09240

发表

10月7日

层

应用层

场景

网页与电脑操作

测试

LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉
• +1+1

UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

提出 BENCHJACK，自动审计智能体基准的奖励作弊缺陷

arXiv

2605.12673

发表

5月12日

层

应用层

场景

编程 Agent、网页与电脑操作

测试

Claude Code、OpenAI Codex

• 风险奖励作弊
• 组件护栏与评审
• +1+1

APEX：在 LLM Agent 执行边界主动防御间接提示注入

提出 APEX，在执行边界以授权契约拦截智能体间接提示注入

arXiv

2610.06966

发表

10月4日

层

应用层

场景

AI Agent

测试

DeepSeek-V4-Flash、GLM-5.2、GPT-5.6-sol 等 4 个

• 防御权限与审批
• 攻击提示注入
• 组件权限与沙箱
• +2+2

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

提出 multi-CaMeL，在多智能体调用边界隔离可信指令与不可信数据

arXiv

2610.05640

发表

10月5日

层

应用层

场景

多智能体

测试

Claude Fable 5、GPT-5.5、GPT-4.1 等 6 个

• 防御指令与数据隔离
• 攻击提示注入

COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

提出 COBRA 双 LLM 架构，防御计算机使用智能体的分支转向攻击

arXiv

2610.03089

发表

10月2日

层

应用层

场景

网页与电脑操作

测试

gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

• 防御指令与数据隔离
• 组件权限与沙箱
• +2+2

CAVA：面向智能体 AI 运行时治理的规范动作验证与证明

提出 CAVA，把异构智能体运行时事件规范成可哈希动作并绑定审批与回执

arXiv

2607.13716

发表

7月15日

层

应用层

场景

AI Agent

• 防御权限与审批
• 风险Agent 危险操作
• 组件权限与沙箱

SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%

提出 SecOPD 同策略蒸馏微调，降低模型对自适应提示注入的顺从

arXiv

2608.21500

发表

8月22日

层

应用层

场景

AI Agent

测试

Qwen3.6-27B (Undefended)、Meta-SecAlign、SecOPD

• 防御模型加固
• 攻击提示注入

SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架

提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略

arXiv

2609.02786

发表

9月3日

层

应用层

场景

AI Agent

测试

Qwen3.5-4B、Qwen3-4B-Instruct-2507、Qwen3.5-1.7B 等 4 个

• 防御模型加固
• 攻击提示注入
• +2+2

SCOPE：训练有能力且安全的计算机使用智能体

提出 SCOPE 联合后训练计算机使用智能体的任务执行与安全决策

arXiv

2609.22178

发表

8月27日

层

应用层

场景

网页与电脑操作

测试

Qwen3.5-9B、SCOPE-mid-checkpoint、SCOPE-Capability-Safety 等 14 个

• 防御模型加固
• 攻击提示注入

SkillGuard：面向间接提示注入的 LLM Agent 能力限制机制

提出 SkillGuard，用可达性切断污染后通往禁止状态的技能调用

arXiv

2608.30041

发表

8月31日

层

应用层

场景

AI Agent

测试

Gemini 2.5 Flash、Llama3.3-70B

• 防御权限与审批
• 攻击提示注入
• 组件权限与沙箱

UCM：为网页智能体遮蔽不可信内容以提供安全保证

提出 UCM，用 DOM 掩码与类型受限隔离模型隔开网页智能体与不可信内容

arXiv

2607.05277

发表

7月7日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 4.5、Claude Sonnet 4.6、GPT-5.4

• 防御指令与数据隔离
• 攻击提示注入

PACE：面向工具调用 LLM Agent 的来源感知能力强制执行

提出 PACE，在工具调用前对 Agent 做路径隔离与效果授权

arXiv

2610.01349

发表

10月2日

层

应用层

场景

AI Agent

测试

gpt-5.6-luna、DeepSeek-V4-Flash、Qwen-3.8-27B

• 防御指令与数据隔离
• 攻击提示注入
• 组件MCP 与技能
• +1+1

可验证行动卡片 VAC：为智能体浏览器提供可信人在回路确认

提出 VAC，用真实操作参数与来源隔离保护智能体浏览器确认

arXiv

2609.18411

发表

9月16日

层

应用层

场景

网页与电脑操作

测试

gpt-oss-120b、Gemini-2.5-Flash、GPT-4.1 等 6 个

• 防御权限与审批
• 攻击提示注入
• 组件权限与沙箱
• +1+1

特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用

arXiv

2609.22510

发表

9月19日

层

应用层

场景

AI Agent

测试

Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 14 个

• 防御检测与过滤
• 攻击提示注入
• 技术潜伏触发
• 组件护栏与评审

用课程强化学习对前沿模型做提示注入红队测试

提出跨目标课程强化学习，生成间接提示注入以劫持智能体

arXiv

2609.33628

发表

9月27日

层

应用层

场景

AI Agent

测试

Qwen3-4B-Instruct-2507、GPT-4o-mini、GPT-5-nano 等 14 个

• 攻击提示注入
• 技术自动化搜索