Agent 安全 · 论文

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

• 攻击提示注入

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个

• 攻击恶意使用

Salesforce AI Research 重测自改进 Agent

重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

arXiv

2608.18066

发表

8月19日

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个

• 组件记忆

关键词式评测会误判小模型工具调用能力，论文提出廉价诊断阶梯

提出诊断阶梯，揭示关键词工具调用评测的假阳性

arXiv

2610.02142

发表

10月1日

层

模型层

场景

模型与 API

测试

VectraYX-600M、VectraYX-1B

AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销

arXiv

2609.19140

发表

9月17日

层

应用层

场景

网页与电脑操作

测试

Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个

• 攻击提示注入

NavSafe-∞：在真实感环境中评测闭环驾驶安全

提出闭环基准 NAVSAFE-∞，评测端到端驾驶策略的安全关键事件表现

arXiv

2609.26618

发表

9月22日

层

应用层

场景

具身与机器人

测试

Human Driver Reference、PDM-Closed、LTF 等 15 个

• 风险Agent 危险操作

OSWorld-Science：面向科学软件学习与使用的计算机操作智能体基准

提出 OSWorld-Science 评测计算机使用智能体的科学软件操作能力

arXiv

2609.39903

发表

9月30日

层

应用层

场景

网页与电脑操作

测试

Claude Fable 5.1、Claude Opus 5、Claude Sonnet 5 等 12 个

Box² Bench：语言模型能否有选择地依赖外部指导

提出 Box2-Bench，评测模型能否选择性依赖外部工作流

arXiv

2609.39578

发表

9月30日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Gemini 3.7 Flash、DeepSeek V4 Flash、GLM 5.2 等 9 个

FAME：用反事实推理评测自主智能体的虚假记忆

提出 FAME，用反事实概念漂移评测智能体虚假记忆

arXiv

2609.39473

发表

9月30日

层

模型层

场景

模型与 API

测试

Llama-3B

• 组件记忆

AgentTell：浏览器 Agent 的行为侧信道泄漏基准

构建 AGENTTELL 基准，测量浏览器智能体跨站行为侧信道泄露

arXiv

2609.32915

发表

9月26日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Gemini 3.7 Flash、GPT-5.6 Luna 等 6 个

• 风险Agent 危险操作

SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

提出 SYNCHAIN，诱导计算机使用 Agent 自合成潜伏技能并跨任务触发

arXiv

2608.06862

发表

8月7日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 5 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件MCP 与技能
• +3+3

SafeStage：按执行前中后三阶段评测视觉语言机器人操作安全

提出 SafeStage，分执行前中后评测视觉语言机器人操作安全

arXiv

2609.21223

发表

9月18日

层

应用层

场景

具身与机器人

测试

π0.5、GR00T N1.7、DreamZero 等 4 个

• 风险Agent 危险操作

EngiWorld 基准发布：前沿 Agent 在专业工程环境中最高仅得 44.3 分

提出 EngiWorld 基准，评测 Agent 在专业工程软件中走完设计闭环的能力

arXiv

2609.37686

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Claude Opus 5 (Max)、GPT-5.6-Sol (XHigh)、Qwen 3.8 Max 等 7 个

CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行

AI 导读作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。

arXiv

2609.03438

发表

9月3日

层

应用层

场景

网页与电脑操作

测试

UI-Venus-1.5-8B、UI-TARS-1.5-7B、OS-Atlas-Base-7B 等 10 个

• 防御推理时干预
• 风险Agent 危险操作
• 组件视觉