Agent 安全 · 论文

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突

提出 SpecGuard，在编码 Agent 执行前证明任务与测试冲突

arXiv

2610.09159

发表

10月7日

层

应用层

场景

编程 Agent

测试

GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个

• 风险奖励作弊

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

arXiv

2605.16626

发表

5月

层

应用层

场景

编程 Agent

测试

Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个

• 风险欺骗与谋划
• 组件监控器

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

研究者训练出按多智能体拓扑触发的代码后门模型

提出拓扑条件后门，使模型在推断多智能体部署时向代码插入隐蔽漏洞

arXiv

2610.05793

发表

10月5日

层

训练与数据层

场景

编程 Agent、多智能体

测试

Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

• 攻击投毒与后门
• 技术潜伏触发
• 组件微调与开源权重

犯罪学框架测试生成式 AI 的奖励作弊

测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距

arXiv

2610.04793

发表

10月4日

层

应用层

场景

编程 Agent

测试

Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个

• 风险奖励作弊

HackTrace：用生成状态监督检测代码生成中的奖励作弊

提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

arXiv

2610.03055

发表

10月2日

层

应用层

场景

编程 Agent

测试

Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个

• 防御监控与审计
• 风险奖励作弊
• 组件监控器

研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持

arXiv

2607.12340

发表

7月14日

层

应用层

场景

编程 Agent

测试

GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 10 个

• 攻击投毒与后门
• 风险幻觉与编造
• 技术诱导选用
• 组件MCP 与技能
• +1+1

研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”

用演化算法构造思维病毒并测量其在多智能体中的传播

arXiv

2608.10218

发表

8月11日

层

应用层

场景

多智能体、编程 Agent

测试

Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.6 等 9 个

• 风险失准与价值偏离
• 组件记忆

论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码

提出基准投毒攻击，使自修改编码智能体跨代写出漏洞代码

arXiv

2609.17817

发表

9月16日

层

应用层

场景

编程 Agent

测试

Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 6 个

• 攻击投毒与后门
• 技术潜伏触发

AuraForge：为训练安全编码 Agent 扩展安全监督

提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

arXiv

2610.00850

发表

10月2日

层

训练与数据层

场景

编程 Agent

测试

Qwen3.5-4B、Muse Spark 1.3、DeepSeek-V4.1-Flash 等 11 个

• 防御模型加固
• 风险Agent 危险操作

SchemeArena：面向 LLM 智能体谋划的因子化压力测试基准

提出 SchemeArena 因子化评测智能体的谋划倾向

arXiv

2609.08126

发表

9月8日

层

应用层

场景

编程 Agent

测试

Qwen3-8B、Qwen3-32B、o4-mini 等 5 个

• 风险欺骗与谋划
• 组件监控器
• +1+1

研究者发布 SWE-Bench Pro Verified，修正奖励作弊与任务质量问题

构建 SWE-Bench Pro Verified，抑制编码智能体的奖励破解和任务缺陷

arXiv

2609.08149

发表

9月8日

层

应用层

场景

编程 Agent

测试

GPT-5.6-Sol、Kimi-K3、GLM-5.3 等 7 个

• 风险奖励作弊

研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

评测编程 Agent 篡改自身轨迹以破坏审计并获取奖励

arXiv

2609.30266

发表

9月25日

层

应用层

场景

编程 Agent

测试

GPT-5.6-Sol、GPT-6-Sol、Opus-5 等 11 个

• 风险奖励作弊
• 组件监控器
• +1+1

论文提出基准完整性维护框架，审计 Agent 通过轨迹中的非应得通过

提出过程核验框架，审计 Agent 基准的无根据通过与奖励黑客

arXiv

2609.34262

发表

9月28日

层

应用层

场景

编程 Agent

测试

Opus 4.7、Opus 4.8、Opus 5 等 11 个

• 防御监控与审计
• 风险奖励作弊
• 组件护栏与评审
• +1+1

Box² Bench：语言模型能否有选择地依赖外部指导

提出 Box2-Bench，评测模型能否选择性依赖外部工作流

arXiv

2609.39578

发表

9月30日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Gemini 3.7 Flash、DeepSeek V4 Flash、GLM 5.2 等 9 个

RSI-Master：用结构化实验引导模型自主改进

提出 RSI-Master 以约束自主后训练动作并抑制奖励作弊

arXiv

2609.35561

发表

9月29日

层

应用层

场景

编程 Agent、多智能体

测试

Qwen3-4B-Base、Qwen3-4B-Instruct、Qwen3.5-35B-A3B-Base 等 5 个

• 防御权限与审批
• 风险奖励作弊
• 组件权限与沙箱