Google DeepMind · 论文

OverEager-Gen 发布：测量编码 Agent 在良性任务上的越权操作

发布 OVEREAGER-GEN，评测编码 Agent 在良性任务上的越权操作

arXiv

2605.18583

发表

5月19日

层

应用层

场景

编程 Agent

测试

GLM-4.6、MiniMax-M2.7、claude-sonnet-4-6 等 6 个

• 风险Agent 危险操作

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

提出 Whisper 攻击与 A-VIP 绑定防御，约束智能体支付决策

arXiv

2609.11757

发表

9月10日

层

应用层

场景

AI Agent

测试

gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等 15 个

• 防御权限与审批
• 攻击提示注入
• 组件权限与沙箱
• +1+1

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

MisKnow-Agent 评测

评测深度研究 Agent 是否把检索误导文档采纳为自身结论

arXiv

2607.20891

发表

7月23日

层

应用层

场景

AI Agent

测试

Gemini Deep Research、DeepSeek-V4 Pro、Qwen3.5-397B 等 4 个

• 攻击投毒与后门
• 组件RAG

论文提出诊断长程安全 LLM Agent 失败来源的检查点方法

用检查点诊断长程安全 Agent 的失败来源

arXiv

2608.20563

发表

8月21日

层

应用层

场景

AI Agent

测试

Gemini 2.5 Flash、Gemini 2.5 Pro、Gemini 3.7 Flash

研究者对 Google AP2 v0.2 做系统安全分析，识别 48 项威胁

系统分析 AP2 支付协议的授权安全并验证前置上下文操纵

arXiv

2608.23858

发表

8月25日

层

应用层

场景

多智能体

测试

gpt-5.3、gpt-5.5

• 攻击提示注入
• 组件MCP 与技能

残障披露如何在对话式 AI 中流动：ChatGPT、Claude、Gemini 的记忆、隐私与语境完整性

访谈残障成人，分析向记忆型助手披露残障时的信息流与语境完整性

arXiv

2609.22720

发表

9月19日

层

应用层

场景

模型与 API

• 组件记忆

特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

提出条件触发的爆炸提示词，延迟激活 Agent 的间接提示注入

arXiv

2609.22510

发表

9月19日

层

应用层

场景

AI Agent

测试

Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 14 个

• 防御检测与过滤
• 攻击提示注入
• 技术潜伏触发
• 组件护栏与评审

论文提出 Nudgeability：推理模型会跟随置信信号却不追踪自身能力

提出 Nudgeability，测量推理模型跟随信心信号调整工具委派的对准程度

arXiv

2609.34572

发表

9月28日

层

应用层

场景

AI Agent

测试

Qwen3-4B、Qwen3-8B、Qwen3-14B 等 11 个

• 组件推理链