Google DeepMind · 论文

OverEager-Gen 发布：测量编码 Agent 在良性任务上的越权操作

发布 OVEREAGER-GEN，评测编码 Agent 在良性任务上的越权操作

arXiv

2605.18583

发表

5月19日

层

应用层

场景

编程 Agent

测试

GLM-4.6、MiniMax-M2.7、claude-sonnet-4-6 等 6 个

• 风险Agent 危险操作

研究者提出 SN-Guided Diffusion，利用扩散大模型安全神经元实现离线越狱

提出 SN-Guided Diffusion，利用安全神经元实现离线越狱

arXiv

2608.07430

发表

8月8日

层

提示层

场景

模型与 API

攻击者

黑盒、白盒

测试

Qwen2.5-7B-Instruct、LLaDA-8B-Instruct、Dream-Instruct-7B 等 15 个

• 攻击越狱
• 技术梯度与表征优化
• +1+1

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

• 组件推理链

研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

提出 Whisper 攻击与 A-VIP 绑定防御，约束智能体支付决策

arXiv

2609.11757

发表

9月10日

层

应用层

场景

AI Agent

测试

gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等 15 个

• 防御权限与审批
• 攻击提示注入
• 组件权限与沙箱
• +1+1

SLIP：无需外部攻击模型的多轮自我越狱

提出无外部攻击模型的多轮自我越狱方法 SLIP

arXiv

2601.02670

发表

1月6日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

GPT-5.1、GPT-4o、Claude-Sonnet-4.5 等 11 个

• 攻击越狱
• 技术多轮渐进
• +1+1

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

arXiv

2607.23496

发表

7月26日

层

提示层

场景

模型与 API

攻击者

白盒、黑盒

测试

Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 10 个

• 攻击越狱
• 技术梯度与表征优化
• +1+1

研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

arXiv

2608.09867

发表

8月11日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 15 个

• 攻击提取与窃取
• 技术推理链操控
• 组件推理链
• +1+1

MisKnow-Agent 评测

评测深度研究 Agent 是否把检索误导文档采纳为自身结论

arXiv

2607.20891

发表

7月23日

层

应用层

场景

AI Agent

测试

Gemini Deep Research、DeepSeek-V4 Pro、Qwen3.5-397B 等 4 个

• 攻击投毒与后门
• 组件RAG

论文提出诊断长程安全 LLM Agent 失败来源的检查点方法

用检查点诊断长程安全 Agent 的失败来源

arXiv

2608.20563

发表

8月21日

层

应用层

场景

AI Agent

测试

Gemini 2.5 Flash、Gemini 2.5 Pro、Gemini 3.7 Flash

MAMJ：面向视觉语言模型的元自适应多模态越狱攻击

提出 MAMJ，在元层面交替优化多模态越狱的策略提示与攻击者权重

arXiv

2608.27531

发表

8月27日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

GPT-4o、Gemini-3-Pro-Preview、Seed 2.0 等 4 个

• 攻击越狱
• 技术自动化搜索
• 组件视觉
• +1+1

研究：知识蒸馏中 chat 模板会削弱学生模型的安全对齐

分析良性知识蒸馏中提示模板对学生拒答保留的影响

arXiv

2609.30802

发表

9月25日

层

训练与数据层

场景

模型与 API

测试

LLaMA-3.1-8B-Instruct、LLaMA-3.2-3B-Instruct、Gemma-2-9B-IT 等 7 个

• 风险拒答失当

研究者对 Google AP2 v0.2 做系统安全分析，识别 48 项威胁

系统分析 AP2 支付协议的授权安全并验证前置上下文操纵

arXiv

2608.23858

发表

8月25日

层

应用层

场景

多智能体

测试

gpt-5.3、gpt-5.5

• 攻击提示注入
• 组件MCP 与技能

残障披露如何在对话式 AI 中流动：ChatGPT、Claude、Gemini 的记忆、隐私与语境完整性

访谈残障成人，分析向记忆型助手披露残障时的信息流与语境完整性

arXiv

2609.22720

发表

9月19日

层

应用层

场景

模型与 API

• 组件记忆

研究揭示多轮攻击中危害性表征的几何演化

分析多轮攻击中有害性与拒答表征的几何演化

arXiv

2609.38389

发表

10月1日

层

模型层

场景

模型与 API

测试

Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Gemma-2-9B-it

• 风险拒答失当

研究：思维链对答案的约束随模型相对任务难度而变化

用续写扰动衡量思维链对答案的因果约束如何随任务难度变化

arXiv

2609.25366

发表

9月22日

层

模型层

场景

模型与 API

测试

Gemma-2-9B-IT、Llama-3.1-8B-Instruct、DeepSeek-R1-Distill-Qwen-7B 等 4 个

• 组件推理链

研究检验幻觉神经元是否存在：稀疏探针定位并不唯一

提出五步诊断协议，检验幻觉神经元定位是否唯一

arXiv

2609.29781

发表

9月24日

层

模型层

场景

模型与 API

测试

Gemma 3 4B、MedGemma 4B

• 风险幻觉与编造

SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘

提出 SCALPEL，用对比 SAE 在表征层选择性遗忘特定事实

arXiv

2609.31056

发表

9月25日

层

模型层

场景

模型与 API

测试

Qwen2.5-1.5B-Instruct、Llama-3.2-1B-Instruct、Gemma-2-2B-it

• 防御推理时干预
• 攻击提取与窃取

如何像孩子一样向前沿 AI 提问：跨 OpenAI、Anthropic、xAI 与 Google DeepMind 六款模型的"认知越狱"实验

检验儿童受众框架是否让前沿模型收敛到同一套架构母题

arXiv

2609.14803

发表

9月14日

层

模型层

场景

模型与 API

测试

OpenAI GPT-6 Astra、OpenAI GPT-5.6 Sol、Anthropic Claude Opus 5 等 6 个

• 风险幻觉与编造