Google DeepMind · 论文

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

• 组件推理链

研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

提出 Whisper 攻击与 A-VIP 绑定防御，约束智能体支付决策

arXiv

2609.11757

发表

9月10日

层

应用层

场景

AI Agent

测试

gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等 15 个

• 防御权限与审批
• 攻击提示注入
• 组件权限与沙箱
• +1+1

SLIP：无需外部攻击模型的多轮自我越狱

提出无外部攻击模型的多轮自我越狱方法 SLIP

arXiv

2601.02670

发表

1月6日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

GPT-5.1、GPT-4o、Claude-Sonnet-4.5 等 11 个

• 攻击越狱
• 技术多轮渐进
• +1+1

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

Qwen3.8-27B、Claude Opus 4.8、DeepSeek V4 Flash 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

arXiv

2607.23496

发表

7月26日

层

提示层

场景

模型与 API

攻击者

白盒、黑盒

测试

Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 10 个

• 攻击越狱
• 技术梯度与表征优化
• +1+1

研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

arXiv

2608.09867

发表

8月11日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 15 个

• 攻击提取与窃取
• 技术推理链操控
• 组件推理链
• +1+1

MisKnow-Agent 评测

提出 MisKnow-Agent，评测深度研究智能体是否采纳误导性检索知识

arXiv

2607.20891

发表

7月23日

层

应用层

场景

AI Agent

测试

Gemini Deep Research、DeepSeek-V4 Pro、Qwen3.5-397B 等 4 个

• 攻击投毒与后门
• 组件RAG

MAMJ：面向视觉语言模型的元自适应多模态越狱攻击

提出 MAMJ，在元层面交替优化多模态越狱的策略提示与攻击者权重

arXiv

2608.27531

发表

8月27日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

GPT-4o、Gemini-3-Pro-Preview、Qwen3-VL-32B-Thinking 等 4 个

• 攻击越狱
• 技术自动化搜索
• 组件视觉
• +1+1

研究：知识蒸馏中 chat 模板会削弱学生模型的安全对齐

分析良性知识蒸馏中提示模板对学生拒答保留的影响

arXiv

2609.30802

发表

9月25日

层

训练与数据层

场景

模型与 API

测试

LLaMA-3.1-8B-Instruct、LLaMA-3.2-3B-Instruct、Gemma-2-9B-IT 等 7 个

• 风险拒答失当

研究者对 Google AP2 v0.2 做系统安全分析，识别 48 项威胁

系统分析智能体支付协议 AP2，揭示合法签名无法阻止前置上下文操纵

arXiv

2608.23858

发表

8月25日

层

应用层

场景

AI Agent

测试

gpt-5.3、gpt-5.5

• 攻击提示注入
• 组件MCP 与技能
• +1+1

研究：思维链对答案的约束随模型相对任务难度而变化

用续写扰动衡量思维链对答案的因果约束如何随任务难度变化

arXiv

2609.25366

发表

9月22日

层

模型层

场景

模型与 API

测试

Gemma-2-9B-IT、Llama-3.1-8B-Instruct、DeepSeek-R1-Distill-Qwen-7B 等 4 个

• 组件推理链

如何像孩子一样向前沿 AI 提问：跨 OpenAI、Anthropic、xAI 与 Google DeepMind 六款模型的"认知越狱"实验

检验儿童受众框架是否让前沿模型收敛到同一套架构母题

arXiv

2609.14803

发表

9月14日

层

模型层

场景

模型与 API

测试

OpenAI GPT-6 Astra、OpenAI GPT-5.6 Sol、Anthropic Claude Opus 5 等 6 个

• 风险幻觉与编造

研究：任意密文攻击前沿大模型无需微调即可越狱

提出任意字母置换密码越狱，无需微调即可诱导有害输出

arXiv

2609.09553

发表

9月9日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Claude Sonnet 4、Claude Sonnet 4.5、Gemini 3 Flash (preview) 等 7 个

• 攻击越狱
• 技术编码与混淆
• 组件护栏与评审
• +2+2

Gemma-3-27B-PT 内部激活中的可解释抑郁症状向量

在残差流中构造 Symptom Vectors，读出与临床对齐的抑郁症状

arXiv

2609.01832

发表

9月2日

层

模型层

场景

模型与 API

测试

Gemma-3-27B-PT

GAPS：面向条件激活引导的维度级门控

提出 GAPS 维度门控，改进条件激活引导以抑制毒性与概念指涉

arXiv

2609.01878

发表

9月2日

层

模型层

场景

模型与 API

测试

Gemma-3 (4B)、Qwen-3 (1.7B)

• 防御推理时干预

多语言 LLM 中的刻板印象如何从内部表征传导到输出：Llama-3.1-8B、Qwen3-8B 与 Gemma-2-9B 的机制对比

用线性探针、归因修补与 SAE 消融追踪多语模型刻板印象

arXiv

2609.08322

发表

9月8日

层

模型层

场景

模型与 API

测试

Llama-3.1-8B、Qwen3-8B、Gemma-2-9B 等 4 个

• 风险偏见与歧视

SceneJail：利用视频场景上下文越狱多模态大模型

提出 SceneJail，利用视频情境上下文越狱视频多模态模型

arXiv

2609.38899

发表

9月30日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Qwen2.5-VL-7B-Instruct、Qwen2.5-VL-32B-Instruct、Qwen3-VL-8B-Instruct 等 8 个

• 攻击越狱
• 技术跨模态载荷
• 组件视频
• +1+1

FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力

arXiv

2608.03070

发表

8月4日

层

提示层

场景

模型与 API

测试

Claude Fable 5、Claude Opus 4.8、GPT-5.6 Sol 等 8 个

• 攻击越狱
• 组件护栏与评审

WPMIA：面向严格黑盒大模型的词级概率成员推断攻击

提出严格黑盒成员推断 WPMIA，用采样估计词级概率判断训练成员

arXiv

2609.10611

发表

9月8日

层

模型层

场景

模型与 API

攻击者

黑盒

测试

OPT-6.7B、LLaMA-13B、Qwen3-8B-Base 等 12 个

• 攻击提取与窃取

特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用

arXiv

2609.22510

发表

9月19日

层

应用层

场景

AI Agent

测试

Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 14 个

• 防御检测与过滤
• 攻击提示注入
• 技术潜伏触发
• 组件护栏与评审