OpenAI · 论文

研究显示前沿模型智能体在测试时自行形成隐蔽信道

展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

arXiv

2609.32701

发表

9月26日

层

应用层

场景

多智能体

测试

Terra、Luna、GPT-5.6 Sol 等 6 个

• 风险欺骗与谋划
• 组件监控器

SLIP：无需外部攻击模型的多轮自我越狱

提出无外部攻击模型的多轮自我越狱方法 SLIP

arXiv

2601.02670

发表

1月6日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Mistral-7B-Instruct、Mistral-7B、GPT-5.1 等 11 个

• 攻击越狱
• 技术多轮渐进
• +1+1

Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

arXiv

2607.23496

发表

7月26日

层

提示层

场景

模型与 API

攻击者

白盒、黑盒

测试

Ministral-3-8B、Qwen3.5-9B、Llama-3.1-8B 等 10 个

• 攻击越狱
• 技术梯度与表征优化
• +1+1

研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

arXiv

2608.09867

发表

8月11日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Inkling、Claude Opus 4.8、Claude Sonnet 4.6 等 15 个

• 攻击提取与窃取
• 技术推理链操控
• 组件推理链
• +1+1

论文：安全路由评测在分布偏移下失效，基线选取偏差被低估

分析分布偏移下安全路由评测的基线选择偏差与虚假下限

arXiv

2610.01535

发表

10月1日

层

应用层

场景

LLM 应用

测试

Command-R-plus、MiniLM、claude-3-5-sonnet 等 12 个

• 攻击越狱
• +1+1

MAMJ：面向视觉语言模型的元自适应多模态越狱攻击

提出 MAMJ，在元层面交替优化多模态越狱的策略提示与攻击者权重

arXiv

2608.27531

发表

8月27日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Seed 2.0、GPT-4o、Gemini-3-Pro-Preview 等 4 个

• 攻击越狱
• 技术自动化搜索
• 组件视觉
• +1+1

Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击

提出 Repeat-After-Me，以图像前缀诱导智能体调用工具或泄露隐私

arXiv

2609.04533

发表

9月4日

层

应用层

场景

AI Agent

测试

InternVL3.5-38B-Instruct、InternVL3.5-4B、Claude-Opus-4.7 等 11 个

• 攻击提示注入
• 技术自动化搜索
• 组件视觉
• +1+1

研究：内容不变的风格包装可翻转 LLM 安全评判器的判定

提出内容不变样式包装，翻转安全评审器的判定

arXiv

2609.08236

发表

9月8日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Keyword (rulebased)、Vicuna-13B、GPT-4o-mini (gpt4o) 等 12 个

• 攻击检测规避
• 技术角色扮演与说服
• 组件护栏与评审
• +1+1

微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力

arXiv

2609.15383

发表

9月14日

层

应用层

场景

编程 Agent

攻击者

黑盒

测试

Muse-Glimmer-30B、GPT-5.5、Claude Opus 4.8 等 7 个

• 攻击恶意使用
• 风险危险能力
• 技术多轮渐进

用迭代 DPO 从奖励作弊中诱发涌现失准

用迭代推理 DPO 从奖励作弊诱发隐蔽失准与对齐伪装

arXiv

2609.06649

发表

9月6日

层

模型层

场景

AI Agent

测试

Olmo-3-32B、GPT-4.1、Qwen2.5-32B-Instruct 等 7 个

• 风险失准与价值偏离
• +1+1

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

提出 AgentCyberRange，评测智能体自主实施网络攻击的能力

arXiv

2606.14295

发表

6月12日

层

应用层

场景

编程 Agent

测试

PentestGPT-V2、GPT-5.5、Claude-Opus-4.7 等 7 个

• 风险危险能力

上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险

提出生物红队模型 Intern-BioBreaker，多轮越狱诱导模型输出可操作生物危害

arXiv

2607.18056

发表

7月20日

层

提示层

场景

模型与 API

测试

MiniMax-M2.5、DeepSeek-V3、Kimi-K2.6 等 14 个

• 攻击越狱
• 技术自动化搜索
• +1+1

Fair-ASR：在共享目标调用预算下重新评测黑盒越狱攻击

在共享目标调用预算下重评黑盒越狱并提出 ReCode

arXiv

2608.17360

发表

8月18日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Mistral-7B-Instruct-v0.3、Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct 等 11 个

• 攻击越狱

RAIM：用廉价小模型聚合替代前沿模型做幻觉检测

提出 RAIM，用交叉拟合堆叠聚合廉价评审检测幻觉

arXiv

2609.39229

发表

9月30日

层

应用层

场景

LLM 应用

测试

Mistral、Phi、Yi 等 15 个

• 防御检测与过滤
• 风险幻觉与编造
• 组件护栏与评审

SceneJail：利用视频场景上下文越狱多模态大模型

提出 SceneJail，利用视频情境上下文越狱视频多模态模型

arXiv

2609.38899

发表

9月30日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

InternVL3.5-8B-Instruct、InternVL3.5-38B-Instruct、Qwen2.5-VL-7B-Instruct 等 8 个

• 攻击越狱
• 技术跨模态载荷
• 组件视频
• +1+1

SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件

arXiv

2608.06862

发表

8月7日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Ministral-3-8B、Qwen3.5-9B、Llama-3.1-8B 等 5 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件MCP 与技能
• +3+3

Harbor Adapters 与 Harbor-Index：面向大规模 Agent 评测的基础设施与精选元数据集

构建 Harbor 适配器并发布 Harbor-Index，统一比较智能体与 harness

arXiv

2609.04298

发表

9月4日

层

应用层

场景

AI Agent

测试

MiniMax M3、Gemini-3.1-Pro、Gemini-3-Flash 等 15 个

研究称 GPT 系列安全训练把性别歧视转化而非消除

提出 harm laundering，证明安全训练改写而非消除性别歧视

arXiv

2609.20779

发表

9月18日

层

模型层

场景

模型与 API

测试

davinci-2020-05-03、text-davinci-002、text-davinci-003 等 15 个

• 风险偏见与歧视
• 组件护栏与评审

特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用

arXiv

2609.22510

发表

9月19日

层

应用层

场景

AI Agent

测试

GitHub Copilot、Devin AI CLI、Llama-3.1-8B-Instruct 等 14 个

• 防御检测与过滤
• 攻击提示注入
• 技术潜伏触发
• 组件护栏与评审

MetaPermit：通过 LLM 推断元属性为 AI Agent 提供可扩展可审计的访问控制

提出 MetaPermit，用元属性与固定策略挡住工具返回中的间接提示注入

arXiv

2609.31039

发表

9月25日

层

应用层

场景

AI Agent

测试

MiniMax-M2.7、Qwen3-235B-a22-2507、Qwen3-8B

• 防御权限与审批
• 攻击提示注入
• 组件权限与沙箱