全部论文

RefusalBench：拒答率为何会误排前沿 LLM 在生物研究提示上的安全水平

提出 RefusalBench，评测生物研究提示上的拒答率与安全校准

arXiv

2605.21545

发表

5月20日

层

模型层

场景

模型与 API

测试

Claude Opus 4.7、Claude Opus 4.6、Claude Opus 4.5 等 15 个

• 风险拒答失当

OverEager-Gen 发布：测量编码 Agent 在良性任务上的越权操作

发布 OVEREAGER-GEN，评测编码 Agent 在良性任务上的越权操作

arXiv

2605.18583

发表

5月19日

层

应用层

场景

编程 Agent

测试

GLM-4.6、MiniMax-M2.7、claude-sonnet-4-6 等 6 个

• 风险Agent 危险操作

研究者提出视觉中心越狱攻击 VJA

提出纯视觉越狱攻击 VJA，把有害编辑指令编码进图像

arXiv

2602.10179

发表

2月11日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Nano Banana Pro、GPT Image 1.5、Qwen-Image-Edit 等 9 个

• 攻击越狱
• 技术跨模态载荷
• 组件图像生成
• +2+2

ASO：用GRPO优化视觉风格放大MLLM越狱攻击

提出 ASO，用 GRPO 优化视觉风格以放大越狱攻击

arXiv

2607.21619

发表

6月1日

层

提示层

场景

模型与 API

攻击者

灰盒

测试

GPT-4.1-mini、Gemini-2.5-Flash、Qwen3-VL 等 6 个

• 攻击越狱
• 技术自动化搜索
• 组件视觉
• +1+1

研究者提出 SN-Guided Diffusion，利用扩散大模型安全神经元实现离线越狱

提出 SN-Guided Diffusion，利用安全神经元实现离线越狱

arXiv

2608.07430

发表

8月8日

层

提示层

场景

模型与 API

攻击者

黑盒、白盒

测试

Qwen2.5-7B-Instruct、LLaDA-8B-Instruct、Dream-Instruct-7B 等 15 个

• 攻击越狱
• 技术梯度与表征优化
• +1+1

自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

arXiv

2602.08877

发表

2月10日

层

模型层

场景

模型与 API

测试

Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个

• 风险奖励作弊

ColluSkill 用跨技能组合绕过 Agent 技能扫描器

提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

arXiv

2608.09732

发表

8月10日

层

应用层

场景

编程 Agent

攻击者

黑盒、灰盒

测试

GPT-5.5、DeepSeek-V4-Pro、GLM-5.2

• 防御检测与过滤
• 攻击检测规避
• 技术针对防御
• 组件MCP 与技能
• +3+3

OTTER：仅替换五个 token 即可绕过 GPT 系列毒性审核

提出 OTTER 词元替换越狱，绕过表面毒性审核诱导有害回答

arXiv

2606.21077

发表

6月19日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

gpt-4-turbo、gpt-4o、gpt-4o-mini 等 4 个

• 攻击越狱
• 技术编码与混淆
• 组件护栏与评审
• +1+1

EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

arXiv

2608.25776

发表

8月26日

层

应用层

场景

编程 Agent

测试

Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +3+3

LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

arXiv

2608.04741

发表

8月5日

层

应用层

场景

网页与电脑操作

测试

GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

• 攻击提示注入
• 技术自动化搜索

CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出

提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别

arXiv

2610.07939

发表

10月6日

层

提示层

场景

模型与 API

测试

C2P-CLIP、ForgeLens、D3-Im 等 13 个

• 防御检测与过滤
• 攻击检测规避
• 组件护栏与评审
• +2+2

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

研究提出 Confidence Game 模型

测量委托收费激励下模型策略性虚报任务信心

arXiv

2610.09371

发表

10月7日

层

模型层

场景

模型与 API

测试

gpt-oss-120b

• 风险欺骗与谋划

审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

开环审计冻结视觉安全分，发现偏离主要来自场景模板与视角

arXiv

2610.09517

发表

10月7日

层

模型层

场景

具身与机器人

测试

CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B 等 6 个

• 组件视觉
• +1+1

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

• 组件推理链

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

• 攻击提示注入

新论文称 Lean 验证不能为 OpenAI 的 Navier-Stokes 自然语言证明背书

论证 Lean 编译通过不能保证自然语言数学证明语义忠实

arXiv

2610.08144

发表

10月6日

层

模型层

场景

模型与 API

测试

ChatGPT-6 (Astra Ultra)、OpenAI Navier-Stokes formalisation AI、Meta Atlas autoformaliser

论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

arXiv

2604.02623

发表

4月

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +1+1