全部论文

RefusalBench：拒答率为何会误排前沿 LLM 在生物研究提示上的安全水平

提出 RefusalBench，评测生物研究提示上的拒答率与安全校准

arXiv

2605.21545

发表

5月20日

层

模型层

场景

模型与 API

测试

Claude Opus 4.7、Claude Opus 4.6、Claude Opus 4.5 等 15 个

• 风险拒答失当

OverEager-Gen 发布：测量编码 Agent 在良性任务上的越权操作

发布 OVEREAGER-GEN，评测编码 Agent 在良性任务上的越权操作

arXiv

2605.18583

发表

5月19日

层

应用层

场景

编程 Agent

测试

GLM-4.6、MiniMax-M2.7、claude-sonnet-4-6 等 6 个

• 风险Agent 危险操作

SWhisper 用近超声隐蔽声学通道对语音驱动 LLM 实现黑盒越狱

提出 SWhisper，用近超声波向语音驱动 LLM 隐蔽注入越狱提示

arXiv

2603.13847

发表

3月14日

层

应用层

场景

LLM 应用

攻击者

黑盒

测试

Meta-Llama-3.1-8B-Instruct、Gemma-3-4B、Qwen2.5-7B-Instruct 等 9 个

• 攻击越狱
• 技术跨模态载荷
• 组件音频
• +1+1

自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

arXiv

2602.08877

发表

2月10日

层

模型层

场景

模型与 API

测试

Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

用代价曲线评估恶意微调防御在持续训练下的衰减

arXiv

2605.14605

发表

5月14日

层

训练与数据层

场景

模型与 API

测试

Llama-2-7B-chat、Qwen3-8B、Llama-3.1-8B-Instruct 等 8 个

• 防御模型加固
• 攻击模型篡改
• 组件微调与开源权重

论文揭示多租户 RAG 账号合谋使隐私泄露随账号数线性增长

提出零知识审计协议，核验多租户 RAG 的合谋差分隐私

arXiv

2605.19847

发表

5月19日

层

应用层

场景

LLM 应用

测试

MultiTenantRAGService、FAISS、HNSW (M=64, efcstr=200, efq=128) 等 4 个

• 攻击提取与窃取
• 组件RAG

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个

• 风险奖励作弊

ColluSkill 用跨技能组合绕过 Agent 技能扫描器

提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

arXiv

2608.09732

发表

8月10日

层

应用层

场景

编程 Agent

攻击者

黑盒、灰盒

测试

GPT-5.5、DeepSeek-V4-Pro、GLM-5.2

• 防御检测与过滤
• 攻击检测规避
• 技术针对防御
• 组件MCP 与技能
• +3+3

LogInject 框架披露 LLM 日志分析中的被动提示注入

提出 LogInject 框架，评测日志分析中的被动提示注入及缓解

arXiv

2607.14493

发表

7月16日

层

应用层

场景

LLM 应用

测试

GPT-4o、Claude 3.5 Sonnet、Llama-3-70B-Instruct

• 攻击提示注入
• 技术编码与混淆
• 组件护栏与评审
• +1+1

研究者提出对抗性重新包装：不改科学内容仅调整表述即可拉高 AI 审稿分数

提出对抗重构，仅改表述以拉高 AI 审稿分数

arXiv

2606.13044

发表

6月11日

层

应用层

场景

LLM 应用

测试

Claude Sonnet 4、Claude Sonnet 4.5、GPT-5-mini

• 技术自动化搜索
• 组件护栏与评审

EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

arXiv

2608.25776

发表

8月26日

层

应用层

场景

编程 Agent

测试

Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +3+3

LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

arXiv

2608.04741

发表

8月5日

层

应用层

场景

网页与电脑操作

测试

GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

• 攻击提示注入
• 技术自动化搜索

Purdue 提出 Pact：将欺骗作为行为遗忘

提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

arXiv

2609.38909

发表

9月30日

层

训练与数据层

场景

模型与 API

攻击者

白盒

测试

DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

• 防御模型加固
• 攻击模型篡改
• 风险欺骗与谋划
• 组件微调与开源权重
• +1+1

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

研究提出 Confidence Game 模型

测量委托收费激励下模型策略性虚报任务信心

arXiv

2610.09371

发表

10月7日

层

模型层

场景

模型与 API

测试

gpt-oss-120b

• 风险欺骗与谋划

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

• 组件推理链

FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

arXiv

2610.09819

发表

10月7日

层

训练与数据层

场景

模型与 API

测试

HuBERT-base、WavLM-base

• 攻击投毒与后门
• 技术潜伏触发
• 组件音频
• +1+1

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

• 攻击提示注入

新论文称 Lean 验证不能为 OpenAI 的 Navier-Stokes 自然语言证明背书

论证 Lean 编译通过不能保证自然语言数学证明语义忠实

arXiv

2610.08144

发表

10月6日

层

模型层

场景

模型与 API

测试

ChatGPT-6 (Astra Ultra)、OpenAI Navier-Stokes formalisation AI、Meta Atlas autoformaliser