全部论文

RefusalBench：拒答率为何会误排前沿 LLM 在生物研究提示上的安全水平

提出 RefusalBench，评测生物研究提示上的拒答率与安全校准

arXiv

2605.21545

发表

5月20日

层

模型层

场景

模型与 API

测试

Claude Opus 4.7、Claude Opus 4.6、Claude Opus 4.5 等 15 个

• 风险拒答失当

研究者提出视觉中心越狱攻击 VJA

提出纯视觉越狱攻击 VJA，把有害编辑指令编码进图像

arXiv

2602.10179

发表

2月11日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Nano Banana Pro、GPT Image 1.5、Qwen-Image-Edit 等 9 个

• 攻击越狱
• 技术跨模态载荷
• 组件图像生成
• +2+2

SWhisper 用近超声隐蔽声学通道对语音驱动 LLM 实现黑盒越狱

提出 SWhisper，用近超声波向语音驱动 LLM 隐蔽注入越狱提示

arXiv

2603.13847

发表

3月14日

层

应用层

场景

LLM 应用

攻击者

黑盒

测试

Meta-Llama-3.1-8B-Instruct、Gemma-3-4B、Qwen2.5-7B-Instruct 等 9 个

• 攻击越狱
• 技术跨模态载荷
• 组件音频
• +1+1

ASO：用GRPO优化视觉风格放大MLLM越狱攻击

提出 ASO，用 GRPO 优化视觉风格以放大越狱攻击

arXiv

2607.21619

发表

6月1日

层

提示层

场景

模型与 API

攻击者

灰盒

测试

GPT-4.1-mini、Gemini-2.5-Flash、Qwen3-VL 等 6 个

• 攻击越狱
• 技术自动化搜索
• 组件视觉
• +1+1

研究者提出 SN-Guided Diffusion，利用扩散大模型安全神经元实现离线越狱

提出 SN-Guided Diffusion，利用安全神经元实现离线越狱

arXiv

2608.07430

发表

8月8日

层

提示层

场景

模型与 API

攻击者

黑盒、白盒

测试

Qwen2.5-7B-Instruct、LLaDA-8B-Instruct、Dream-Instruct-7B 等 15 个

• 攻击越狱
• 技术梯度与表征优化
• +1+1

自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

arXiv

2602.08877

发表

2月10日

层

模型层

场景

模型与 API

测试

Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

用代价曲线评估恶意微调防御在持续训练下的衰减

arXiv

2605.14605

发表

5月14日

层

训练与数据层

场景

模型与 API

测试

Llama-2-7B-chat、Qwen3-8B、Llama-3.1-8B-Instruct 等 8 个

• 防御模型加固
• 攻击模型篡改
• 组件微调与开源权重

论文揭示多租户 RAG 账号合谋使隐私泄露随账号数线性增长

提出零知识审计协议，核验多租户 RAG 的合谋差分隐私

arXiv

2605.19847

发表

5月19日

层

应用层

场景

LLM 应用

测试

MultiTenantRAGService、FAISS、HNSW (M=64, efcstr=200, efq=128) 等 4 个

• 攻击提取与窃取
• 组件RAG

研究者提出 HPAA 攻击：用排版视觉线索绕过 13 个内容审核系统

提出 HPAA 攻击，用排版视觉线索绕过内容审核系统

arXiv

2606.09700

发表

6月9日

层

提示层

场景

LLM 应用

攻击者

黑盒

测试

Llama-Guard-3-8B、Perspective API、ShieldGemma-2B 等 13 个

• 攻击检测规避
• 技术编码与混淆
• 组件护栏与评审

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个

• 风险奖励作弊

OTTER：仅替换五个 token 即可绕过 GPT 系列毒性审核

提出 OTTER 词元替换越狱，绕过表面毒性审核诱导有害回答

arXiv

2606.21077

发表

6月19日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

gpt-4-turbo、gpt-4o、gpt-4o-mini 等 4 个

• 攻击越狱
• 技术编码与混淆
• 组件护栏与评审
• +1+1

LogInject 框架披露 LLM 日志分析中的被动提示注入

提出 LogInject 框架，评测日志分析中的被动提示注入及缓解

arXiv

2607.14493

发表

7月16日

层

应用层

场景

LLM 应用

测试

GPT-4o、Claude 3.5 Sonnet、Llama-3-70B-Instruct

• 攻击提示注入
• 技术编码与混淆
• 组件护栏与评审
• +1+1

研究者提出对抗性重新包装：不改科学内容仅调整表述即可拉高 AI 审稿分数

提出对抗重构，仅改表述以拉高 AI 审稿分数

arXiv

2606.13044

发表

6月11日

层

应用层

场景

LLM 应用

测试

Claude Sonnet 4、Claude Sonnet 4.5、GPT-5-mini

• 技术自动化搜索
• 组件护栏与评审

LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

arXiv

2608.04741

发表

8月5日

层

应用层

场景

网页与电脑操作

测试

GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

• 攻击提示注入
• 技术自动化搜索

CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出

提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别

arXiv

2610.07939

发表

10月6日

层

提示层

场景

模型与 API

测试

C2P-CLIP、ForgeLens、D3-Im 等 13 个

• 防御检测与过滤
• 攻击检测规避
• 组件护栏与评审
• +2+2

Purdue 提出 Pact：将欺骗作为行为遗忘

提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

arXiv

2609.38909

发表

9月30日

层

训练与数据层

场景

模型与 API

攻击者

白盒

测试

DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

• 防御模型加固
• 攻击模型篡改
• 风险欺骗与谋划
• 组件微调与开源权重
• +1+1

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

研究提出 Confidence Game 模型

测量委托收费激励下模型策略性虚报任务信心

arXiv

2610.09371

发表

10月7日

层

模型层

场景

模型与 API

测试

gpt-oss-120b

• 风险欺骗与谋划

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

• 组件推理链

FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

arXiv

2610.09819

发表

10月7日

层

训练与数据层

场景

模型与 API

测试

HuBERT-base、WavLM-base

• 攻击投毒与后门
• 技术潜伏触发
• 组件音频
• +1+1