全部论文

SWhisper 用近超声隐蔽声学通道对语音驱动 LLM 实现黑盒越狱

提出 SWhisper，用近超声波向语音驱动 LLM 隐蔽注入越狱提示

arXiv

2603.13847

发表

3月14日

层

应用层

场景

LLM 应用

攻击者

黑盒

测试

Meta-Llama-3.1-8B-Instruct、Gemma-3-4B、Qwen2.5-7B-Instruct 等 9 个

• 攻击越狱
• 技术跨模态载荷
• 组件音频
• +1+1

ASO：用GRPO优化视觉风格放大MLLM越狱攻击

提出 ASO，用 GRPO 优化视觉风格以放大越狱攻击

arXiv

2607.21619

发表

6月1日

层

提示层

场景

模型与 API

攻击者

灰盒

测试

GPT-4.1-mini、Gemini-2.5-Flash、Qwen3-VL 等 6 个

• 攻击越狱
• 技术自动化搜索
• 组件视觉
• +1+1

研究者提出 SN-Guided Diffusion，利用扩散大模型安全神经元实现离线越狱

提出 SN-Guided Diffusion，利用安全神经元实现离线越狱

arXiv

2608.07430

发表

8月8日

层

提示层

场景

模型与 API

攻击者

黑盒、白盒

测试

Qwen2.5-7B-Instruct、LLaDA-8B-Instruct、Dream-Instruct-7B 等 15 个

• 攻击越狱
• 技术梯度与表征优化
• +1+1

自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

arXiv

2602.08877

发表

2月10日

层

模型层

场景

模型与 API

测试

Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

用代价曲线评估恶意微调防御在持续训练下的衰减

arXiv

2605.14605

发表

5月14日

层

训练与数据层

场景

模型与 API

测试

Llama-2-7B-chat、Qwen3-8B、Llama-3.1-8B-Instruct 等 8 个

• 防御模型加固
• 攻击模型篡改
• 组件微调与开源权重

论文揭示多租户 RAG 账号合谋使隐私泄露随账号数线性增长

提出零知识审计协议，核验多租户 RAG 的合谋差分隐私

arXiv

2605.19847

发表

5月19日

层

应用层

场景

LLM 应用

测试

MultiTenantRAGService、FAISS、HNSW (M=64, efcstr=200, efq=128) 等 4 个

• 攻击提取与窃取
• 组件RAG

研究者提出 HPAA 攻击：用排版视觉线索绕过 13 个内容审核系统

提出 HPAA 攻击，用排版视觉线索绕过内容审核系统

arXiv

2606.09700

发表

6月9日

层

提示层

场景

LLM 应用

攻击者

黑盒

测试

Llama-Guard-3-8B、Perspective API、ShieldGemma-2B 等 13 个

• 攻击检测规避
• 技术编码与混淆
• 组件护栏与评审

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个

• 风险奖励作弊

ColluSkill 用跨技能组合绕过 Agent 技能扫描器

提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

arXiv

2608.09732

发表

8月10日

层

应用层

场景

编程 Agent

攻击者

黑盒、灰盒

测试

GPT-5.5、DeepSeek-V4-Pro、GLM-5.2

• 防御检测与过滤
• 攻击检测规避
• 技术针对防御
• 组件MCP 与技能
• +3+3

OTTER：仅替换五个 token 即可绕过 GPT 系列毒性审核

提出 OTTER 词元替换越狱，绕过表面毒性审核诱导有害回答

arXiv

2606.21077

发表

6月19日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

gpt-4-turbo、gpt-4o、gpt-4o-mini 等 4 个

• 攻击越狱
• 技术编码与混淆
• 组件护栏与评审
• +1+1

LogInject 框架披露 LLM 日志分析中的被动提示注入

提出 LogInject 框架，评测日志分析中的被动提示注入及缓解

arXiv

2607.14493

发表

7月16日

层

应用层

场景

LLM 应用

测试

GPT-4o、Claude 3.5 Sonnet、Llama-3-70B-Instruct

• 攻击提示注入
• 技术编码与混淆
• 组件护栏与评审
• +1+1

研究者提出对抗性重新包装：不改科学内容仅调整表述即可拉高 AI 审稿分数

提出对抗重构，仅改表述以拉高 AI 审稿分数

arXiv

2606.13044

发表

6月11日

层

应用层

场景

LLM 应用

测试

Claude Sonnet 4、Claude Sonnet 4.5、GPT-5-mini

• 技术自动化搜索
• 组件护栏与评审

EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

arXiv

2608.25776

发表

8月26日

层

应用层

场景

编程 Agent

测试

Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +3+3

LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

arXiv

2608.04741

发表

8月5日

层

应用层

场景

网页与电脑操作

测试

GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

• 攻击提示注入
• 技术自动化搜索

CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出

提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别

arXiv

2610.07939

发表

10月6日

层

提示层

场景

模型与 API

测试

C2P-CLIP、ForgeLens、D3-Im 等 13 个

• 防御检测与过滤
• 攻击检测规避
• 组件护栏与评审
• +2+2

Purdue 提出 Pact：将欺骗作为行为遗忘

提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

arXiv

2609.38909

发表

9月30日

层

训练与数据层

场景

模型与 API

攻击者

白盒

测试

DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

• 防御模型加固
• 攻击模型篡改
• 风险欺骗与谋划
• 组件微调与开源权重
• +1+1

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

研究提出 Confidence Game 模型

测量委托收费激励下模型策略性虚报任务信心

arXiv

2610.09371

发表

10月7日

层

模型层

场景

模型与 API

测试

gpt-oss-120b

• 风险欺骗与谋划

审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

开环审计冻结视觉安全分，发现偏离主要来自场景模板与视角

arXiv

2610.09517

发表

10月7日

层

模型层

场景

具身与机器人

测试

CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B 等 6 个

• 组件视觉
• +1+1