全部论文

自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

arXiv

2602.08877

发表

2月10日

层

模型层

场景

模型与 API

测试

Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

用代价曲线评估恶意微调防御在持续训练下的衰减

arXiv

2605.14605

发表

5月14日

层

训练与数据层

场景

模型与 API

测试

Llama-2-7B-chat、Qwen3-8B、Llama-3.1-8B-Instruct 等 8 个

• 防御模型加固
• 攻击模型篡改
• 组件微调与开源权重

论文揭示多租户 RAG 账号合谋使隐私泄露随账号数线性增长

提出零知识审计协议，核验多租户 RAG 的合谋差分隐私

arXiv

2605.19847

发表

5月19日

层

应用层

场景

LLM 应用

测试

MultiTenantRAGService、FAISS、HNSW (M=64, efcstr=200, efq=128) 等 4 个

• 攻击提取与窃取
• 组件RAG

研究者提出 HPAA 攻击：用排版视觉线索绕过 13 个内容审核系统

提出 HPAA 攻击，用排版视觉线索绕过内容审核系统

arXiv

2606.09700

发表

6月9日

层

提示层

场景

LLM 应用

攻击者

黑盒

测试

Llama-Guard-3-8B、Perspective API、ShieldGemma-2B 等 13 个

• 攻击检测规避
• 技术编码与混淆
• 组件护栏与评审

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个

• 风险奖励作弊

ColluSkill 用跨技能组合绕过 Agent 技能扫描器

提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

arXiv

2608.09732

发表

8月10日

层

应用层

场景

编程 Agent

攻击者

黑盒、灰盒

测试

GPT-5.5、DeepSeek-V4-Pro、GLM-5.2

• 防御检测与过滤
• 攻击检测规避
• 技术针对防御
• 组件MCP 与技能
• +3+3

OTTER：仅替换五个 token 即可绕过 GPT 系列毒性审核

提出 OTTER 词元替换越狱，绕过表面毒性审核诱导有害回答

arXiv

2606.21077

发表

6月19日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

gpt-4-turbo、gpt-4o、gpt-4o-mini 等 4 个

• 攻击越狱
• 技术编码与混淆
• 组件护栏与评审
• +1+1

LogInject 框架披露 LLM 日志分析中的被动提示注入

提出 LogInject 框架，评测日志分析中的被动提示注入及缓解

arXiv

2607.14493

发表

7月16日

层

应用层

场景

LLM 应用

测试

GPT-4o、Claude 3.5 Sonnet、Llama-3-70B-Instruct

• 攻击提示注入
• 技术编码与混淆
• 组件护栏与评审
• +1+1

研究者提出对抗性重新包装：不改科学内容仅调整表述即可拉高 AI 审稿分数

提出对抗重构，仅改表述以拉高 AI 审稿分数

arXiv

2606.13044

发表

6月11日

层

应用层

场景

LLM 应用

测试

Claude Sonnet 4、Claude Sonnet 4.5、GPT-5-mini

• 技术自动化搜索
• 组件护栏与评审

EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

arXiv

2608.25776

发表

8月26日

层

应用层

场景

编程 Agent

测试

Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +3+3

Purdue 提出 Pact：将欺骗作为行为遗忘

提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

arXiv

2609.38909

发表

9月30日

层

训练与数据层

场景

模型与 API

攻击者

白盒

测试

DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

• 防御模型加固
• 攻击模型篡改
• 风险欺骗与谋划
• 组件微调与开源权重
• +1+1

研究提出 Confidence Game 模型

测量委托收费激励下模型策略性虚报任务信心

arXiv

2610.09371

发表

10月7日

层

模型层

场景

模型与 API

测试

gpt-oss-120b

• 风险欺骗与谋划

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

• 组件推理链

FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

arXiv

2610.09819

发表

10月7日

层

训练与数据层

场景

模型与 API

测试

HuBERT-base、WavLM-base

• 攻击投毒与后门
• 技术潜伏触发
• 组件音频
• +1+1

研究：LLM 路由决策日志可推断用户医疗、自伤等敏感话题

提出利用路由元数据推断敏感话题的侧信道攻击

arXiv

2610.09981

发表

10月7日

层

基础设施层

场景

LLM 应用

测试

RouteLLM (BERT router)、notdiamond-0001、Vela (vLLM Semantic Router) 等 6 个

• 攻击提取与窃取
• 技术侧信道

新论文称 Lean 验证不能为 OpenAI 的 Navier-Stokes 自然语言证明背书

论证 Lean 编译通过不能保证自然语言数学证明语义忠实

arXiv

2610.08144

发表

10月6日

层

模型层

场景

模型与 API

测试

ChatGPT-6 (Astra Ultra)、OpenAI Navier-Stokes formalisation AI、Meta Atlas autoformaliser

研究者提出模型生物体多目标验证框架并给出训练建议

提出模型生物多目标验证与合并训练方法以减少能力损伤

arXiv

2610.10203

发表

10月7日

层

训练与数据层

场景

模型与 API

测试

gemma-2-2b-it、olmo-2-1b、llama-3.1-8b-it 等 8 个

SafeEvo：从拒答回路视角解释大模型安全对齐机制与演化

用 SafeEvo 提取拒绝电路，并提出 SCA 仅微调该电路

arXiv

2610.09600

发表

10月7日

层

训练与数据层

场景

模型与 API

测试

Llama-3-8B、Qwen-2.5-7B、Mistral-7B-v0.1 等 4 个

• 防御模型加固
• 风险拒答失当

P-VMI：对抗图像经 KV cache 持续影响多轮对话

提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

arXiv

2610.09027

发表

10月7日

层

基础设施层

场景

模型与 API

测试

Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

• 攻击提示注入
• 技术潜伏触发
• 组件视觉
• +1+1