全部论文

自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

arXiv

2602.08877

发表

2月10日

层

模型层

场景

模型与 API

测试

Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Gemini 3.1 Pro、Gemini 3.5 Flash、Claude Sonnet 4.6 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Gemma4-26B-A4B、Gemma4-E4B、Gemini-3-flash 等 6 个

• 风险奖励作弊

EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

arXiv

2608.25776

发表

8月26日

层

应用层

场景

编程 Agent

测试

Gemma-4-31B-IT、Devstral-Small-2、Qwen3-Coder-Next 等 7 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +3+3

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

Gemini 3.8 Flash、Gemini 3.5 Flash、GPT-6 Sol 等 6 个

• 组件推理链

研究者提出模型生物体多目标验证框架并给出训练建议

提出模型生物多目标验证与合并训练方法以减少能力损伤

arXiv

2610.10203

发表

10月7日

层

训练与数据层

场景

模型与 API

测试

gemma-2-2b-it、gemma-4-31b、olmo-2-1b 等 8 个

P-VMI：对抗图像经 KV cache 持续影响多轮对话

提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

arXiv

2610.09027

发表

10月7日

层

基础设施层

场景

模型与 API

测试

Gemma-4-12B、Qwen3-8B、Qwen3-VL-8B-Instruct 等 4 个

• 攻击提示注入
• 技术潜伏触发
• 组件视觉
• +1+1

PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

arXiv

2610.10276

发表

10月7日

层

模型层

场景

模型与 API

测试

gemma-3-4b-it、gemma-3-12b-it、Qwen2.5-3B-Instruct 等 8 个

• 防御推理时干预
• 攻击越狱

SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突

提出 SpecGuard，在编码 Agent 执行前证明任务与测试冲突

arXiv

2610.09159

发表

10月7日

层

应用层

场景

编程 Agent

测试

Kimi K3、GPT-5.6 Sol、Claude Opus 5 等 4 个

• 风险奖励作弊

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

arXiv

2605.16626

发表

5月

层

应用层

场景

编程 Agent

测试

Gemini 3.1 Pro、Claude Opus 4.6、Claude Opus 4.7 等 6 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

SLIP：无需外部攻击模型的多轮自我越狱

提出无外部攻击模型的多轮自我越狱方法 SLIP

arXiv

2601.02670

发表

1月6日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Gemini-2.5-Pro、Gemini-2.5-Flash-Lite、GPT-5.1 等 11 个

• 攻击越狱
• 技术多轮渐进
• +1+1

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Gemini-3.1-Pro、Claude-Opus-4.6、GPT-5.4 等 5 个

• 风险欺骗与谋划
• 组件监控器

研究者提出答案侧后门：让模型自生成触发词绕过安全拒答

提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答

arXiv

2610.07723

发表

10月6日

层

训练与数据层

场景

模型与 API

测试

Gemma-7B-it、Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3 等 4 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件微调与开源权重
• +2+2

SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

arXiv

2610.06522

发表

10月5日

层

模型层

场景

模型与 API

测试

gemini-3.1-pro、gemini-3.5-flash、gemini-3.1-flash-lite 等 11 个

• 风险失准与价值偏离

TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击

提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员

arXiv

2610.06848

发表

10月5日

层

基础设施层

场景

模型与 API

攻击者

黑盒

测试

BERT (4.4M-340M)、ViT (22M-307M)、Pythia (70M-2.8B) 等 5 个

• 攻击提取与窃取
• 技术侧信道

研究者提出 CAP 指标与 CSFD 算法，发现越狱通过压制安全特征绕过拒答

提出 CAP 指标与 CSFD 算法，发现被抑制的安全特征

arXiv

2610.05541

发表

10月5日

层

模型层

场景

模型与 API

测试

Gemma-2-2B、Gemma-3-4B-IT、Qwen3-8B 等 5 个

• 风险拒答失当

研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口

arXiv

2610.05637

发表

10月5日

层

训练与数据层

场景

模型与 API

测试

Gemini 3.5 Flash、Claude Sonnet 4.6、Molmo2-8B 等 5 个

• 防御模型加固
• 风险拒答失当
• 组件视觉

犯罪学框架测试生成式 AI 的奖励作弊

测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距

arXiv

2610.04793

发表

10月4日

层

应用层

场景

编程 Agent

测试

Gemini 3.6 Flash、Kimi K3、Claude Opus 5.5 等 7 个

• 风险奖励作弊

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Kimi-K2、Kimi-K2.5、Qwen2.5-72B-Instruct 等 12 个

• 攻击恶意使用

研究揭示无触发投毒审计缺口：事实答对不等于决策正确

揭示无触发虚假训练下事实回答与下游决策的审计差距

arXiv

2610.02886

发表

10月2日

层

训练与数据层

场景

模型与 API

测试

Gemma-2-9B-it、Kimi-Linear-48B-A3B-Instruct、Qwen2.5-0.5B 等 9 个

• 攻击投毒与后门