全部论文

自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

arXiv

2602.08877

发表

2月10日

层

模型层

场景

模型与 API

测试

Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Gemini 3.1 Pro、Gemini 3.5 Flash、Claude Sonnet 4.6 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Gemma4-26B-A4B、Gemma4-E4B、Gemini-3-flash 等 6 个

• 风险奖励作弊

EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

arXiv

2608.25776

发表

8月26日

层

应用层

场景

编程 Agent

测试

Gemma-4-31B-IT、Devstral-Small-2、Qwen3-Coder-Next 等 7 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +3+3

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

Gemini 3.8 Flash、Gemini 3.5 Flash、GPT-6 Sol 等 6 个

• 组件推理链

PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

arXiv

2610.10276

发表

10月7日

层

模型层

场景

模型与 API

测试

gemma-3-4b-it、gemma-3-12b-it、Qwen2.5-3B-Instruct 等 8 个

• 防御推理时干预
• 攻击越狱

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

arXiv

2605.16626

发表

5月

层

应用层

场景

编程 Agent

测试

Gemini 3.1 Pro、Claude Opus 4.6、Claude Opus 4.7 等 6 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Gemini-3.1-Pro、Claude-Opus-4.6、GPT-5.4 等 5 个

• 风险欺骗与谋划
• 组件监控器

SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

arXiv

2610.06522

发表

10月5日

层

模型层

场景

模型与 API

测试

gemini-3.1-pro、gemini-3.5-flash、gemini-3.1-flash-lite 等 11 个

• 风险失准与价值偏离

研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

提出 multi-CaMeL，在多智能体调用边界隔离可信指令与不可信数据

arXiv

2610.05640

发表

10月5日

层

应用层

场景

多智能体

测试

Gemini 2.5 Pro、Gemini 2.5 Flash Lite、Claude Fable 5 等 6 个

• 防御指令与数据隔离
• 攻击提示注入

研究者提出 CAP 指标与 CSFD 算法，发现越狱通过压制安全特征绕过拒答

提出 CAP 指标与 CSFD 算法，发现被抑制的安全特征

arXiv

2610.05541

发表

10月5日

层

模型层

场景

模型与 API

测试

Gemma-2-2B、Gemma-3-4B-IT、Qwen3-8B 等 5 个

• 风险拒答失当

犯罪学框架测试生成式 AI 的奖励作弊

测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距

arXiv

2610.04793

发表

10月4日

层

应用层

场景

编程 Agent

测试

Gemini 3.6 Flash、Claude Opus 5.5、Claude Sonnet 5.5 等 7 个

• 风险奖励作弊

研究：LLM 智能体顺从多数时内部仍保留原有前提

用 J-lens 检测屈从多数的智能体是否仍表征原前提

arXiv

2610.02702

发表

10月2日

层

模型层

场景

多智能体

测试

Gemma-4-E4B-it、Qwen3.5-4B、Qwen3.6-27B 等 4 个

• 组件推理链

研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控

测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

arXiv

2609.39050

发表

9月30日

层

应用层

场景

多智能体、编程 Agent

测试

Gemini 3.1 Pro、DeepSeek-V4-Pro、devstral-2512 等 15 个

• 风险欺骗与谋划
• 组件监控器
• +1+1

研究：跨通道碎片化攻击可绕过 MCP 单通道防御

提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件

arXiv

2609.18217

发表

9月16日

层

应用层

场景

编程 Agent

测试

Gemini 2.5 Flash、GPT-4o、GPT-4o-mini 等 15 个

• 攻击提示注入
• 技术编码与混淆
• 组件MCP 与技能
• +1+1

研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

arXiv

2610.00568

发表

10月1日

层

模型层

场景

模型与 API

测试

Gemma-3-12B、Gemma-3-27B、Llama-3.1-8B-Instruct 等 13 个

Truthful AI 提出价值泄漏评估：模型答案被自身价值观悄然左右

提出价值泄漏评估，测量模型回答受自身价值倾向的隐蔽影响

arXiv

2607.14345

发表

7月16日

层

模型层

场景

模型与 API

测试

Gemini 3.1 Pro、Gemini 3.5 Flash、Gemini 2.5 Pro 等 15 个

• 风险失准与价值偏离
• 组件推理链

斯坦福等团队发现长程交互中 LLM 智能体自发串谋

测量长程多智能体在交互中自发串通并联合违背用户协议

arXiv

2609.24967

发表

9月22日

层

应用层

场景

多智能体

测试

Gemini-3.1-Flash-Lite、Gemini-3.7-Flash、Gemma-4-31B 等 10 个

• 风险欺骗与谋划

研究：推理 token 能纠正部分偏见

用 CDPG 与 BTM 追踪思考如何改变反事实公平翻转

arXiv

2609.30768

发表

9月25日

层

模型层

场景

模型与 API

测试

gemma-2-27B、QwQ-32B、DeepSeek-R1-Distill-Qwen-32B 等 5 个

• 风险偏见与歧视
• 组件推理链

Harness-IF：评估编码 Agent 跨指令面的指令遵循能力

提出 Harness-IF，按交付面评测编程 Agent 的指令遵循

arXiv

2608.11727

发表

8月12日

层

应用层

场景

编程 Agent

测试

Gemini-3.1-Pro、Claude-Opus-4.7、GPT-5.5 等 12 个