全部论文

自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

arXiv

2602.08877

发表

2月10日

层

模型层

场景

模型与 API

测试

Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个

• 风险奖励作弊

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

• 攻击提示注入

PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

arXiv

2610.10276

发表

10月7日

层

模型层

场景

模型与 API

测试

Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

• 防御推理时干预
• 攻击越狱

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

arXiv

2605.16626

发表

5月

层

应用层

场景

编程 Agent

测试

Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究审计 200 个 vibe coding 应用，发现 1,186 个漏洞

审计由智能体从零构建并部署的真实应用的安全缺陷

arXiv

2606.23130

发表

6月22日

层

应用层

场景

编程 Agent

测试

Claude Sonnet 4.6、GPT-5.3-Codex、GPT-5.6-Terra 等 5 个

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个

• 风险欺骗与谋划
• 组件监控器

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制

arXiv

2610.07639

发表

10月6日

层

应用层

场景

编程 Agent

测试

GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个

• 攻击提示注入
• 组件权限与沙箱
• +1+1

SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

arXiv

2610.06522

发表

10月5日

层

模型层

场景

模型与 API

测试

opus-5、sonnet-5、sonnet-4.6 等 11 个

• 风险失准与价值偏离

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

arXiv

2610.05163

发表

10月4日

层

应用层

场景

编程 Agent

测试

Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个

• 防御监控与审计
• 攻击提示注入
• 组件监控器

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个

• 攻击恶意使用

研究系统评估循环语言模型的思维链可监控性

系统评估循环语言模型加深 loop 后的 CoT 可监控性

arXiv

2610.02741

发表

10月5日

层

模型层

场景

模型与 API

测试

Ouro-1.4B-Thinking、Ouro-2.6B-Thinking、Nanbeige4.2-3B 等 10 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件推理链
• +1+1

EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

提出 EvoRiskBench，评测工作区 Agent 的运行时安全风险

arXiv

2610.03153

发表

10月2日

层

应用层

场景

编程 Agent

测试

GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

• 攻击提示注入

研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

arXiv

2610.00568

发表

10月1日

层

模型层

场景

模型与 API

测试

Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Tulu-3-8B 等 13 个

READY：面向企业 Agent 部署的可靠性资格认证框架

提出 READY 资格框架，评测企业 Agent 在监督下的可靠性与复核成本

arXiv

2609.02095

发表

9月2日

层

应用层

场景

编程 Agent

测试

Opus 5、Sonnet 5、GPT-5.6-Sol 等 15 个

ContextWeave：面向长周期办公工作流的智能体记忆基准

提出办公工作流记忆基准 ContextWeave ，衡量历史召回对后续任务的增益

arXiv

2608.04830

发表

8月5日

层

应用层

场景

编程 Agent

测试

DeepSeek-V4-Pro、GPT-5.5、GLM-5.1 等 5 个

• 组件记忆

研究者发布概念性论证评分数据集，含 951 条论证与 1458 条专家评分

发布概念论证评分数据集并评测模型对批判的排序

arXiv

2607.27499

发表

7月30日

层

模型层

场景

模型与 API

测试

gpt-5-2025-08-07、o3-pro-2025-06-10、o3-2025-04-16 等 15 个