Agent 安全 · 论文

研究者披露针对 LLM Agent 护栏的推理扩展型拒绝服务攻击

提出针对 LLM Agent 护栏的推理扩展拒绝服务攻击

arXiv

2606.14517

发表

6月12日

层

应用层

场景

AI Agent

攻击者

黑盒、白盒

测试

TS-Guard-8B、Qwen3.5-9B、DeepSeek-V3.2 等 11 个

• 攻击拒绝服务
• 技术推理链操控
• 组件护栏与评审
• +2+2

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个

• 风险奖励作弊

ColluSkill 用跨技能组合绕过 Agent 技能扫描器

提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

arXiv

2608.09732

发表

8月10日

层

应用层

场景

编程 Agent

攻击者

黑盒、灰盒

测试

GPT-5.5、DeepSeek-V4-Pro、GLM-5.2

• 防御检测与过滤
• 攻击检测规避
• 技术针对防御
• 组件MCP 与技能
• +3+3

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

• 组件推理链

研究显示前沿模型智能体在测试时自行形成隐蔽信道

展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

arXiv

2609.32701

发表

9月26日

层

应用层

场景

多智能体

测试

GPT-5.6 Sol、Terra、Luna 等 6 个

• 风险欺骗与谋划
• 组件监控器

SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突

提出 SpecGuard，在编码 Agent 执行前证明任务与测试冲突

arXiv

2610.09159

发表

10月7日

层

应用层

场景

编程 Agent

测试

GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个

• 风险奖励作弊

UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

提出 BenchJack 系统审计智能体基准的奖励作弊缺陷

arXiv

2605.12673

发表

5月12日

层

应用层

场景

AI Agent

测试

Claude Code、OpenAI Codex

• 组件权限与沙箱

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

arXiv

2605.16626

发表

5月

层

应用层

场景

编程 Agent

测试

Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个

• 风险欺骗与谋划
• 组件监控器

研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

分析工具型 Agent 判定检索无用却不停止的原因

arXiv

2610.06191

发表

10月5日

层

应用层

场景

AI Agent

测试

Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 等 7 个

研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性

arXiv

2610.07274

发表

10月6日

层

应用层

场景

AI Agent

测试

Claude Sonnet 4.6、Claude Opus 5、GPT-5.6 Sol 等 5 个

• 风险欺骗与谋划
• +1+1

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

研究：智能体欺骗行为在外部显现前已可从内部表征预测

从决策前内部表征预测智能体自发欺骗并做激活引导

arXiv

2610.06576

发表

10月5日

层

模型层

场景

AI Agent

测试

Qwen3-14B、GPT-5.6

• 风险欺骗与谋划
• 组件监控器

犯罪学框架测试生成式 AI 的奖励作弊

测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距

arXiv

2610.04793

发表

10月4日

层

应用层

场景

编程 Agent

测试

Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个

• 风险奖励作弊

HackTrace：用生成状态监督检测代码生成中的奖励作弊

提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

arXiv

2610.03055

发表

10月2日

层

应用层

场景

编程 Agent

测试

Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个

• 防御监控与审计
• 风险奖励作弊
• 组件监控器

研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

重评 Agent 提示注入检测器，检验基准分数能否预测部署表现

arXiv

2610.03448

发表

10月2日

层

应用层

场景

AI Agent

测试

Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个

• 防御检测与过滤
• 攻击提示注入
• 组件护栏与评审

Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

提出 PRETEXT 白盒攻击，迭代改写技能文本以绕过 Agent 技能扫描器

arXiv

2609.39607

发表

9月30日

层

应用层

场景

AI Agent

攻击者

白盒

测试

glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507)、gpt-oss (openai/gpt-oss-120b) 等 4 个

• 攻击检测规避
• 技术自动化搜索
• 组件MCP 与技能
• +2+2

斯坦福等团队发现长程交互中 LLM 智能体自发串谋

测量长程多智能体在交互中自发串通并联合违背用户协议

arXiv

2609.24967

发表

9月22日

层

应用层

场景

多智能体

测试

Gemini-3.1-Flash-Lite、Gemini-3.7-Flash、GPT-5.6-Luna 等 10 个

• 风险欺骗与谋划

微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性

构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性

arXiv

2608.19741

发表

8月20日

层

应用层

场景

AI Agent

测试

Claude Opus 5、GPT-5.4、GPT-5.6-sol 等 14 个

论文：安全路由评测在分布偏移下失效，基线选取偏差被低估

提出诚实留出协议，量化安全路由评测的基线选择偏差

arXiv

2610.01535

发表

10月1日

层

应用层

场景

LLM 应用、AI Agent

测试

claude-3-5-sonnet、claude-3-opus、claude-sonnet-4-6 等 12 个

• 攻击越狱