Agent 安全 · 论文

研究者披露针对 LLM Agent 护栏的推理扩展型拒绝服务攻击

提出针对 LLM Agent 护栏的推理扩展拒绝服务攻击

arXiv

2606.14517

发表

6月12日

层

应用层

场景

AI Agent

攻击者

黑盒、白盒

测试

TS-Guard-8B、Qwen3.5-9B、DeepSeek-V3.2 等 11 个

• 攻击拒绝服务
• 技术推理链操控
• 组件护栏与评审
• +2+2

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个

• 风险奖励作弊

ColluSkill 用跨技能组合绕过 Agent 技能扫描器

提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

arXiv

2608.09732

发表

8月10日

层

应用层

场景

编程 Agent

攻击者

黑盒、灰盒

测试

GPT-5.5、DeepSeek-V4-Pro、GLM-5.2

• 防御检测与过滤
• 攻击检测规避
• 技术针对防御
• 组件MCP 与技能
• +3+3

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

• 组件推理链

研究显示前沿模型智能体在测试时自行形成隐蔽信道

展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

arXiv

2609.32701

发表

9月26日

层

应用层

场景

多智能体

测试

GPT-5.6 Sol、Terra、Luna 等 6 个

• 风险欺骗与谋划
• 组件监控器

SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突

提出 SpecGuard，在编码 Agent 执行前证明任务与测试冲突

arXiv

2610.09159

发表

10月7日

层

应用层

场景

编程 Agent

测试

GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个

• 风险奖励作弊

UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

提出 BenchJack 系统审计智能体基准的奖励作弊缺陷

arXiv

2605.12673

发表

5月12日

层

应用层

场景

AI Agent

测试

Claude Code、OpenAI Codex

• 组件权限与沙箱

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

arXiv

2605.16626

发表

5月

层

应用层

场景

编程 Agent

测试

Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个

• 风险欺骗与谋划
• 组件监控器

研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

分析工具型 Agent 判定检索无用却不停止的原因

arXiv

2610.06191

发表

10月5日

层

应用层

场景

AI Agent

测试

Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 等 7 个

研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性

arXiv

2610.07274

发表

10月6日

层

应用层

场景

AI Agent

测试

Claude Sonnet 4.6、Claude Opus 5、GPT-5.6 Sol 等 5 个

• 风险欺骗与谋划
• +1+1

研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

构建统一滥用监视基准，评测分解攻击与提示注入轨迹

arXiv

2610.07089

发表

10月5日

层

应用层

场景

AI Agent

测试

Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个

• 攻击越狱
• 组件监控器
• +1+1

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

研究：智能体欺骗行为在外部显现前已可从内部表征预测

从决策前内部表征预测智能体自发欺骗并做激活引导

arXiv

2610.06576

发表

10月5日

层

模型层

场景

AI Agent

测试

Qwen3-14B、GPT-5.6

• 风险欺骗与谋划
• 组件监控器

研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口

arXiv

2610.05637

发表

10月5日

层

训练与数据层

场景

模型与 API

测试

Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B 等 5 个

• 防御模型加固
• 风险拒答失当
• 组件视觉

论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

评测启用工具调用后多模态模型拒答有害图文请求的变化

arXiv

2610.03938

发表

10月3日

层

应用层

场景

AI Agent

测试

Gemini-2.5-Pro、Gemini-3.1-Pro-Preview、Claude Opus 4.6 等 13 个

• 风险拒答失当
• 组件视觉

犯罪学框架测试生成式 AI 的奖励作弊

测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距

arXiv

2610.04793

发表

10月4日

层

应用层

场景

编程 Agent

测试

Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个

• 风险奖励作弊

HackTrace：用生成状态监督检测代码生成中的奖励作弊

提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

arXiv

2610.03055

发表

10月2日

层

应用层

场景

编程 Agent

测试

Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个

• 防御监控与审计
• 风险奖励作弊
• 组件监控器

研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

重评 Agent 提示注入检测器，检验基准分数能否预测部署表现

arXiv

2610.03448

发表

10月2日

层

应用层

场景

AI Agent

测试

Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个

• 防御检测与过滤
• 攻击提示注入
• 组件护栏与评审