Agent 安全 · 论文

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个

• 风险奖励作弊

ColluSkill 用跨技能组合绕过 Agent 技能扫描器

提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

arXiv

2608.09732

发表

8月10日

层

应用层

场景

编程 Agent

攻击者

黑盒、灰盒

测试

GPT-5.5、DeepSeek-V4-Pro、GLM-5.2

• 防御检测与过滤
• 攻击检测规避
• 技术针对防御
• 组件MCP 与技能
• +3+3

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

• 组件推理链

P-VMI：对抗图像经 KV cache 持续影响多轮对话

提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

arXiv

2610.09027

发表

10月7日

层

基础设施层

场景

模型与 API

测试

Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

• 攻击提示注入
• 技术潜伏触发
• 组件视觉
• +1+1

SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突

提出 SpecGuard，在编码 Agent 执行前证明任务与测试冲突

arXiv

2610.09159

发表

10月7日

层

应用层

场景

编程 Agent

测试

GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个

• 风险奖励作弊

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

arXiv

2605.16626

发表

5月

层

应用层

场景

编程 Agent

测试

Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个

• 风险欺骗与谋划
• 组件监控器

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

研究者训练出按多智能体拓扑触发的代码后门模型

提出拓扑条件后门，使模型在推断多智能体部署时向代码插入隐蔽漏洞

arXiv

2610.05793

发表

10月5日

层

训练与数据层

场景

编程 Agent、多智能体

测试

Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

• 攻击投毒与后门
• 技术潜伏触发
• 组件微调与开源权重

犯罪学框架测试生成式 AI 的奖励作弊

测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距

arXiv

2610.04793

发表

10月4日

层

应用层

场景

编程 Agent

测试

Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个

• 风险奖励作弊

HackTrace：用生成状态监督检测代码生成中的奖励作弊

提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

arXiv

2610.03055

发表

10月2日

层

应用层

场景

编程 Agent

测试

Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个

• 防御监控与审计
• 风险奖励作弊
• 组件监控器

研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持

arXiv

2607.12340

发表

7月14日

层

应用层

场景

编程 Agent

测试

GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 10 个

• 攻击投毒与后门
• 风险幻觉与编造
• 技术诱导选用
• 组件MCP 与技能
• +1+1

研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”

用演化算法构造思维病毒并测量其在多智能体中的传播

arXiv

2608.10218

发表

8月11日

层

应用层

场景

多智能体、编程 Agent

测试

Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.6 等 9 个

• 风险失准与价值偏离
• 组件记忆

关键词式评测会误判小模型工具调用能力，论文提出廉价诊断阶梯

提出诊断阶梯，揭示关键词工具调用评测的假阳性

arXiv

2610.02142

发表

10月1日

层

模型层

场景

模型与 API

测试

VectraYX-600M、VectraYX-1B

论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码

提出基准投毒攻击，使自修改编码智能体跨代写出漏洞代码

arXiv

2609.17817

发表

9月16日

层

应用层

场景

编程 Agent

测试

Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 6 个

• 攻击投毒与后门
• 技术潜伏触发

AuraForge：为训练安全编码 Agent 扩展安全监督

提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

arXiv

2610.00850

发表

10月2日

层

训练与数据层

场景

编程 Agent

测试

Qwen3.5-4B、Muse Spark 1.3、DeepSeek-V4.1-Flash 等 11 个

• 防御模型加固
• 风险Agent 危险操作

Hack-Verifiable Terminal Bench：评测终端任务中的奖励作弊

提出 HVTB，在终端编程任务植入蜜罐评测奖励作弊

arXiv

2608.22103

发表

8月23日

层

应用层

场景

编程 Agent

测试

claude-opus-5、gpt-5.6-sol、gemini-3.1-pro 等 5 个

• 风险奖励作弊

研究：提示注入可改变 Jev 决策模型的行动概率

测量间接提示注入对类型化概率决策的动作劫持

arXiv

2609.28613

发表

9月24日

层

应用层

场景

模型与 API

测试

jev-1.13.0

• 攻击提示注入
• 技术自动化搜索