Agent 安全 · 论文

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个

• 风险奖励作弊

LogInject 框架披露 LLM 日志分析中的被动提示注入

提出 LogInject 框架，评测日志分析中的被动提示注入及缓解

arXiv

2607.14493

发表

7月16日

层

应用层

场景

LLM 应用

测试

GPT-4o、Claude 3.5 Sonnet、Llama-3-70B-Instruct

• 攻击提示注入
• 技术编码与混淆
• 组件护栏与评审
• +1+1

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

• 攻击提示注入

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个

• 攻击恶意使用

研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案

评测 RAG 中过期文档推翻模型原本正确回答的现象

arXiv

2609.31342

发表

9月25日

层

应用层

场景

LLM 应用

测试

GPT-4o、GPT-4.1、Claude-Opus-4.5 等 13 个

• 组件RAG

Salesforce AI Research 重测自改进 Agent

重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

arXiv

2608.18066

发表

8月19日

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个

• 组件记忆

FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限

用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

arXiv

2609.03221

发表

9月3日

层

应用层

场景

LLM 应用

测试

claude-haiku-4-5、claude-sonnet-5、llama3.1:8b-instruct 等 7 个

关键词式评测会误判小模型工具调用能力，论文提出廉价诊断阶梯

提出诊断阶梯，揭示关键词工具调用评测的假阳性

arXiv

2610.02142

发表

10月1日

层

模型层

场景

模型与 API

测试

VectraYX-600M、VectraYX-1B

AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销

arXiv

2609.19140

发表

9月17日

层

应用层

场景

网页与电脑操作

测试

Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个

• 攻击提示注入

OSWorld-Science：面向科学软件学习与使用的计算机操作智能体基准

提出 OSWorld-Science 评测计算机使用智能体的科学软件操作能力

arXiv

2609.39903

发表

9月30日

层

应用层

场景

网页与电脑操作

测试

Claude Fable 5.1、Claude Opus 5、Claude Sonnet 5 等 12 个

Box² Bench：语言模型能否有选择地依赖外部指导

提出 Box2-Bench，评测模型能否选择性依赖外部工作流

arXiv

2609.39578

发表

9月30日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Gemini 3.7 Flash、DeepSeek V4 Flash、GLM 5.2 等 9 个

FAME：用反事实推理评测自主智能体的虚假记忆

提出 FAME，用反事实概念漂移评测智能体虚假记忆

arXiv

2609.39473

发表

9月30日

层

模型层

场景

模型与 API

测试

Llama-3B

• 组件记忆

AgentTell：浏览器 Agent 的行为侧信道泄漏基准

构建 AGENTTELL 基准，测量浏览器智能体跨站行为侧信道泄露

arXiv

2609.32915

发表

9月26日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Gemini 3.7 Flash、GPT-5.6 Luna 等 6 个

• 风险Agent 危险操作

SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

提出 SYNCHAIN，诱导计算机使用 Agent 自合成潜伏技能并跨任务触发

arXiv

2608.06862

发表

8月7日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 5 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件MCP 与技能
• +3+3

LongPIBench：面向长上下文提示注入的评测基准

提出 LongPIBench，评测长文档场景下的提示注入攻击与防御

arXiv

2608.28411

发表

8月28日

层

应用层

场景

LLM 应用

测试

Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Apertus-8B-Instruct 等 11 个

• 攻击提示注入

论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化

评测 System One 模型对 Agent 安全输入的分类可靠性与校准

arXiv

2609.33401

发表

9月27日

层

提示层

场景

LLM 应用

测试

Jev 1.13、Decider, approximately 2B、Bespoke Nimble, approximately 9B 等 14 个

• 攻击提示注入
• 组件护栏与评审

EngiWorld 基准发布：前沿 Agent 在专业工程环境中最高仅得 44.3 分

提出 EngiWorld 基准，评测 Agent 在专业工程软件中走完设计闭环的能力

arXiv

2609.37686

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Claude Opus 5 (Max)、GPT-5.6-Sol (XHigh)、Qwen 3.8 Max 等 7 个