Agent 安全 · 论文

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个

• 风险奖励作弊

LogInject 框架披露 LLM 日志分析中的被动提示注入

提出 LogInject 框架，评测日志分析中的被动提示注入及缓解

arXiv

2607.14493

发表

7月16日

层

应用层

场景

LLM 应用

测试

GPT-4o、Claude 3.5 Sonnet、Llama-3-70B-Instruct

• 攻击提示注入
• 技术编码与混淆
• 组件护栏与评审
• +1+1

LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

arXiv

2608.04741

发表

8月5日

层

应用层

场景

网页与电脑操作

测试

GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

• 攻击提示注入
• 技术自动化搜索

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

• 组件推理链

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

• 攻击提示注入

论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

arXiv

2604.02623

发表

4月

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +1+1

WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

arXiv

2610.09240

发表

10月7日

层

应用层

场景

网页与电脑操作

测试

LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉
• +1+1

P-VMI：对抗图像经 KV cache 持续影响多轮对话

提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

arXiv

2610.09027

发表

10月7日

层

基础设施层

场景

模型与 API

测试

Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

• 攻击提示注入
• 技术潜伏触发
• 组件视觉
• +1+1

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制

揭示风险自述与实际行为由近正交表征分别控制

arXiv

2610.04125

发表

10月3日

层

模型层

场景

模型与 API

测试

Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct 等 4 个

• 风险欺骗与谋划

研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口

arXiv

2610.05637

发表

10月5日

层

训练与数据层

场景

模型与 API

测试

Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B 等 5 个

• 防御模型加固
• 风险拒答失当
• 组件视觉

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个

• 攻击恶意使用

HDI 攻击：篡改 GraphRAG 辅助结构可致 88–94% 攻击成功率

提出 HDI 攻击以篡改 GraphRAG 辅助结构破坏检索

arXiv

2610.02373

发表

10月1日

层

应用层

场景

LLM 应用

测试

Microsoft GraphRAG、HippoRAG2、text-embedding-3-small 等 4 个

• 攻击投毒与后门
• 组件RAG

COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

提出 COBRA，用分支能力约束与代理拦截防御计算机使用 Agent 的分支引导攻击

arXiv

2610.03089

发表

10月2日

层

应用层

场景

网页与电脑操作

测试

gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

• 防御指令与数据隔离
• 攻击提示注入
• 组件MCP 与技能
• +1+1

论文：安全路由评测在分布偏移下失效，基线选取偏差被低估

提出诚实留出协议，量化安全路由评测的基线选择偏差

arXiv

2610.01535

发表

10月1日

层

应用层

场景

LLM 应用、AI Agent

测试

claude-3-5-sonnet、claude-3-opus、claude-sonnet-4-6 等 12 个

• 攻击越狱

研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案

评测 RAG 中过期文档推翻模型原本正确回答的现象

arXiv

2609.31342

发表

9月25日

层

应用层

场景

LLM 应用

测试

GPT-4o、GPT-4.1、Claude-Opus-4.5 等 13 个

• 组件RAG

ZoneClaw 用记忆分区防御 OpenClaw 式计算机使用 Agent 的持久记忆攻击

提出 ZoneClaw，用信任区隔离计算机使用 Agent 的持久记忆权限

arXiv

2610.00450

发表

10月1日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 4.6、GPT-5.5、GLM-5.2 等 4 个

• 防御指令与数据隔离
• 攻击投毒与后门
• 组件记忆
• +3+3

Salesforce AI Research 重测自改进 Agent

重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

arXiv

2608.18066

发表

8月19日

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个

• 组件记忆