10月8日 · 周四

Agent 安全 · 论文

找到 35 篇

筛选2

系统形态

LLM 应用3 AI Agent32 编程 Agent8 网页与电脑操作5 多智能体2

攻击面/入口

用户输入6 网页与界面2 文档与消息5 工具返回4 工具与技能描述3 检索语料1 记忆写入5 Agent 间消息1 图像与音视频2 分发渠道2 推理服务与硬件1

层

应用层35

系统组件

MCP 与技能3 记忆8 RAG3 监控器4 权限与沙箱3 视觉3 音频1 多模态3

被测模型厂商

OpenAI58 Anthropic43 Qwen（阿里）38 Google31 DeepSeek28 智谱 GLM24 Meta22 Kimi（月之暗面）21 xAI12 MiniMax8 Mistral7 其他17

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 377 篇还没打标签，不在筛选结果里。

被测模型厂商：Google 被测模型厂商：Mistral 话题：Agent 安全清除全部

另有 377 篇论文还没打上分类标签，暂不在筛选结果里。

评测与基准arXiv:2610.05532 · 10月5日
DelegationBench 发布：Agent 判断该问用户时
提出 DelegationBench，评测智能体该请示用户时是否实际询问
AI Agent测试Gemini 3.6 Flash、Gemini 3.5 Flash-Lite、GPT-5.6 Sol 等 10 个应用层
- Agent 危险操作
摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。
DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。
完整解读
评测与基准arXiv:2610.08871 · 10月6日
CredLeak-Bench
提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露
网页与电脑操作测试Gemini 3.6 Flash、Claude Sonnet 5、Claude Opus 4.8 等 7 个应用层
完整解读
评测与基准arXiv:2609.22076 · 9月18日
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
提出 APort Vault，评测支付智能体授权层对越权转账的拦截
AI Agent测试Gemini 3.5 Flash、Gemini 3.8 Flash、Claude Fable 5.1 等 14 个应用层
完整解读
评测与基准arXiv:2605.01970 · 5月3日
Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准
提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御
AI Agent测试Gemini 3.1 Pro、GPT-5-mini、GPT-5应用层
摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。
完整解读
评测与基准arXiv:2605.16626 · 5月
Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现
提出 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点
编程 Agent测试Gemini 3.1 Pro、Claude Opus 4.6、Claude Opus 4.7 等 6 个应用层
摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。
完整解读
评测与基准arXiv:2606.05647 · 6月4日
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏
编程 Agent测试Gemini-3.1-Pro、Claude-Opus-4.6、GPT-5.4 等 5 个应用层
- 欺骗与谋划
- 监控器
完整解读
评测与基准arXiv:2610.06898 · 9月29日
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
网页与电脑操作测试Gemini-3-Flash、Qwen2.5-VL(32B)、Qwen3-VL(32B) 等 7 个应用层
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
完整解读
评测与基准arXiv:2610.07274 · 10月6日
研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度
提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性
AI Agent测试Gemini 3.6 Flash、Claude Sonnet 4.6、Claude Opus 5 等 5 个应用层
- 欺骗与谋划
摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。
完整解读
评测与基准arXiv:2610.07089 · 10月5日
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
构建统一滥用监视基准，用危害窗口评测跨威胁动作监控
AI Agent测试Gemma 4 26B-A4B、Mistral Small 3.2 24B、Qwen3.6 27B 等 12 个应用层
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
完整解读
评测与基准arXiv:2610.04378 · 10月3日
COPEX：面向 MCP 智能体的受控攻击评测基准发布
用 COPEX 基准在固定协议栈下评测智能体抵御 MCP 攻击的能力
AI Agent测试Gemini 3.1、Claude Opus 4.7、Claude Sonnet 4.6 等 9 个应用层
- 提示注入
- MCP 与技能
完整解读
评测与基准arXiv:2610.05622 · 10月5日
UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力
发布 UndoBench，分离工具型智能体的任务能力与故障恢复能力
AI Agent测试Gemini 3.8 Flash、Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct 等 4 个应用层
- Agent 危险操作
摘要UndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。
完整解读
评测与基准arXiv:2610.03938 · 10月3日
论文发现多模态模型启用工具后拒答失败率最高上升 68.7%
评测启用工具调用后多模态模型拒答有害图文请求的变化
AI Agent测试Gemini-2.5-Pro、Gemini-3.1-Pro-Preview、Gemini-3-Flash 等 13 个应用层
- 拒答失当
- 视觉
摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。
论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。
完整解读
攻击arXiv:2610.04589 · 10月3日
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性
AI Agent测试Gemini 1.5 Pro、Gemini 2.0 Flash、Mistral Large 2 等 13 个应用层
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
完整解读
评测与基准arXiv:2610.05586 · 10月5日
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
构建 AGENTDOXX 评测联网搜索智能体对匿名访谈的再识别能力
AI Agent测试Gemini 3.7 Flash、Gemini 3.1 Pro Preview、GPT-5.6 Terra 等 10 个应用层
- 恶意使用
- RAG
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
完整解读
评测与基准arXiv:2609.09404 · 9月9日
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测智能体框架的多模态提示注入
AI Agent测试Gemini 3.1 Pro、Claude Opus 4.8、GPT-5.4 等 6 个应用层
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
完整解读
评测与基准arXiv:2608.19741 · 8月20日
微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性
构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性
AI Agent测试Mistral-Large-3、Claude Opus 5、GPT-5.4 等 14 个应用层
摘要论文构建多轮业务沙箱与基准，分析多次重复执行差距并展示强化学习训练效果。
完整解读
风险行为arXiv:2609.35799 · 9月18日
研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法
在模拟环境中复现级联失准行为并降低审计诱导开销
AI Agent测试Gemini 3.8 Flash、GLM 5.2、GLM 5.3 等 9 个应用层
- 失准与价值偏离
- 权限与沙箱
摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
完整解读
评测与基准arXiv:2607.05174 · 7月6日
AgentGym2 发布：在去理想化真实环境中评测 LLM 智能体
提出 AgentGym2 基准，在去理想化环境中评测智能体端到端任务能力
AI Agent测试Gemini-2.5-Pro、GPT-5、Claude-4.5-Sonnet 等 13 个应用层
完整解读
评测与基准arXiv:2607.20891 · 7月23日
MisKnow-Agent 评测
提出 MisKnow-Agent，评测深度研究智能体是否采纳误导性检索知识
AI Agent测试Gemini Deep Research、DeepSeek-V4 Pro、Qwen3.5-397B 等 4 个应用层
- 投毒与后门
- RAG
摘要论文通过 MisKnow-Agent 框架评估发现长程研究智能体易采纳误导性知识，且现有防御难以完全消除该现象。
完整解读
评测与基准arXiv:2609.31342 · 9月25日
研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案
构建知识逆转基准，评测陈旧检索证据如何推翻模型原本正确的回答
LLM 应用测试MedGemma-4B、MedGemma-27B、GPT-4o 等 13 个应用层
- RAG
摘要论文评测了陈旧检索推翻正确知识的中毒现象，并分析了其内部机制与防御局限。
这篇论文是对检索增强生成（RAG）中“陈旧文档中毒”现象的实证与机理评估研究。
完整解读

加载更多

Agent 安全 · 论文

攻击类型

攻击技术

模型自身风险

防御类型

影响

系统形态

攻击面/入口

层

系统组件

被测模型厂商

DelegationBench 发布：Agent 判断该问用户时

CredLeak-Bench

APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权

Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

COPEX：面向 MCP 智能体的受控攻击评测基准发布

UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力

论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测

MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性

研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

AgentGym2 发布：在去理想化真实环境中评测 LLM 智能体

MisKnow-Agent 评测

研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案