10月8日 · 周四

Agent 安全 · 论文

找到 31 篇

筛选1

系统组件

MCP 与技能3 记忆3 RAG1 护栏与评审2 监控器5 推理链1 权限与沙箱8 视觉1 多模态1

被测模型厂商

OpenAI23 Qwen（阿里）19 DeepSeek15 Anthropic15 Google15 Meta14 Kimi（月之暗面）9 智谱 GLM6 其他13

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 380 篇还没打标签，不在筛选结果里。

攻击面/入口：用户输入话题：Agent 安全清除全部

另有 380 篇论文还没打上分类标签，暂不在筛选结果里。

评测与基准arXiv:2609.22076 · 9月18日
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
提出 APort Vault，评测支付智能体授权层对越权转账的拦截
AI Agent测试Claude Fable 5.1、Claude Sonnet 5、Claude Haiku 4.5 等 14 个应用层
完整解读
攻击arXiv:2610.09027 · 10月7日
P-VMI：对抗图像经 KV cache 持续影响多轮对话
提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出
模型与 API测试Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个基础设施层
摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。
完整解读
评测与基准arXiv:2610.07359 · 10月6日
论文实测 Agent 工具调用门控栈的失败相关性
提出 nmult 指标，测量智能体动作门禁堆叠的错误相关性与等效层数
AI Agent测试GPT-5.5 (gpt55)、claude-haiku-4-5-20251001、claude-sonnet-5 等 6 个应用层
- 护栏与评审
摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。
论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。
完整解读
评测与基准arXiv:2610.07089 · 10月5日
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
构建统一滥用监视基准，用危害窗口评测跨威胁动作监控
AI Agent测试Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个应用层
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
完整解读
攻击arXiv:2610.04195 · 10月3日
MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露
评估多租户智能体共享向量记忆的跨用户泄露与主动桥接
AI Agent测试Gemini 2.5 Flash、Claude Sonnet 4.5、all-MiniLM-L6-v2 等 5 个应用层
完整解读
防御arXiv:2610.04504 · 10月3日
论文提出 VAL 框架：相同 ASR 的 LLM Agent 防御可能对应不同安全保证
提出 VAL 框架并用确认门与参数沙箱约束高风险工具调用
AI Agent测试DeepSeek-chat、Meta Llama 3.1 8B、Kimi应用层
完整解读
评测与基准arXiv:2610.06748 · 10月5日
BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全
构建 BazaarBench，评测去中心化交易智能体的违规与失信
多智能体测试GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个应用层
摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。
BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
完整解读
攻击arXiv:2610.04589 · 10月3日
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性
AI Agent测试Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个应用层
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
完整解读
评测与基准arXiv:2610.05586 · 10月5日
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
构建 AGENTDOXX 评测联网搜索智能体对匿名访谈的再识别能力
AI Agent测试GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等 10 个应用层
- 恶意使用
- RAG
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
完整解读
评测与基准arXiv:2604.02947 · 4月3日
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
网页与电脑操作编程 Agent测试Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个应用层
- 恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
完整解读
防御arXiv:2609.33039 · 9月27日
TACIT：从 LLM 内部状态检测 Agent 轨迹危害
提出 TACIT，读取冻结隐藏状态以检测智能体有害轨迹
AI Agent测试Qwen3Guard-4B、LlamaGuard3-8B、AgentDoG-4B 等 9 个应用层
摘要提出基于内部表征的智能体轨迹安全检测方法 TACIT，揭示工具风险表征特性并在多项基准上提升检测表现与效率。
完整解读
攻击arXiv:2607.25560 · 7月28日
SigLeak 可从执行轨迹推断专有 Agent 技能
提出 SigLeak，从执行轨迹比对中推断专有智能体技能
编程 Agent攻击者黑盒测试GPT-5.4-mini、GPT-5.5、GLM-5.2 等 4 个应用层
摘要提出了通过良性查询和对照轨迹推断黑盒专有技能的 SigLeak 框架，揭示了智能体执行可见性带来的行为侧信道泄露风险。
完整解读
攻击arXiv:2608.29381 · 8月30日
研究者提出 Agent 检查点回滚的五类安全失效，并在 Hermes、Cline、LangGraph 上实现三种攻击
提出破坏执行连续性的回滚攻击，揭示检查点恢复的安全故障
AI Agent测试DeepSeek-v4应用层
- Agent 危险操作
- 权限与沙箱
摘要论文系统研究了智能体 C/R 的安全性，分析了合法回滚破坏执行连续性的机理，并实证评估了其普遍性与危害。
完整解读
防御arXiv:2607.13716 · 7月15日
CAVA：面向智能体 AI 运行时治理的规范动作验证与证明
提出 CAVA，把异构智能体运行时事件规范成可哈希动作并绑定审批与回执
AI Agent应用层
摘要CAVA 用规范动作指纹承接异构运行时治理。
CAVA 是给异构智能体运行时用的动作语义层，用来回答“被批准和被审计的到底是哪一个动作”。
完整解读
防御arXiv:2607.19913 · 7月22日
Janus：面向长时程智能体安全的前瞻性潜在风险预测框架
提出 Janus，用 CoAA-RL 训练前瞻守卫，在长程智能体有害动作执行前拦截
AI Agent测试Vanguard、Qwen3-8B、Llama-Guard-3-8B 等 8 个应用层
完整解读
分析与理论arXiv:2610.01535 · 10月1日
论文：安全路由评测在分布偏移下失效，基线选取偏差被低估
分析分布偏移下安全路由评测的基线选择偏差与虚假下限
LLM 应用测试claude-3-5-sonnet、claude-3-opus、claude-sonnet-4-6 等 12 个应用层
- 越狱
摘要论文揭示安全路由评估在分布偏移下的虚假下限，指出防御重心应转向外部动作级强制。
完整解读
攻击arXiv:2607.26115 · 7月29日
OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体
提出自博弈红队智能体 GPT-Red，自动挖掘提示注入与越狱攻击
AI Agent攻击者黑盒测试GPT-5.6、GPT-5.5、GPT-5.4 等 8 个应用层
完整解读
防御arXiv:2609.02786 · 9月3日
SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架
提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略
AI Agent测试Qwen3.5-4B、Qwen3-4B-Instruct-2507、Qwen3.5-1.7B 等 4 个应用层
摘要SafeEvolve 用轨迹证据协同更新安全 harness 和策略，在两个 4B 模型的智能体安全基准上改变安全与效用。
SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新，并用两阶段 SFT-RL 把这些更新内化进工具使用策略。
完整解读
攻击arXiv:2607.11698 · 7月13日
AHA 用自动研究循环发现生产 Agent 漏洞概念
提出 AHA 自动科研循环，发现生产级智能体的可复用漏洞概念
编程 Agent攻击者黑盒测试Minimax-M2.7、Kimi-K2.6、Deepseek-V4-Pro 等 5 个应用层
摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。
AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。
完整解读
评测与基准arXiv:2608.12851 · 8月13日
研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险
构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险
编程 Agent测试Claude Code、Codex、Hermes 等 6 个应用层
完整解读

加载更多

Agent 安全 · 论文

攻击类型

攻击技术

模型自身风险

防御类型

影响

系统形态

攻击者权限

攻击面/入口

层

系统组件

被测模型厂商

APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权

P-VMI：对抗图像经 KV cache 持续影响多轮对话

论文实测 Agent 工具调用门控栈的失败相关性

研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露

论文提出 VAL 框架：相同 ASR 的 LLM Agent 防御可能对应不同安全保证

BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测

AgentHazard：评估计算机使用智能体有害行为的基准

TACIT：从 LLM 内部状态检测 Agent 轨迹危害

SigLeak 可从执行轨迹推断专有 Agent 技能

研究者提出 Agent 检查点回滚的五类安全失效，并在 Hermes、Cline、LangGraph 上实现三种攻击

CAVA：面向智能体 AI 运行时治理的规范动作验证与证明

Janus：面向长时程智能体安全的前瞻性潜在风险预测框架

论文：安全路由评测在分布偏移下失效，基线选取偏差被低估

OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体

SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架

AHA 用自动研究循环发现生产 Agent 漏洞概念

研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险