10月8日 · 周四

Agent 安全 · 论文

找到 89 篇

筛选1

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 378 篇还没打标签，不在筛选结果里。

被测模型厂商：Anthropic 话题：Agent 安全清除全部

另有 378 篇论文还没打上分类标签，暂不在筛选结果里。

评测与基准arXiv:2610.05532 · 10月5日
DelegationBench 发布：Agent 判断该问用户时
提出 DelegationBench，评测智能体该请示用户时是否实际询问
AI Agent测试Claude Sonnet 5、Claude Opus 4.8、GPT-5.6 Sol 等 10 个应用层
- Agent 危险操作
摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。
DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。
完整解读
防御arXiv:2610.09793 · 10月7日
用时序逻辑监控工具 Agent
提出基于 MonPoly 的时序逻辑监控，离线检出工具智能体危险动作链
AI Agent测试Sonnet-3.5、GPT-4o应用层
摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
完整解读
分析与理论arXiv:2610.09667 · 10月7日
东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核
揭示推理模型用标识符规则替代随机抽样，使审计可被预测
模型与 API测试Claude Sonnet 5、GPT-6 Sol、GPT-6 Luna 等 6 个模型层
- 推理链
摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。
完整解读
评测与基准arXiv:2610.08871 · 10月6日
CredLeak-Bench
提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露
网页与电脑操作测试Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个应用层
完整解读
评测与基准arXiv:2609.22076 · 9月18日
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
提出 APort Vault，评测支付智能体授权层对越权转账的拦截
AI Agent测试Claude Fable 5.1、Claude Sonnet 5、Claude Haiku 4.5 等 14 个应用层
完整解读
防御arXiv:2609.11757 · 9月10日
研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御
提出 A-VIP，将购物意图绑定到支付授权以阻断商户文本操控
AI Agent测试claude-opus-5、claude-sonnet-4.6、gemini-2.5-flash-lite 等 15 个应用层
摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。
完整解读
风险行为arXiv:2609.32701 · 9月26日
研究显示前沿模型智能体在测试时自行形成隐蔽信道
揭示前沿智能体在禁止泄露时自发建立隐蔽信道传递机密
多智能体测试Claude Sonnet 5、Opus 5、GPT-5.6 Sol 等 6 个应用层
- 欺骗与谋划
- 监控器
摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。
论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。
完整解读
防御arXiv:2610.09159 · 10月7日
SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突
提出 SpecGuard，在编码智能体执行前用 Lean 证书证明任务与测试冲突
编程 Agent测试Claude Opus 5、Claude Fable 5、GPT-5.6 Sol 等 4 个应用层
- 奖励作弊
摘要提出预执行冲突检测与证明框架，在多个基准和真实仓库中成功证明任务与测试不可同时满足。
完整解读
攻击arXiv:2605.12673 · 5月12日
UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷
提出 BENCHJACK，自动审计智能体基准的奖励作弊缺陷
编程 Agent 网页与电脑操作测试Claude Code、OpenAI Codex应用层
摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。
论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。
完整解读
评测与基准arXiv:2605.16626 · 5月
Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现
提出 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点
编程 Agent测试Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个应用层
摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。
完整解读
评测与基准arXiv:2606.23130 · 6月22日
研究审计 200 个 vibe coding 应用，发现 1,186 个漏洞
审计由智能体从零构建并部署的真实应用的安全缺陷
编程 Agent测试Claude Sonnet 4.6、GPT-5.3-Codex、GPT-5.6-Terra 等 5 个应用层
摘要论文全面揭示了部署 vibe-coded 应用的高危现状与成因，指出全流程管线防御优于单纯模型缩放。
完整解读
评测与基准arXiv:2606.05647 · 6月4日
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏
编程 Agent测试Claude-Opus-4.6、Claude-Haiku-4.5、GPT-5.4 等 5 个应用层
- 欺骗与谋划
- 监控器
完整解读
评测与基准arXiv:2610.07359 · 10月6日
论文实测 Agent 工具调用门控栈的失败相关性
提出 nmult 指标，测量智能体动作门禁堆叠的错误相关性与等效层数
AI Agent测试claude-haiku-4-5-20251001、claude-sonnet-5、claude-opus-5 等 6 个应用层
- 护栏与评审
摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。
论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。
完整解读
分析与理论arXiv:2610.06191 · 10月5日
研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正
分析检索智能体判定结果无用后仍不停止检索的整合失败
AI Agent测试Claude Haiku 4.5、Claude Sonnet 5、Qwen2.5-7B 等 7 个应用层
摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。
本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。
完整解读
评测与基准arXiv:2610.07274 · 10月6日
研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度
提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性
AI Agent测试Claude Sonnet 4.6、Claude Opus 5、GPT-5.6 Sol 等 5 个应用层
- 欺骗与谋划
摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。
完整解读
评测与基准arXiv:2610.07089 · 10月5日
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
构建统一滥用监视基准，用危害窗口评测跨威胁动作监控
AI Agent测试Claude Haiku 4.5、Gemma 4 26B-A4B、Qwen3.6 27B 等 12 个应用层
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
完整解读
评测与基准arXiv:2610.07639 · 10月6日
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制
编程 Agent测试Claude Opus 4.8、GLM-5.2、Qwen3.8-27B 等 4 个应用层
完整解读
评测与基准arXiv:2610.04378 · 10月3日
COPEX：面向 MCP 智能体的受控攻击评测基准发布
用 COPEX 基准在固定协议栈下评测智能体抵御 MCP 攻击的能力
AI Agent测试Claude Opus 4.7、Claude Sonnet 4.6、GPT-5.5 等 9 个应用层
- 提示注入
- MCP 与技能
完整解读
攻击arXiv:2610.04195 · 10月3日
MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露
评估多租户智能体共享向量记忆的跨用户泄露与主动桥接
AI Agent测试Claude Sonnet 4.5、Gemini 2.5 Flash、all-MiniLM-L6-v2 等 5 个应用层
完整解读
防御arXiv:2605.17380 · 5月
Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月
提出企业级智能体检测系统 ADR，检测提示注入与恶意 MCP
编程 Agent测试Claude Sonnet 4、GPT-4o、Llama Guard 3-8B 等 4 个应用层
摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。
完整解读

加载更多

Agent 安全 · 论文

攻击类型

攻击技术

模型自身风险

防御类型

影响

系统形态

攻击者权限

攻击面/入口

层

系统组件

被测模型厂商

DelegationBench 发布：Agent 判断该问用户时

用时序逻辑监控工具 Agent

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

CredLeak-Bench

APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权

研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

研究显示前沿模型智能体在测试时自行形成隐蔽信道

SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突

UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

研究审计 200 个 vibe coding 应用，发现 1,186 个漏洞

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

论文实测 Agent 工具调用门控栈的失败相关性

研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

COPEX：面向 MCP 智能体的受控攻击评测基准发布

MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露

Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月