评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
评测编码智能体 harness 安全机制在对抗任务中的防护效果
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 评测与基准arXiv 2609.36817
pikit：面向间接提示注入研究与评测的可组合工具包
构建可组合工具包 pikit，评测编码智能体的间接提示注入
- arXiv
- 2609.36817
- 发表
- 层
- 应用层
- 攻击提示注入
摘要pikit 提供组合式间接注入评测。
pikit 是面向间接提示注入研究的组合式工具包，主要贡献是组织攻击、投递通道、防御和判定流程，而非提出新的攻击优化算法。
- 评测与基准arXiv 2609.35912
MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作
提出 MMSkillRisk 基准，评测多模态技能图像中的隐藏指令诱导 Agent 越权操作
- arXiv
- 2609.35912
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等6个
摘要论文提出 MMSkillRisk 基准与 NCVA 攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
- 评测与基准arXiv 2609.32635
TrustFork：显示身份如何劫持 LLM 智能体编排的权限
提出 TRUSTFORK 基准，评测展示身份劫持多智能体编排权限
- arXiv
- 2609.32635
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-Sol、GPT-5.6-Luna、Kimi-K3 等8个
- 攻击提示注入
摘要论文提出了多智能体安全基准 TRUSTFORK，揭示展示身份如何劫持操作权威，并证明事后验证无法弥补已发生的执行破坏。
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测智能体在虚假指责下破坏已完成的正确工作
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 被测模型
- Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等14个
- 攻击提示注入
- 风险Agent 危险操作
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 评测与基准arXiv 2609.28915
研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性
构建 ACE 语料，评测内核级证据对 Agent 攻击检测的有效性
- arXiv
- 2609.28915
- 发表
- 层
- 应用层
- 被测模型
- AdaBoost、XGBoost、TabPFN 等10个
摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。
ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。
- 评测与基准arXiv 2607.20759
IssueTrojanBench：针对恶意 issue 请求评测 AI 编码 Agent
提出 IssueTrojanBench 评测编码 Agent 对恶意 issue 的执行
- arXiv
- 2607.20759
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.3 Codex、GPT-5.4、Sonnet 4.6
- 攻击提示注入
- 评测与基准arXiv 2607.20121
OpenSkillRisk：评测 Agent 使用真实世界高风险第三方技能时的安全性
构建 OpenSkillRisk 评测编程 Agent 使用真实高风险第三方技能的安全性
- arXiv
- 2607.20121
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.1 Codex Mini、GPT-5.3 Codex、GPT-5.4 等13个
- 评测与基准arXiv 2607.14611
论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险
评测编码 Agent 记忆文件中提示注入的跨会话影响
- arXiv
- 2607.14611
- 发表
- 层
- 应用层
- 被测模型
- Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等4个
摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。
Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。
- 评测与基准arXiv 2605.17380
Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月
提出企业级检测系统 ADR，识别编程 Agent 的提示注入与恶意 MCP
- arXiv
- 2605.17380
- 发表
- 层
- 应用层
摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。
- 评测与基准arXiv 2604.02947
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
- arXiv
- 2604.02947
- 发表
- 层
- 应用层
- 被测模型
- Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等12个
- 攻击恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
- 评测与基准arXiv 2510.01359
JAWS-Bench：研究者用三种工作区场景系统越狱代码 Agent
提出 JAWS-Bench，评测代码 Agent 在三级工作区中的越狱与恶意代码可执行性
- arXiv
- 2510.01359
- 发表
- 层
- 应用层
- 被测模型
- GPT-4.1、GPT-o1、DeepSeek-R1 等8个
- 攻击越狱
摘要论文提出了评估代码智能体端到端恶意代码越狱的 JAWS-Bench，发现多文件与智能体推理会明显放大可部署危害。
已经到底了