评测与基准arXiv 2608.16246
CompoSkill 框架利用逐个通过扫描的 Agent 技能组合发起攻击
提出 CompoSkill，诱导 Agent 将过审技能组合成攻击链
- arXiv
- 2608.16246
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V4、GPT-5.4、Gemini-3.1-flash 等 4 个
摘要论文分析了智能体技能组合风险，指出单包安全认证状态不具备可组合性，需转向路径级防护。
全部论文
另有 643 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2609.27273
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离
- arXiv
- 2609.27273
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- DeepSeek-V4-Flash、GPT-5.6-Sol、GPT-5.6-Terra 等 14 个
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
- 评测与基准arXiv 2609.22076
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
构建 APort Vault 基准，对比裸模型与确定性授权对越权支付的拦截
- arXiv
- 2609.22076
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek V4 Pro、DeepSeek V4 Flash、Claude Fable 5.1 等 14 个
- 评测与基准arXiv 2610.07359
论文实测 Agent 工具调用门控栈的失败相关性
提出 nmult，实测 Agent 动作门控栈的层间错误相关性
- arXiv
- 2610.07359
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- deepseek-v4-flash、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等 6 个
- 风险Agent 危险操作
- 组件权限与沙箱
摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。
论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- DeepSeek V4 Flash、GLM-5.2、Qwen3.8-27B 等 4 个
- 评测与基准arXiv 2610.06748
BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全
构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信
- arXiv
- 2610.06748
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- DeepSeek-V4-Pro、GPT-5.5、GPT-5.4 等 5 个
摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。
BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
- 评测与基准arXiv 2610.04589
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V3、DeepSeek-R1、Llama 3.1 405B 等 13 个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
- 评测与基准arXiv 2610.05586
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
用 AGENTDOXX 评测搜索 Agent 对匿名访谈的再识别
- arXiv
- 2610.05586
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V4 Flash、GPT-5.6 Terra、GPT-5 Mini 等 10 个
- 攻击恶意使用
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
- 评测与基准arXiv 2610.02664
论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束
提出 STAR-Guard 双层防御，缓解长程智能体跨轮遗忘安全约束
- arXiv
- 2610.02664
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V4-Pro、GPT-5.5、GLM-5.2 等 7 个
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。
- 评测与基准arXiv 2610.03153
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
提出 EvoRiskBench，评测工作区 Agent 的运行时安全风险
- arXiv
- 2610.03153
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- DeepSeek-V4-Pro-0813、GPT-5.6 Sol、Claude Opus 5
- 攻击提示注入
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
- 评测与基准arXiv 2608.09476
ActBench：面向协作智能体行为安全的自演化基准
提出自演化基准 ActBench，评测协作智能体的操作级行为安全
- arXiv
- 2608.09476
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Deepseek-v4-Pro、Deepseek-v4-Flash、Claude-Opus-4.8 等 15 个
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
- 评测与基准arXiv 2608.19741
微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性
构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性
- arXiv
- 2608.19741
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V4-Pro、Claude Opus 5、GPT-5.4 等 14 个
摘要论文构建多轮业务沙箱与基准，分析多次重复执行差距并展示强化学习训练效果。
- 评测与基准arXiv 2608.11469
SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准
构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力
- arXiv
- 2608.11469
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- DeepSeek-V4.1-Flash、GPT-6-Astra、GPT-5.6-Sol 等 11 个
- 风险危险能力
摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。
作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。
- 评测与基准arXiv 2607.05174
AgentGym2 发布：在去理想化真实环境中评测 LLM 智能体
提出 AgentGym2 基准，在去理想化环境中评测智能体端到端任务能力
- arXiv
- 2607.05174
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V3.1、DeepSeek-V3.2-Exp、GPT-5 等 13 个
- 评测与基准arXiv 2607.20891
MisKnow-Agent 评测
评测深度研究 Agent 是否把检索误导文档采纳为自身结论
- arXiv
- 2607.20891
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V4 Pro、Gemini Deep Research、Qwen3.5-397B 等 4 个
摘要论文通过 MisKnow-Agent 框架评估发现长程研究智能体易采纳误导性知识，且现有防御难以完全消除该现象。
- 评测与基准arXiv 2609.08258
研究实测五套 Agent 记忆系统均不执行撤销标记
评测智能体记忆软撤回是否生效，并提出陈旧检索防护
- arXiv
- 2609.08258
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V4-Flash、GPT-5.5、Grok-4 等 9 个
- 防御检测与过滤
- 风险Agent 危险操作
- 组件记忆
摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。
- 评测与基准arXiv 2607.05189
研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入
提出 MEMGHOST，以单封恶意邮件向持久个人智能体注入隐蔽记忆
- arXiv
- 2607.05189
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek v4 Flash、GPT-5.4、Claude Sonnet 4.6 等 6 个
摘要总结了论文的研究背景、双代理优化方法 MEMGHOST、全周期实验结果以及作者对记忆信任边界的启示。
本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。
- 评测与基准arXiv 2609.19892
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务
- arXiv
- 2609.19892
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- DeepSeek-V4-Flash-0731、Claude-Sonnet-5、GLM-4.7 等 15 个
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
- 评测与基准arXiv 2607.10526
PASB 基准：自改进个人 Agent 的持久谄媚在后续会话中失败率达 71.9%
构建 PASB 评测自改进个人 Agent 的跨会话持久谄媚
- arXiv
- 2607.10526
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Deepseek-V4-Pro、GPT-5.5、GPT-5.4 等 12 个
摘要PASB 显示一次被写入的主张会跨会话塑造回答，改笔记比只阻止写入更能降低后续失败。
PASB 评测自改进个人智能体的持久谄媚：用户主张被智能体自己写入档案、记忆或技能后，新会话里的中立问题仍可能按它作答。
- 评测与基准arXiv 2608.00677
OpenART 提出环境演化红队框架
构建 OpenART 竞技场并以 EMHA 演化环境诱导 Agent 违规
- arXiv
- 2608.00677
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V4-Pro、GPT-5.5、Claude-Opus-4.8 等 5 个