评测与基准arXiv 2608.16246
CompoSkill 框架利用逐个通过扫描的 Agent 技能组合发起攻击
提出 CompoSkill，诱导 Agent 将过审技能组合成攻击链
- arXiv
- 2608.16246
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- LongCat-2.0、GPT-5.4、Gemini-3.1-flash 等 4 个
摘要论文分析了智能体技能组合风险，指出单包安全认证状态不具备可组合性，需转向路径级防护。
Agent 安全 · 论文
另有 275 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2609.27273
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离
- arXiv
- 2609.27273
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Fara1.5-27B、CAVEAT-27B、GPT-5.6-Sol 等 14 个
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
- 评测与基准arXiv 2606.05647
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- MiniMax-M2.7、Claude-Opus-4.6、GPT-5.4 等 5 个
- 评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GUI-Owl(32B)、Mai-UI(8B)、Qwen2.5-VL(32B) 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
- 评测与基准arXiv 2610.03938
论文发现多模态模型启用工具后拒答失败率最高上升 68.7%
评测启用工具调用后多模态模型拒答有害图文请求的变化
- arXiv
- 2610.03938
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- AdaReasoner-7B-Randomized、Gemini-2.5-Pro、Gemini-3.1-Pro-Preview 等 13 个
摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。
论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。
- 评测与基准arXiv 2610.03448
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评提示注入检测器，检验基准分数对智能体部署的预测力
- arXiv
- 2610.03448
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
- 评测与基准arXiv 2608.09476
ActBench：面向协作智能体行为安全的自演化基准
构建 ActBench 评测协作智能体多步执行中的操作级行为安全
- arXiv
- 2608.09476
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- MiniMax-M3、MiniMax-M2.7、Claude-Opus-4.8 等 15 个
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
- 评测与基准arXiv 2607.05174
AgentGym2 发布：在去理想化真实环境中评测 LLM 智能体
提出 AgentGym2 基准，在去理想化环境中评测智能体端到端任务能力
- arXiv
- 2607.05174
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Nex-N1-32B、Nex-N1-671B、GPT-5 等 13 个
- 评测与基准arXiv 2607.05189
研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入
提出 MEMGHOST，以单封恶意邮件向持久个人智能体注入隐蔽记忆
- arXiv
- 2607.05189
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- MiniMax-M2.5、GPT-5.4、Claude Sonnet 4.6 等 6 个
摘要总结了论文的研究背景、双代理优化方法 MEMGHOST、全周期实验结果以及作者对记忆信任边界的启示。
本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。
- 评测与基准arXiv 2609.19892
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务
- arXiv
- 2609.19892
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- MiniMax-M3、Claude-Sonnet-5、DeepSeek-V4-Flash-0731 等 15 个
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
- 评测与基准arXiv 2607.10526
PASB 基准：自改进个人 Agent 的持久谄媚在后续会话中失败率达 71.9%
构建 PASB 评测自改进个人 Agent 的跨会话持久谄媚
- arXiv
- 2607.10526
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- MiniMax-M2.7、GPT-5.5、GPT-5.4 等 12 个
摘要PASB 显示一次被写入的主张会跨会话塑造回答，改笔记比只阻止写入更能降低后续失败。
PASB 评测自改进个人智能体的持久谄媚：用户主张被智能体自己写入档案、记忆或技能后，新会话里的中立问题仍可能按它作答。
- 评测与基准arXiv 2608.12851
研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险
构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险
- arXiv
- 2608.12851
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Hermes、MiniMax-M2.7、Claude Code 等 6 个
- 评测与基准arXiv 2609.15939
VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力
提出 VLoc Bench，评测智能体仅凭弱点类型在完整仓库中定位漏洞
- arXiv
- 2609.15939
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Antares-3B、Antares-1B、CodeScout-14B 等 15 个
- 风险危险能力
摘要论文提出仓库级漏洞定位基准 VLoc Bench，指出当前模型定位表现较低且易在已修复代码上产生误报。
- 评测与基准arXiv 2609.04075
PatchBench：马里兰大学团队发布 C/C++ 漏洞修补评测基准
提出 PATCHBENCH，评测编程智能体对 C/C++漏洞的真实修补能力
- arXiv
- 2609.04075
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Atlantis、Buttercup、RoboDuck 等 11 个
摘要论文揭示漏洞修复评测的记忆与表面防护问题，提出离栈变异基准与双重验证，测得智能体实际解决率仅约五成。
- 评测与基准arXiv 2610.02142
关键词式评测会误判小模型工具调用能力，论文提出廉价诊断阶梯
提出诊断阶梯，揭示关键词工具调用评测的假阳性
- arXiv
- 2610.02142
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- VectraYX-600M、VectraYX-1B
摘要宽松 B4 把不会调用的 1B 记成会调用。
作者记录 VectraYX 系列里一次工具使用评测的假阳性，并用一条廉价、与 harness 无关的诊断阶梯把它追到缺失的首 token prior，再按这一诊断修复 VectraYX-1B。
- 评测与基准arXiv 2609.38604
Drift-Bench++：在沟通失误与意图漂移下评测交互式意图对齐
提出 Drift-Bench++与 GRIP，评测智能体在错位与静默漂移下的意图对齐
- arXiv
- 2609.38604
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- 五个 LLM backbone（Figure 3，论文未在正文逐一列出名称）、DeepSeek-V4-Pro
摘要Drift-Bench++ 用可执行错位和静默漂移评测交互意图对齐，澄清有帮助但仍有差距。
Drift-Bench++ 是面向 Interactive Intent Alignment 的可执行基准：智能体要在用户说错、目标会变、耐心有限时，持续跟上当前意图。
- 评测与基准arXiv 2601.10156
ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用
- arXiv
- 2601.10156
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- ShieldAgent-THU、Safiron、TS-Guard 等 10 个
摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。
ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。
- 评测与基准arXiv 2609.16541
自主网络事件响应智能体的网络靶场评估
评测仿真训练的网络事件响应智能体在靶场中阻止红队扩大访问的综合代价
- arXiv
- 2609.16541
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Vejde、Vejde w/ Noise、Heuristic 等 4 个
摘要靶场评测显示带噪声的仿真 RL 策略平均回报最高，但作者称离实用仍远。
作者在给人训练用的靶场 Crate 里，评测仿真训练的自主网络入侵响应智能体。。
- 评测与基准arXiv 2609.26618
NavSafe-∞：在真实感环境中评测闭环驾驶安全
提出闭环基准 NAVSAFE-∞，评测端到端驾驶策略的安全关键事件表现
- arXiv
- 2609.26618
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 测试
- Human Driver Reference、PDM-Closed、LTF 等 15 个
摘要写真事件级闭环基准显示开环高分不能稳定变成闭环安全。
NAVSAFE-∞ 用写真、事件级闭环仿真检查端到端驾驶策略的安全，而不是只看开环轨迹分数。
- 评测与基准arXiv 2609.39903
OSWorld-Science：面向科学软件学习与使用的计算机操作智能体基准
提出 OSWorld-Science 评测计算机使用智能体的科学软件操作能力
- arXiv
- 2609.39903
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- MiniMax M3、Claude Fable 5.1、Claude Opus 5 等 12 个