评测与基准arXiv 2608.16246
CompoSkill 框架利用逐个通过扫描的 Agent 技能组合发起攻击
提出 CompoSkill，诱导 Agent 将过审技能组合成攻击链
- arXiv
- 2608.16246
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- LongCat-2.0、GPT-5.4、Gemini-3.1-flash 等 4 个
摘要论文分析了智能体技能组合风险，指出单包安全认证状态不具备可组合性，需转向路径级防护。
全部论文
另有 701 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2609.27273
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离
- arXiv
- 2609.27273
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Fara1.5-27B、CAVEAT-27B、GPT-5.6-Sol 等 14 个
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
- 评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GUI-Owl(32B)、Mai-UI(8B)、DoubaoSeed-1.6 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
- 评测与基准arXiv 2610.03938
论文发现多模态模型启用工具后拒答失败率最高上升 68.7%
评测启用工具调用后多模态模型拒答有害图文请求的变化
- arXiv
- 2610.03938
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- AdaReasoner-7B-Randomized、Gemini-2.5-Pro、Gemini-3.1-Pro-Preview 等 13 个
摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。
论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。
- 评测与基准arXiv 2610.03448
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评提示注入检测器，检验基准分数对智能体部署的预测力
- arXiv
- 2610.03448
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
- 评测与基准arXiv 2608.09476
ActBench：面向协作智能体行为安全的自演化基准
构建 ActBench 评测协作智能体多步执行中的操作级行为安全
- arXiv
- 2608.09476
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Hunyuan-3.0、Claude-Opus-4.8、Claude-Sonnet-4.6 等 15 个
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
- 评测与基准arXiv 2607.05174
AgentGym2 发布：在去理想化真实环境中评测 LLM 智能体
提出 AgentGym2 基准，在去理想化环境中评测智能体端到端任务能力
- arXiv
- 2607.05174
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Nex-N1-32B、Nex-N1-671B、GPT-5 等 13 个
- 评测与基准arXiv 2607.20891
MisKnow-Agent 评测
提出 MisKnow-Agent，评测深度研究智能体是否采纳误导性检索知识
- arXiv
- 2607.20891
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Intern-S1-Pro、Gemini Deep Research、DeepSeek-V4 Pro 等 4 个
摘要论文通过 MisKnow-Agent 框架评估发现长程研究智能体易采纳误导性知识，且现有防御难以完全消除该现象。
- 评测与基准arXiv 2608.12851
研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险
构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险
- arXiv
- 2608.12851
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Hermes、Claude Code、Codex 等 6 个
- 评测与基准arXiv 2609.15939
VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力
提出 VLoc Bench，评测智能体仅凭弱点类型在完整仓库中定位漏洞
- arXiv
- 2609.15939
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Antares-3B、Antares-1B、CodeScout-14B 等 15 个
- 风险危险能力
摘要论文提出仓库级漏洞定位基准 VLoc Bench，指出当前模型定位表现较低且易在已修复代码上产生误报。
- 评测与基准arXiv 2609.04075
PatchBench：马里兰大学团队发布 C/C++ 漏洞修补评测基准
提出 PATCHBENCH，评测编程智能体对 C/C++漏洞的真实修补能力
- arXiv
- 2609.04075
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Atlantis、Buttercup、RoboDuck 等 11 个
摘要论文揭示漏洞修复评测的记忆与表面防护问题，提出离栈变异基准与双重验证，测得智能体实际解决率仅约五成。
- 评测与基准arXiv 2609.38604
Drift-Bench++：在沟通失误与意图漂移下评测交互式意图对齐
提出 Drift-Bench++与 GRIP，评测智能体在错位与静默漂移下的意图对齐
- arXiv
- 2609.38604
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- 五个 LLM backbone（Figure 3，论文未在正文逐一列出名称）、DeepSeek-V4-Pro
摘要Drift-Bench++ 用可执行错位和静默漂移评测交互意图对齐，澄清有帮助但仍有差距。
Drift-Bench++ 是面向 Interactive Intent Alignment 的可执行基准：智能体要在用户说错、目标会变、耐心有限时，持续跟上当前意图。
- 评测与基准arXiv 2601.10156
ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用
- arXiv
- 2601.10156
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- ShieldAgent-THU、Safiron、TS-Guard 等 10 个
摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。
ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。
- 评测与基准arXiv 2609.16541
自主网络事件响应智能体的网络靶场评估
评测仿真训练的网络事件响应智能体在靶场中阻止红队扩大访问的综合代价
- arXiv
- 2609.16541
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Vejde、Vejde w/ Noise、Heuristic 等 4 个
摘要靶场评测显示带噪声的仿真 RL 策略平均回报最高，但作者称离实用仍远。
作者在给人训练用的靶场 Crate 里，评测仿真训练的自主网络入侵响应智能体。。
- 评测与基准arXiv 2609.26618
NavSafe-∞：在真实感环境中评测闭环驾驶安全
提出闭环基准 NAVSAFE-∞，评测端到端驾驶策略的安全关键事件表现
- arXiv
- 2609.26618
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 测试
- Human Driver Reference、PDM-Closed、LTF 等 15 个
摘要写真事件级闭环基准显示开环高分不能稳定变成闭环安全。
NAVSAFE-∞ 用写真、事件级闭环仿真检查端到端驾驶策略的安全，而不是只看开环轨迹分数。
- 评测与基准arXiv 2606.14295
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
提出 AgentCyberRange，评测智能体自主实施网络攻击的能力
- arXiv
- 2606.14295
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- PentestGPT-V2、GPT-5.5、Claude-Opus-4.7 等 7 个
- 风险危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
- 评测与基准arXiv 2609.05587
研究评测 14 个模型对不可靠工具的过度依赖
评测 Agent 对不可靠工具返回的过度依赖
- arXiv
- 2609.05587
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Muse-Glimmer-30B、Qwen3-235B、Qwen3-235B-Think 等 15 个
- 攻击提示注入
摘要三种工具的污染返回常被写入答案。
作者评测 LLM 智能体是否会采纳不可靠的工具返回。现有工具基准多假定返回正确，而搜索综合、子智能体报告和代码执行都可能把错误内容交给智能体。评测只改答案相关内容。
- 评测与基准arXiv 2609.38822
SkillSeek：Agent 技能检索在 Marketplace 规模下的再审视
提出 SkillSeek，用确定性检索替代智能体技能选择循环
- arXiv
- 2609.38822
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Voyage rerank-2.5、Voyage rerank-2.5-lite、Qwen3.5-397B-A17B 等 11 个
- 组件MCP 与技能
摘要SkillSeek 用免训练两阶段 IR 选技能，在所测网格上与 LLM 检索循环的 pass rate 接近且花费更低。
SkillSeek 把智能体技能选择做成标准信息检索：BGE-base 双编码器取 top-20，小型交叉编码器重排后经 MCP 返回 top-5，检索循环内不再调用 LLM。公开技能聚合已到数十万条，Liu et al. (2026b) 让智能体自己改写查询并精炼候选，每任务都付 token。作者要问的是，这种合成优势在 SkillsBench 上是否经常出现，以及确定性检索能否在 pass rate 上接近它。
- 评测与基准arXiv 2609.35922
VoxParity 评测：语音智能体在需要听声判断时仍按文字行事
提出 VoxParity 基准，评测语音智能体是否按音频改变工具调用
- arXiv
- 2609.35922
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Inkling、StepAudio 3、Voxtral Small 等 15 个
- 风险Agent 危险操作
- 组件音频
摘要VoxParity 用固定转写的音频对比和 words-only null，测量语音智能体是否按所听内容改变工具调用。
VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测智能体遭虚假指责后是否破坏已正确的工作
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Hy3、Claude-Sonnet-5、Claude-Opus-5 等 14 个
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。