评测与基准arXiv 2609.22076
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
提出 APort Vault，评测支付智能体授权层对越权转账的拦截
- arXiv
- 2609.22076
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Fable 5.1、Claude Sonnet 5、Claude Haiku 4.5 等 14 个
- 评测与基准arXiv 2605.16626
Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现
提出 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点
- arXiv
- 2605.16626
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个
摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。
- 评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
构建统一滥用监视基准，用危害窗口评测跨威胁动作监控
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
- 评测与基准arXiv 2610.04575
论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性
提出操作有效性契约，审计激活监控从探针分数到告警策略的有效性
- arXiv
- 2610.04575
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个
摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。
这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。
- 评测与基准arXiv 2610.02664
论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束
提出 STAR-Guard 双层防御缓解长程智能体遗忘安全约束
- arXiv
- 2610.02664
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5、DeepSeek-V4-Pro、GLM-5.2 等 7 个
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。
- 评测与基准arXiv 2609.06966
Mole：面向前沿实验室 AI 智能体的内部威胁检测基准
提出 MOLE 基准，评测智能体内部威胁的完成情况与监控漏检
- arXiv
- 2609.06966
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.3 Chat、GPT-5.5、GPT-4.1 等 15 个
摘要MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。
MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。
- 评测与基准arXiv 2609.19587
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固
- arXiv
- 2609.19587
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 5、Opus 4.8、Opus 4.7 等 8 个
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
- 评测与基准arXiv 2609.34262
论文提出基准完整性维护框架，审计 Agent 通过轨迹中的非应得通过
提出过程核验框架，审计 Agent 基准的无根据通过与奖励黑客
- arXiv
- 2609.34262
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 4.7、Opus 4.8、Opus 5 等 11 个
摘要审计通过轨迹、分开奖励黑客与验证器弱点，并用重放加现场重测验收修复。
Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题：验证器给满分，并不等于智能体展示了任务所要的能力。
- 评测与基准arXiv 2609.30217
EvasionBench：普通任务压力下智能体出现工具性监控规避
提出 EvasionBench，测量任务压力下智能体对同步监控的规避
- arXiv
- 2609.30217
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GLM 5.2、DeepSeek V4 Flash、Muse Spark 1.3 等 12 个
已经到底了