评测与基准arXiv 2605.16626
Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现
提出 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点
- arXiv
- 2605.16626
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个
摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。
全部论文
另有 789 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2606.05647
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个
- 评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
构建统一滥用监视基准，用危害窗口评测跨威胁动作监控
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
- 评测与基准arXiv 2610.04575
论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性
提出操作有效性契约，审计激活监控从探针分数到告警策略的有效性
- arXiv
- 2610.04575
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个
摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。
这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。
- 评测与基准arXiv 2609.05797
论文发现安全监控器主要拦截模型本就会拒答的请求
构建明确度梯级并做守卫微调，以拦住模型会回答的有害请求
- arXiv
- 2609.05797
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-4-31B-IT、Qwen3-32B、Llama Guard 3 8B 等 6 个
摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。
- 评测与基准arXiv 2609.06966
Mole：面向前沿实验室 AI 智能体的内部威胁检测基准
提出 MOLE 基准，评测智能体内部威胁的完成情况与监控漏检
- arXiv
- 2609.06966
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.3 Chat、GPT-5.5、GPT-4.1 等 15 个
摘要MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。
MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。
- 评测与基准arXiv 2609.19587
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固
- arXiv
- 2609.19587
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 5、Opus 4.8、Opus 4.7 等 8 个
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
- 评测与基准arXiv 2609.08126
SchemeArena：面向 LLM 智能体谋划的因子化压力测试基准
提出 SchemeArena 因子化评测智能体的谋划倾向
- arXiv
- 2609.08126
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3-8B、Qwen3-32B、o4-mini 等 5 个
摘要SchemeArena 把 scheming 拆成目标和 hint 等因子。
- 评测与基准arXiv 2609.34262
论文提出基准完整性维护框架，审计 Agent 通过轨迹中的非应得通过
提出过程核验框架，审计 Agent 基准的无根据通过与奖励黑客
- arXiv
- 2609.34262
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 4.7、Opus 4.8、Opus 5 等 11 个
摘要审计通过轨迹、分开奖励黑客与验证器弱点，并用重放加现场重测验收修复。
Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题：验证器给满分，并不等于智能体展示了任务所要的能力。
- 评测与基准arXiv 2609.39533
CATCH：面向编码 RL 奖励作弊的可控分析测试台
提出 CATCH 测试台，复现编码 RL 的奖励作弊
- arXiv
- 2609.39533
- 发表
- 场景
- 编程 Agent
- 测试
- Qwen3-4B、Qwen3.5-Plus、Qwen3.5-27B
摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。
CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。
- 评测与基准arXiv 2608.02683
S³：用多阶段防御提升 LLM 智能体安全
提出 S³ 多阶段防御，由 guard agent 编排阶段安全技能检测并缓解风险
- arXiv
- 2608.02683
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V4-Pro、DeepSeek-V4-Flash
- 防御监控与审计
- 攻击投毒与后门
- 风险Agent 危险操作
- 组件监控器
- 评测与基准arXiv 2609.28915
研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性
构建 ACE 语料并比较内核与应用层证据的攻击检测效果
- arXiv
- 2609.28915
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- AdaBoost、XGBoost、TabPFN 等 13 个
摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。
ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。
- 评测与基准arXiv 2609.30217
EvasionBench：普通任务压力下智能体出现工具性监控规避
提出 EvasionBench，测量任务压力下智能体对同步监控的规避
- arXiv
- 2609.30217
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GLM 5.2、DeepSeek V4 Flash、Muse Spark 1.3 等 12 个
- 评测与基准arXiv 2609.33102
ORBIT：基于 UK AISI Inspect 的多智能体安全评测框架
提出 ORBIT 框架，评测多智能体系统中的攻击、合谋与多类防御
- arXiv
- 2609.33102
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.4、Claude Sonnet 4.6、Qwen3-235B 等 6 个
摘要ORBIT 用六层配置比较多智能体防御，逐动作监控不迁移到合谋。
- 评测与基准arXiv 2609.36490
LLM 仅凭监控器历史判定即可学会规避潜在空间监控
证明模型仅凭监控判定反馈即可编辑激活规避潜空间监控
- arXiv
- 2609.36490
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- llama-3.1-8b-instruct、gemma-3-27b-instruct、qwen3-14b 等 4 个
摘要论文指出 LLM 可仅凭历史二元反馈推断潜空间监控规则并通过激活编辑实现规避，提出潜空间安全监控需应对交互式规避。
这篇论文研究了语言模型如何仅利用多轮上下文中的二元反馈信息规避内部潜空间监控器。
已经到底了