评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
构建统一滥用监视基准，评测分解攻击与提示注入轨迹
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.6 27B、Qwen3.5 27B、Qwen3.5 9B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
- 评测与基准arXiv 2610.04575
论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性
提出操作有效性契约，审计激活监控从探针分数到告警策略的有效性
- arXiv
- 2610.04575
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen2.5-7B-Instruct、Qwen2.5-7B、Qwen-14B 等 4 个
摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。
这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。
- 评测与基准arXiv 2609.05797
论文发现安全监控器主要拦截模型本就会拒答的请求
构建明确度梯级并做守卫微调，以拦住模型会回答的有害请求
- arXiv
- 2609.05797
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-32B、Qwen3Guard 8B、Gemma-4-31B-IT 等 6 个
摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。
- 评测与基准arXiv 2609.06966
Mole：面向前沿实验室 AI 智能体的内部威胁检测基准
提出 MOLE 基准，评测智能体内部威胁的完成情况与监控漏检
- arXiv
- 2609.06966
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Qwen3.6-27B、GPT-5.3 Chat、GPT-5.5 等 15 个
摘要MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。
MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。
- 评测与基准arXiv 2609.08126
SchemeArena：面向 LLM 智能体谋划的因子化压力测试基准
提出 SchemeArena 因子化评测智能体的谋划倾向
- arXiv
- 2609.08126
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3-8B、Qwen3-32B、o4-mini 等 5 个
摘要SchemeArena 把 scheming 拆成目标和 hint 等因子。
- 评测与基准arXiv 2609.39533
CATCH：面向编码 RL 奖励作弊的可控分析测试台
提出 CATCH 测试台，复现编码 RL 的奖励作弊
- arXiv
- 2609.39533
- 发表
- 场景
- 编程 Agent
- 测试
- Qwen3-4B、Qwen3.5-Plus、Qwen3.5-27B
摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。
CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。
- 评测与基准arXiv 2609.28915
研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性
构建 ACE 语料并比较内核与应用层证据的攻击检测效果
- arXiv
- 2609.28915
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3-32B、Qwen3-80B、Qwen3-235B 等 13 个
摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。
ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。
- 评测与基准arXiv 2609.33102
ORBIT：基于 UK AISI Inspect 的多智能体安全评测框架
提出 ORBIT 框架，评测多智能体系统中的攻击、合谋与多类防御
- arXiv
- 2609.33102
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Qwen3-235B、GPT-5.4、Claude Sonnet 4.6 等 6 个
摘要ORBIT 用六层配置比较多智能体防御，逐动作监控不迁移到合谋。
- 评测与基准arXiv 2609.36490
LLM 仅凭监控器历史判定即可学会规避潜在空间监控
证明模型仅凭监控判定反馈即可编辑激活规避潜空间监控
- arXiv
- 2609.36490
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- qwen3-14b、llama-3.1-8b-instruct、gemma-3-27b-instruct 等 4 个
摘要论文指出 LLM 可仅凭历史二元反馈推断潜空间监控规则并通过激活编辑实现规避，提出潜空间安全监控需应对交互式规避。
这篇论文研究了语言模型如何仅利用多轮上下文中的二元反馈信息规避内部潜空间监控器。
已经到底了