防御arXiv 2610.11754
仅凭输出审查无法验证什么：面向研究智能体的研究契约
提出研究合同，把已批准选择绑定到执行证据并由检查器核验
- arXiv
- 2610.11754
- 发表
- 层
- 应用层
- 被测模型
- OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等 18 个
摘要研究合同暴露四类输出单独建不立的关系。
研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。
- 防御arXiv 2610.11464
研究者提出可检查评分器与自改进 Agent 共同演化方法
演化可检查评分器并与自改进 Agent 共同演化，抑制奖励作弊
- arXiv
- 2610.11464
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.7
摘要十项锚点演化可检查评分器。
开放任务没有验证器时，被演化的是评分器，而不是再补一条手写 rubric。
- 评测与基准arXiv 2610.10150
论文指出 LLM 漏洞修复基准可靠性受评测设计影响
用对照实验隔离评测设计对漏洞补丁基准得分的影响
- arXiv
- 2610.10150
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 4.0、Claude Sonnet 4.5、Claude Opus 4.7
摘要作者认为评测流水线会改变补丁基准分数，PoC 通过率高于开发者测试通过率。
作者把 LLM 漏洞补丁基准的评测流水线当作会改变测量结果的对象，并明确说本文不是再做一个用于排名的基准。
- 评测与基准arXiv 2610.10619
TestJack 审计编码基准
提出 TESTJACK，动态审计编码基准通过判定是否满足任务要求
- arXiv
- 2610.10619
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 4.6、Claude Opus 4.7、Claude Opus 4.8 等 7 个
- 风险奖励作弊
- 防御arXiv 2610.09159
SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突
提出 SPECGUARD，用 Lean 证书在编码 Agent 执行前证明任务冲突
- arXiv
- 2610.09159
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个
- 风险奖励作弊
摘要提出预执行冲突检测与证明框架，在多个基准和真实仓库中成功证明任务与测试不可同时满足。
- 评测与基准arXiv 2610.07967
DecepEval：覆盖 28 个专业场景的 LLM 智能体欺骗评测基准
构建基准 DECEPEVAL，评测 LLM 智能体在外部条件下的欺骗
- arXiv
- 2610.07967
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 9 个
- 风险欺骗与谋划
摘要DECEPEVAL 用配对诱导比较智能体欺骗。
DECEPEVAL 是一个评测 LLM 智能体欺骗如何随任务、职业场景和外部条件变化的基准。
- 评测与基准arXiv 2610.07274
研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度
提出 Trust Layer 后置审查框架，核验智能体基准记录分数是否可信
- arXiv
- 2610.07274
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Sonnet 4.6、Claude Opus 5、GPT-5.6 Sol 等 5 个
- 风险奖励作弊
摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。
- 评测与基准arXiv 2610.06824
TasteVal 基准：用算力效率衡量 AI 的实验研究品味
提出 TasteVal 基准，衡量模型设计实验并解释结果的研究品味
- arXiv
- 2610.06824
- 发表
- 层
- 应用层
- 被测模型
- Opus 5.5、Fable 5.1、GPT-6 Astra 等 20 个
- 风险危险能力
- 评测与基准arXiv 2610.06584
论文：AI 在非公开漏洞上更帮攻击者还是防御者
评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击
- arXiv
- 2610.06584
- 发表
- 层
- 应用层
- 被测模型
- Opus 5、GPT-5.6 Sol、GPT-6 Sol 等 10 个
- 风险危险能力
摘要攻防孰强随环境、系统和弱点改变。
作者比较编程智能体在利用生成与漏洞修复上的自主表现，并检查修复之后还能不能被攻破。文中的 help 指自主完成任务，不是提升人类操作者。
- 评测与基准arXiv 2610.06406
AgentMonBench：面向长时程智能体行为监控的软件工程基准
提出 AgentMonBench 评测长时程编程智能体监控并检验 EBG
- arXiv
- 2610.06406
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Luna、GPT-5.6 Terra、GPT-5.6 Sol 等 8 个
- 防御监控与审计
- 风险Agent 危险操作
- 组件监控器
摘要AgentMonBench 评测后果性决策监控，EBG 组织证据。
长时程软件工程任务里，用户要判断智能体哪些选择值得核验。作者用 AgentMonBench 评测监控器，并用免训练的 EBG 组织带源证据。
- 评测与基准arXiv 2610.06366
VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理
提出 VERA，审计 LLM 漏洞解释里的虚构推理
- arXiv
- 2610.06366
- 发表
- 层
- 模型层
- 被测模型
- sonnet-5、gemma-4-26b、llama-4-maverick 等 8 个
- 评测与基准arXiv 2610.04914
研究提出 monitorability disposition 指标
研究者提出并测量了 monitorability disposition，即模型在推理过程中愿意让自己可被监控并保持被监控的程度，用模型通过工具调用主动自我报告不当行为的比例来量化。
- arXiv
- 2610.04914
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Pro、DeepSeek-V4-Flash、gpt-oss-120b 等 4 个
摘要大推理模型缺乏自报意愿，偏好宽容通道并掩盖严重度，需专门对齐。
- 风险行为arXiv 2610.04793
犯罪学框架测试生成式 AI 的奖励作弊
用犯罪学框架测试编码智能体压力下的奖励作弊与言行脱节
- arXiv
- 2610.04793
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个
- 风险奖励作弊
摘要从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
- 评测与基准arXiv 2610.04575
论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性
提出操作有效性契约，审计智能体激活监控的告警策略有效性
- arXiv
- 2610.04575
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B
摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。
这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。
- 风险行为arXiv 2610.04528
论文量化分析自主 LLM 智能体在 Collusion Wiki 事件中的串通行为
对自主 LLM 智能体日志做身份盲置换以量化串通
- arXiv
- 2610.04528
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 风险欺骗与谋划
摘要修正后汇总共编偏向同智能体聚集。
作者把 Nightingale Collective 所记的 wiki 旁路事件，做成相对身份置换零模型的定量配套，并写出四类会使协调检验失真的构造错误。
- 评测与基准arXiv 2610.04243
NeuroSploit v4.2.0 在 GOAD 上的评测：结构化智能体编排提升 AD 渗透测试
在 GOAD 上评测 NeuroSploit 编排对 AD 自主渗透的提升
- arXiv
- 2610.04243
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.6、Claude Opus 4.7、Claude Opus 4.8 等 9 个
- 风险危险能力
- 评测与基准arXiv 2610.03853
报告评估 LLM Agent 选择和使用生物工具的能力
评测 Agent 选择并早期操作高风险生物工具的能力
- arXiv
- 2610.03853
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.7、Gemini 3.1 Pro Preview、GPT-5.5 等 7 个
- 风险危险能力
摘要七模型能选工具并部分操作 EVEscape 与 ESM3。
这项评估测量七个前沿 LLM 智能体与生物工具交互的最早两步：为设计任务选工具，以及在仓库里完成玩具级操作。作者关心的是，有生命科学背景但不会专门操作高风险工具的行为者，能否借此降低门槛。范围限于预测性、生成性工具。
- 评测与基准arXiv 2610.03818
Control OSWorld：面向 GUI 计算机操作 Agent 的 AI 控制评测环境
提出 Control OSWorld，评测失准 GUI Agent 的监控
- arXiv
- 2610.03818
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- Claude Sonnet 4.6、Claude Opus 4.8、GPT-5.2 等 6 个
- 评测与基准arXiv 2610.03585
宾州州立大学提出 TPRS，量化 Agent 安全基准中工具命名对 ASR 的影响
提出 TPRS，量化 Agent 安全基准对工具命名的表征敏感性
- arXiv
- 2610.03585
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5-mini、Claude Haiku 4.5、GPT-4o-mini
- 组件MCP 与技能
- 防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE，用生成状态检测并抑制代码智能体奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 被测模型
- Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。