评测与基准arXiv 2610.10619
TestJack 审计编码基准
提出 TESTJACK，动态审计编码基准通过判定是否满足任务要求
- arXiv
- 2610.10619
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 4.6、Claude Opus 4.7、Claude Opus 4.8 等 7 个
- 风险奖励作弊
奖励作弊 · 论文
- 评测与基准arXiv 2610.07274
研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度
提出 Trust Layer 后置审查框架，核验智能体基准记录分数是否可信
- arXiv
- 2610.07274
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Sonnet 4.6、Claude Opus 5、GPT-5.6 Sol 等 5 个
- 风险奖励作弊
摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。
- 评测与基准arXiv 2609.39533
CATCH：面向编码 RL 奖励作弊的可控分析测试台
构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效
- arXiv
- 2609.39533
- 发表
- 层
- 模型层
- 被测模型
- Qwen3-4B、Qwen3.5-27B
摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。
CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。
- 评测与基准arXiv 2609.34262
论文提出基准完整性维护框架，审计 Agent 通过轨迹中的非应得通过
审计 Agent 基准通过轨迹，区分无根据通过与奖励黑客并封堵复测
- arXiv
- 2609.34262
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Opus 4.7、Opus 4.8、Opus 5 等 11 个
摘要审计通过轨迹、分开奖励黑客与验证器弱点，并用重放加现场重测验收修复。
Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题：验证器给满分，并不等于智能体展示了任务所要的能力。
- 评测与基准arXiv 2609.08149
研究者发布 SWE-Bench Pro Verified，修正奖励作弊与任务质量问题
发布 SWE-Bench Pro Verified，隔离答案通道并修订任务以抑制奖励破解
- arXiv
- 2609.08149
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-Sol、Kimi-K3、GLM-5.3 等 7 个
- 风险奖励作弊
- 评测与基准arXiv 2608.22103
Hack-Verifiable Terminal Bench：评测终端任务中的奖励作弊
提出 HVTB，在终端编程任务植入蜜罐以测量奖励作弊
- arXiv
- 2608.22103
- 发表
- 层
- 应用层
- 被测模型
- claude-opus-5、gpt-5.6-sol、gemini-3.1-pro 等 5 个
- 风险奖励作弊
摘要用蜜罐测量终端任务上的 reward hacking，并比较五档提示词。
HVTB 用来在真实终端与编程任务上测量 reward hacking：智能体读取被植入的参考解答或验收测试，从而偏离任务意图。作者认为这一失败模式会随智能体更自主而更重要，且事后人工或 LLM judge 可能失效。
- 评测与基准arXiv 2509.08713
论文指出 AI 科学家系统存在四类失效模式，仅看最终论文难以发现
用 SPR 评测 AI 科学家系统的方法学缺陷
- arXiv
- 2509.08713
- 发表
- 层
- 应用层
- 被测模型
- gemini-2.5-flash-preview-05-20
- 风险奖励作弊
摘要作者用 SPR 诊断两个开源系统的四种方法学缺陷，并建议审稿时提交日志与代码。
作者诊断两个开源系统的全自动科研流程，看方法学缺陷会不会留在终稿看不见的决策里。
已经到底了