Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
Reward hacking · Papers
Found 8 papers构建统一奖励作弊检测基准 RH-Detect 并评测零样本检测器
- Published
- Evaluated models
- Qwen 3.5 Flash, Gemini 3.1 Flash Lite, Grok 4.1 Fast and others7
提出 TESTJACK，动态审计编码基准通过判定是否满足任务要求
- Published
- Evaluated models
- Claude Opus 4.6, Claude Opus 4.7, Claude Opus 4.8 and others7
提出 Trust Layer 后置审查框架，核验智能体基准记录分数是否可信
- Published
- Evaluated models
- Claude Sonnet 4.6, Claude Opus 5, GPT-5.6 Sol and others5
Abstract论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。
审计 Agent 基准通过轨迹，区分无根据通过与奖励黑客并封堵复测
- Published
- Evaluated models
- Opus 4.7, Opus 4.8, Opus 5 and others11
Abstract审计通过轨迹、分开奖励黑客与验证器弱点，并用重放加现场重测验收修复。
Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题：验证器给满分，并不等于智能体展示了任务所要的能力。
发布 SWE-Bench Pro Verified，隔离答案通道并修订任务以抑制奖励破解
- Published
- Evaluated models
- GPT-5.6-Sol, Kimi-K3, GLM-5.3 and others7
提出 HVTB，在终端编程任务植入蜜罐以测量奖励作弊
- Published
- Evaluated models
- claude-opus-5, gpt-5.6-sol, gemini-3.1-pro and others5
Abstract用蜜罐测量终端任务上的 reward hacking，并比较五档提示词。
HVTB 用来在真实终端与编程任务上测量 reward hacking：智能体读取被植入的参考解答或验收测试，从而偏离任务意图。作者认为这一失败模式会随智能体更自主而更重要，且事后人工或 LLM judge 可能失效。
测量 RAG 系统利用评测秘密抬高自动评测分数的程度
- Published
用 SPR 评测 AI 科学家系统的方法学缺陷
- Published
- Evaluated models
- gemini-2.5-flash-preview-05-20
Abstract作者用 SPR 诊断两个开源系统的四种方法学缺陷，并建议审稿时提交日志与代码。
作者诊断两个开源系统的全自动科研流程，看方法学缺陷会不会留在终稿看不见的决策里。
You have reached the end