Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
Reward hacking · Papers
Found 4 papers构建统一奖励作弊检测基准 RH-Detect 并评测零样本检测器
- Published
- Evaluated models
- Qwen 3.5 Flash, Gemini 3.1 Flash Lite, Grok 4.1 Fast and others7
审计 Agent 基准通过轨迹,区分无根据通过与奖励黑客并封堵复测
- Published
- Evaluated models
- Opus 4.7, Opus 4.8, Opus 5 and others11
Abstract审计通过轨迹、分开奖励黑客与验证器弱点,并用重放加现场重测验收修复。
Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题:验证器给满分,并不等于智能体展示了任务所要的能力。
提出 CHERRL 注入裁判偏差以复现奖励作弊,并用 RHDA 检测训练起点
- Published
- Evaluated models
- Qwen3-4B, Qwen3.5-plus, Qwen3.5-397B-A17B and others4
AbstractCHERRL 注入已知偏差以观察奖励黑客,并用于分析偏差和评测起点检测器 RHDA。
CHERRL 是 rubric-based RL 的可控环境,用来复现奖励黑客、观察奖励分歧,并给检测器提供起点参照。
测量 RAG 系统利用评测秘密抬高自动评测分数的程度
- Published
You have reached the end