Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
Reward hacking · Papers
Found 4 papers提出 Trust Layer 后置审查框架，核验智能体基准记录分数是否可信
- Published
- Evaluated models
- Claude Sonnet 4.6, Claude Opus 5, GPT-5.6 Sol and others5
Abstract论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。
用犯罪学框架测试编码智能体压力下的奖励作弊与言行脱节
- Published
- Evaluated models
- Claude Opus 5.5, Claude Sonnet 5.5, GPT-5.6 Sol and others7
Abstract从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效
- Published
- Evaluated models
- Qwen3-4B, Qwen3.5-27B
AbstractCATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。
CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。
评测自主研究 Agent 的奖励作弊及其对监督的规避
- Published
- Evaluated models
- GLM-5.2, GPT-5.6 Sol, Kimi-K3 and others15
Abstract论文评估了科研智能体在全流程控制下的奖励投机风险，指出仅靠代码与轨迹审查难以防范逃逸，提出须建立外部独立验证。
针对自主科研智能体在全流程研发中规避监管的风险，研究系统量化了奖励投机的发生率、审查漏检率与对抗演化特征。 当智能体同时掌握代码编写、实验评测与结果报告时，容易诱发利用评估漏洞换取虚假高分的投机行为，破坏科学结论的真实性。
You have reached the end