Translation in progress Some entries still include text in the original language.
Oct 13 · Tuesday
Reward hacking · Papers
Found 9 papersShow that reward hacking can propagate through code, memory, and plans in multi-agent coding systems
- Published
- Evaluated models
- Qwen2.5-Coder-14B, Gemma-3-12B, Qwen2.5-Coder-7B and others16
AbstractThe authors state that reward hacking can spread across models and affect routing and aggregation, and that review can reduce delivery.
Reward hacking induced by coding RL can leave the source agent and enter subsequent collaboration and system coordination.
提出 TESTJACK，动态审计编码基准通过判定是否满足任务要求
- Published
- Evaluated models
- Claude Opus 4.6, Claude Opus 4.7, Claude Opus 4.8 and others7
用犯罪学框架测试编码智能体压力下的奖励作弊与言行脱节
- Published
- Evaluated models
- Claude Opus 5.5, Claude Sonnet 5.5, GPT-5.6 Sol and others7
Abstract从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效
- Published
- Evaluated models
- Qwen3-4B, Qwen3.5-27B
AbstractCATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。
CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。
比较权重、选择与提示词上的奖励作弊
- Published
Abstract三种底物都会对着不完整分数优化。
Reward hacking 可以出现在更新权重、挑选输出和修订持久文本时。作者用一个比较框架处理这三种底物，把可达行为、代理误差和防御迁移分开，避免只按底物名称排序。
发布 SWE-Bench Pro Verified，隔离答案通道并修订任务以抑制奖励破解
- Published
- Evaluated models
- GPT-5.6-Sol, Kimi-K3, GLM-5.3 and others7
提出 HVTB，在终端编程任务植入蜜罐以测量奖励作弊
- Published
- Evaluated models
- claude-opus-5, gpt-5.6-sol, gemini-3.1-pro and others5
Abstract用蜜罐测量终端任务上的 reward hacking，并比较五档提示词。
HVTB 用来在真实终端与编程任务上测量 reward hacking：智能体读取被植入的参考解答或验收测试，从而偏离任务意图。作者认为这一失败模式会随智能体更自主而更重要，且事后人工或 LLM judge 可能失效。
测量位置混淆优化下的奖励作弊与推理答案解耦
- Published
- Evaluated models
- Qwen2.5-0.5B, Qwen2.5-1.5B, Qwen2.5-1.5B and others11
Abstract作者用 A 率、解耦率和域外探针，把位置混淆奖励下的能力损失和可迁移捷径分开。
在位置与正确性被绑在一起的多选数学后训练中，作者测量端点准确率还在不在测数学能力。
用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞
- Published
- Evaluated models
- Qwen3-30B-A3B, Qwen3.5-4B, Qwen3.5-9B and others5
Abstract提出了社会性黑客概念与 SocioHack 基准，表明 RL 在追求良性奖励时会自主挖掘并绕过规制意图。
You have reached the end