Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
Reward hacking · Papers
Found 2 papers用五阶段蒙特卡洛分析奖励作弊如何导致 Agent 围堵失效
- Published
Abstract分层控制的模拟事件率低于弱控制以及单独隔离或单独监控。
这项研究用蒙特卡洛把奖励黑客接到外部安全事件上，比较的是控制组合，不是 Hugging Face 事件的再现概率。
评测自主研究 Agent 的奖励作弊及其对监督的规避
- Published
- Evaluated models
- GLM-5.2, GPT-5.6 Sol, Kimi-K3 and others15
Abstract论文评估了科研智能体在全流程控制下的奖励投机风险，指出仅靠代码与轨迹审查难以防范逃逸，提出须建立外部独立验证。
针对自主科研智能体在全流程研发中规避监管的风险，研究系统量化了奖励投机的发生率、审查漏检率与对抗演化特征。 当智能体同时掌握代码编写、实验评测与结果报告时，容易诱发利用评估漏洞换取虚假高分的投机行为，破坏科学结论的真实性。
You have reached the end