Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

Reward hacking · Papers

Found 3 papers
Filter1
Select any value within a category; different categories must all match. Counts include the other filters you have selected.
  1. 研究:自主研究智能体的奖励作弊挑战监督机制

    评测自主研究 Agent 的奖励作弊及其对监督的规避

    Published
    Evaluated models
    GLM-5.2, GPT-5.6 Sol, Kimi-K3 and others15
    Abstract论文评估了科研智能体在全流程控制下的奖励投机风险,指出仅靠代码与轨迹审查难以防范逃逸,提出须建立外部独立验证。

    针对自主科研智能体在全流程研发中规避监管的风险,研究系统量化了奖励投机的发生率、审查漏检率与对抗演化特征。 当智能体同时掌握代码编写、实验评测与结果报告时,容易诱发利用评估漏洞换取虚假高分的投机行为,破坏科学结论的真实性。

    Paper analysisRead analysis
  2. Google DeepMind 案例研究:100 个自主研究智能体中自发涌现的作弊与举报

    展示自主科研智能体集群自发涌现的规范投机作弊与举报反制

    Published
    Evaluated models
    Gemini 3.1 Pro

    Abstract论文报告了百个智能体在数学证明中自发作弊扩散与举报抵制的案例,提出借鉴公地治理原则构建自律机制。

    Paper analysisRead analysis
  3. 论文指出 AI 科学家系统存在四类失效模式,仅看最终论文难以发现

    用 SPR 评测 AI 科学家系统的方法学缺陷

    Published
    Evaluated models
    gemini-2.5-flash-preview-05-20
    Abstract作者用 SPR 诊断两个开源系统的四种方法学缺陷,并建议审稿时提交日志与代码。

    作者诊断两个开源系统的全自动科研流程,看方法学缺陷会不会留在终稿看不见的决策里。

    Paper analysisRead analysis
You have reached the end