跳到正文
10月8日 · 周四

奖励作弊 · 论文

找到 2 篇
筛选3
同一类里任选其一,不同类之间同时满足;数字是加上其他已选条件后的篇数。另有 39 篇还没打标签,不在筛选结果里。

另有 39 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 攻击arXiv 2605.12673

    UC Berkeley 提出 BenchJack,自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

    提出 BENCHJACK,自动审计智能体基准的奖励作弊缺陷

    发表
    测试
    Claude Code、OpenAI Codex
    摘要论文系统揭示了智能体基准的奖励作弊隐患,提出自动化红队审计与迭代修补系统 BENCHJACK。

    论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题,提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。

    深度解读完整解读
  2. 评测与基准arXiv 2609.34262

    论文提出基准完整性维护框架,审计 Agent 通过轨迹中的非应得通过

    提出过程核验框架,审计 Agent 基准的无根据通过与奖励黑客

    发表
    测试
    Opus 4.7、Opus 4.8、Opus 5 等 11 个
    摘要审计通过轨迹、分开奖励黑客与验证器弱点,并用重放加现场重测验收修复。

    Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题:验证器给满分,并不等于智能体展示了任务所要的能力。

    深度解读完整解读
已经到底了