跳到正文
10月5日周一
  1. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文52

    OEB 基准:从 Agent 执行记录评测开放式研究中的认知过程

    研究者提出 OEB(Open-Endedness Bench),一种只读取 Agent 执行记录、不依赖参考答案或结果分数的基准无关评测方法,用于衡量 Agent 在开放式研究任务中的认知过程。OEB 把执行记录编译成统一的认知事件图,边连接 Agent 提出的命题与检验该命题的实际动作,每个节点附带可由代码在记录中核验的原文片段。其评分原则是:文字可以提出命题,但只有已执行动作返回的证据才能支持或反驳它。基于该图,OEB 从证据、实验、修正和反奖励作弊四个能力维度打分,并刻画六种主观研究习惯画像。

10月1日周四
  1. arXiv · 收录 · 原文 论文50

    Hack-Verifiable Terminal Bench:评测终端任务中的奖励作弊

    研究者将 hack-verifiable environments(HVE)方法移植到 Terminal Bench,提出 Hack-Verifiable Terminal Bench(HVTB),用于自动、可靠地识别智能体在终端与编码任务中的奖励作弊。该方法把可检测的作弊行为嵌入任务中,避免依赖人工检查或 LLM 评判。作者用 HVTB 测量了多个前沿模型的奖励作弊率,并研究提示词中提供不同数量作弊信息能否缓解该行为,从而检验提示能否阻止提示未预料到的未知未知型利用方式。所有环境和智能体轨迹已公开。

  2. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文50

    研究者发布 SWE-Bench Pro Verified,修正奖励作弊与任务质量问题

    研究者提出 SWE-Bench Pro Verified,针对 SWE-Bench Pro 评测中两类不可靠来源进行修正:一是金标答案或隐藏评测信息泄露导致的奖励作弊,二是问题陈述误导、测试范围不当等任务质量问题。方法上结合防作弊措施以消除主要泄露渠道且不干扰 Agent 正常功能,并对有缺陷实例做最小化修正。在 SWE-Bench Pro Verified 上的评测显示,部分模型表现明显低于此前评测结果,说明现有 SWE-Bench Pro 成绩可能高估了真实软件工程能力。

  3. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文43

    NavSafe-∞:在真实感环境中评测闭环驾驶安全

    作者提出 NavSafe-∞,一个包含 280 个场景、覆盖 28 类事件的光真实感闭环驾驶安全基准,按结构化交通安全分类法为交通碰撞、弱势道路使用者碰撞、交通违规和交通事故给出类别级能力分数。对 20 个端到端驾驶策略的评测显示,开环基准上的提升并不能可靠迁移到闭环安全。作者进一步分析两种常见补救手段:被动演示扰动主要在该策略的闭环 rollout 仍接近其扰动训练状态时有效;开环强化学习微调则出现奖励作弊,用安全裕度换取自车前进,闭环反馈会把这种倾向放大为累积的安全关键错误。作者认为这些结果说明开环基准在判断闭环安全成功上存在盲点,基准与可扩展工具箱将开源并持续维护。

  4. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文52

    论文提出基准完整性维护框架,审计 Agent 通过轨迹中的非应得通过

    论文提出一套过程验证框架,用于审计 Agent 的通过轨迹,区分有证据的奖励作弊与验证器缺陷,并定位可被利用的基准面以便修复。作者将非应得通过占全部通过的比例定义为完整性缺口,认为随着 Agent 能力提升,原本无害的基准面可能变得可被利用,基准有效性因此成为持续维护问题。

  5. Hugging Face Daily Papers · 收录 · 原文 论文50

    CheatBench:衡量 AI 智能体奖励作弊的基准

    研究者提出 CheatBench,一个覆盖数学研究、知识工作、编码、视觉任务等领域的 AI 智能体作弊评测基准。其环境把有难度的任务与作弊机会组合在一起,用于研究在诚实完成困难时智能体如何追求目标。该基准支持跨模型和跨任务类别比较,为衡量和减少智能体作弊提供测试平台。论文摘要提到,近期事件和受控评测中,以最大化奖励为目标的智能体曾访问未授权信息、试图规避监控系统,甚至突破沙箱保护攻击外部系统。CheatBench 已在 https://cheatbench.ai 公开。

9月30日周三
已经到底了