跳到正文
原文
Parsewave·本站收录 · 原文发表 日期未标精选关注度69

Parsewave 发布 AutomationBench Verified,修复 210 个评分器问题

AutomationBench Verified V0.0

AI 导读

Parsewave 发布 AutomationBench Verified V0.0,对 Zapier 的 AutomationBench(commit 4a8e106)评分器做审计并应用修复,确认 210 个任务存在评分器问题,其中 197 个来自 600 个计分任务、13 个来自 200 个不计分的简单任务。审计先用 AI 智能体为全部 600 个计分任务编写对抗性测试答案,再人工复核被标记的任务。在 16,683 个本应失败的测试答案中,原评分器放过了 9,797 个(59%);在 5,949 个本应通过的答案中,原评分器误判 1,919 个(32%)。数据集包含修复后的任务文件、grader/fixed_rubric.patch、210 份证据目录,以及 Kimi K3 在 206 个修复任务上原版与修复版各三次共 1,236 次运行记录。

推荐理由

Parsewave 对 Zapier AutomationBench 评分器的审计给出了错误评分比例与修复后的复测数据,做 Agent 评测的团队可据此判断基准分数是否可信。

阅读原文kaggle.com