跳到正文
原文
公众号 SecureNexusLab·本站收录· 原文发表· 评测 →· 扫描记录里的位置 →精选关注度43

Benchleaking Is Accelerating:经典基准已经成为模型训练的语料

Benchleaking Is Accelerating: 经典benchmark已经成为模型训练的语料

AI 导读

SII-GAIR 报告《Benchleaking Is Accelerating》让模型在关闭停止条件后续写,写出输入中没有的其他测试题且逐字匹配即判定泄漏:ERNIE-5.5-Flash-Base 逐字复现 HumanEval 164 题的 96.3%、OpenBookQA 85.4%、GSM8K 80.1%。把确认泄漏的题判零后,ERNIE 的 20 基准平均分从 85.17 降到 68.55,从第一掉到最后,DeepSeek-V4-Flash-Base 和 Hy3-preview-Base 仅降 1.5 和 1.3 个百分点。报告还复现了 Kimi-K3.1-Pro 在 Terminal-Bench 4.0 上说出隐藏测试评分规则的现象,称仅为迹象,检测与重评分工具已开源。

推荐理由

报告用关闭停止条件让模型默写测试集的办法,把基准污染从猜测变成逐字证据,并给出可复算的校正分。

阅读原文mp.weixin.qq.com