METR 分析建模假设对时间跨度评测结果的影响
Impact of modelling assumptions on time horizon results
AI 导读
METR 复盘其时间跨度任务套件的建模假设，指出随着任务套件趋于饱和，结果对分析选择越来越敏感。此前修复正则化错误后，近期模型的 50% 时间跨度下降最多 20%。文章逐一考察替代成功率曲线、仅用私有任务、任务长度估计噪声等来源：对 Opus 4.6 而言，合理替代曲线使 50% 时间跨度变化约 1.5 倍、80% 约 2 倍；仅用私有任务时 Opus 4.6 的 50% 时间跨度从 11h 59m 降至 7h 11m，主要来自 RE-Bench 任务，Anthropic 表示未在这些公开任务上训练。作者认为最大的不确定性来自任务分布本身，而非分析选择，并称对任务长度估计噪声最没把握。
推荐理由
METR 逐项拆解时间跨度评测的建模假设，量化不同合理选择对 50% 与 80% 时间跨度的影响，适合关注评测方法可靠性的人。