Epoch AI 提出基准测试能帮助回答的 9 个大问题
9 Big questions benchmarks can help answer
AI 导读
Epoch AI 发文列出其基准测试工作试图回答的 9 个关于 AI 能力的大问题，涵盖经济影响与能力驱动因素两方面。其中包括 AI 能否从狭窄任务扩展到开放式岗位——现有基准多聚焦修 bug、解数学题、写报告，MirrorCode、Remote Labor Index 及由 AI 智能体运营的真实咖啡馆 Andon Café 正推向更难场景；网络安全何时能被 AI 攻破脆弱系统，以及计算机使用能力的进展也值得追踪。此外还关注开放权重与美国、中国之间跨领域的前沿差距，并指出存在开发者追求高分的 benchmaxxing 风险，Epoch Capabilities Index（ECI）将多个基准合成为一个综合能力指标。