METR:目标明确、易评分任务上 Anthropic 模型能力提升速度约为过去两倍,约80%或来自 AI
研发速度翻倍的 Anthropic 掌握了什么「秘密配方」?
AI 导读
评估机构 METR 报告称,在目标清晰、结果易量化评估的任务上,Anthropic 提升模型能力的速度约为历史基线的两倍,其中约 80% 可能来自 AI。该机构驻场审查 11 周,但 Anthropic 以防泄密为由脱敏部分非公开信息,关键数据被删改、方法细节难以独立复查。METR 提示测算或存在明显上下行偏差,实际研发效率仍无定论。
阅读原文