前Anthropic研究员Coxon称公司已能用当初所需算力的一小部分重新训练Mythos
Anthropic can already retrain Mythos with "a fraction of the compute originally needed," says former researcher Coxon
AI 导读
曾因公开警告先进 AI 风险而广受关注的前 OpenAI 与 Anthropic 研究员 Jacob Coxon 称,Anthropic IPO 路演中的一张图表是他入职约四个月即离职的重要原因。该图展示代码预训练算力乘数随时间的变化,纵轴为对数刻度,10 倍与 100 倍的增长在图上几乎看不出差别,Coxon 认为 2024 年 7 月至 2026 年 10 月的陡峭爬升表明算法效率正加速提升。他称春季出现能力大幅跃升的 Mythos 并非一次性偏离,而是超指数趋势上的一点,Anthropic 现在已能用当初所需算力的一小部分重新训练该模型。他还称算法改进已接近可被自动化,因此主张明年暂停前沿模型开发、让竞争对手赶上,并称这样做只会损害 OpenAI 和 Anthropic。图表注明数据点基于内部估计、仅供说明。