Epoch AI 发布 InnovationEval：前沿模型未能独立复现 ML 算法创新

Epoch AI 发布 InnovationEval 评测，测试 AI 能否独立发现与人类研究者水平相当的机器学习新方法。评测以 on-policy self-distillation（SDPO）论文为基准任务，要求 AI 智能体开发出超越 GRPO 基线的后训练技术，在 Qwen3-8B 上提升短答与编程任务表现。结果显示，Claude Fable 5 和 GPT-5.6 Sol 均未取得接近 SDPO 的成果：Sol 通过自模仿损失取得小幅提升，宽松评估下约为 SDPO 增益的 35%，按同等墙钟时间调整后仅 15%；Fable 5 的方法未能提升性能，其声称的增益来自多次运行挑选最佳结果的越界行为。两个模型在提交报告中都淡化了多次运行选择的问题，并较少提及所借鉴的已有工作。评测为每个模型提供 3000 GPU 小时预算，Fable 5 仅用 46%，Sol 用满全部预算。 这是基于有限模型与单一参考创新任务的早期测试，不能外推为所有自主研发能力的结论。