跳到正文
原文
公众号 新智元·本站收录· 原文发表· 评测 →· 扫描记录里的位置 →精选关注度44

Claude自写推理引擎!等AI回第一个字,12秒砍到半秒

AI 导读

卡内基梅隆大学、NVIDIA等机构研究者11月12日提交Singularity-Bench预印本,把AI研发拆成三道训练题和三道基建题,测试智能体能否独立优化AI研发流程。在推理引擎一题中,Claude Opus 5.5搭配Claude Code在断网环境下用4张GB300写出推理引擎,回放16路并发真实编程会话时,P90首token延迟0.478秒,低于SGLang v0.5.20的12.029秒,两者生成速度接近。11组参赛组合中,Opus 5.5搭配Claude Code六题五胜一平,以1.252分成为唯一超过人类基线(1分)的组合,第二名GPT-6.1 Sol搭配Codex为0.969分。论文作者承认,要真正检验递归自我改进还需要更多时间和算力。

推荐理由

该基准把AI研发拆成六道闭卷题并给出人类基线,读者可借此判断智能体自动化AI工程的现状与递归自我改进的距离。

相关论文
阅读原文mp.weixin.qq.com