跳到正文
原文
Model Republic·本站收录· 原文发表精选关注度41

OpenAI 的 GPT-6 Astra 和 GPT-6.1 Sol 是否因循环深度而更难监控?

Are Astra and GPT-6.1 Sol less monitorable because they use recurrent depth?

AI 导读

围绕 OpenAI 模型是否采用循环深度架构,The Information 报道 GPT-6 Astra 使用了该架构,微软 Azure 产品页一度出现文字称 GPT-6.1 Sol 与 GPT-6 Sol 使用相同基座权重,但推理遍数为两次而非三次,该段随后被删除。Model Republic 的实测显示,GPT-6.1 Sol 每输出 token 的耗时是 GPT-6 Sol 的 1.7 倍,且在冷门事实回忆上与 Astra 高度一致,作者据此推断 GPT-6.1 Sol 更可能共享 Astra 的权重。OpenAI 首席科学家 Jakub Pachocki 表示,包括 Astra 在内的前沿模型计算图深度与 GPT-4 相差不超过两倍。作者强调这并不等于已确认使用循环深度。

推荐理由

文章把 Azure 页面泄露的推理遍数、自家实测延迟与系统卡数据串起来,为判断模型架构与思维链可监控性的关联提供了一条线索。

相关论文
阅读原文modelrepublic.org