跳到正文
原文
公众号 新智元·本站收录· 原文发表· 对齐 →· 扫描记录里的位置 →精选关注度42

不用训练!Opus 5.5直接手写Transformer权重,13类算法任务全拿100%

不用训练!Opus 5.5直接手写Transformer权重,13类任务全拿100%

AI 导读

微软研究院联合约翰斯·霍普金斯等高校提出可解释权重空间编程,让Claude Opus 5.5不经反向传播和梯度下降,直接用代码写出Transformer权重,在13类算法任务的隐藏测试集上全部达到100%准确率,每次迭代仅依据单一验证分数反馈,平均约39轮。同族对比显示越强的模型写出的网络越小,Haiku 5.5参数中位数约10万个,Sonnet 5.5约4.16万个,Opus 5.5仅166个。方法还用于大脑编码模型,在语言fMRI数据上发现数据集混杂漏洞,视觉皮层任务预测超过现有可解释模型。但在情感分类等NLP任务上受限,参数膨胀到约19万也只达72%,论文强调复杂表征仍需海量数据与梯度下降,不能据此认为大模型不再需要训练。论文见arXiv 2611.18114。

推荐理由

论文对比同族Claude模型发现越强的模型写出的网络越小,Opus 5.5中位数仅166个参数,为理解模型能力差异提供了具体例证。

相关论文
阅读原文mp.weixin.qq.com