微软等提出iWSP,LLM手写Transformer权重
先了解这件事
微软研究院联合约翰斯·霍普金斯等提出可解释权重空间编程(iWSP):LLM智能体不经反向传播和梯度下降,直接用代码编写模型权重与特征,提出假设、手工构建并改进人类可解读的计算,LLM审计确认了这些手工模型的可解释性。论文先在算术、情感分类等基准上让iWSP构建出紧凑且准确的Transformer;据新智元报道,Claude Opus 5.5在13类算法任务的隐藏测试集上全部达到100%准确率,平均约39轮迭代,同族对比显示越强的模型写出的网络越小,Opus 5.5仅166个参数。方法还用于大脑编码模型:视觉皮层预测超过现有可解释基线,语言fMRI中揭示数据混杂因素,听觉ECoG中系统找到可预测神经活动的可解释声学特征。但情感分类等NLP任务受限,参数膨胀到约19万也只达72%,论文强调复杂表征仍需海量数据与梯度下降,不能据此认为大模型不再需要训练。
AI 根据报道生成 · 17 小时前更新
后续时间线
- 公众号 新智元精选不用训练!Opus 5.5直接手写Transformer权重,13类算法任务全拿100%
微软研究院联合约翰斯·霍普金斯等高校提出可解释权重空间编程,让Claude Opus 5.5不经反向传播和梯度下降,直接用代码写出Transformer权重,在13类算法任务的隐藏测试集上全部达到100%准确率,每次迭代仅依据单一验证分数反馈,平均约39轮。同族对比显示越强的模型写出的网络越小,Haiku 5.5参数中位数约10万个,Sonnet 5.5约4.16万个,Opus 5.5仅166个。方法还用于大脑编码模型,在语言fMRI数据上发现数据集混杂漏洞,视觉皮层任务预测超过现有可解释模型。但在情感分类等NLP任务上受限,参数膨胀到约19万也只达72%,论文强调复杂表征仍需海量数据与梯度下降,不能据此认为大模型不再需要训练。论文见arXiv 2611.18114。
- arXiv可解释权重空间编程构建透明 Transformer 与大脑编码模型
作者提出可解释权重空间编程(iWSP),让 LLM 智能体不经反向传播、直接用代码编写模型权重与特征来迭代构建可解释模型;智能体需依靠先验知识并对以往试验推理,提出假设、手工构建并改进人类可解读的计算,LLM 审计确认了这些手工模型的可解释性。作者先在算术、情感分类等基准上让 iWSP 构建出紧凑且准确的 Transformer,再将其应用于视觉、语言和听觉的神经编码模型:在视觉皮层上预测超过现有可解释基线,揭示早期与高级视觉区域的不同计算并泛化到未见数据;在语言 fMRI 中揭示数据里的混杂因素,在听觉 ECoG 中系统找到可预测神经活动的可解释声学特征。作者称这些结果确立了 iWSP 作为兼顾高预测性能与人类可解释科学发现的通用范式。
相关讨论
- X@arnaudmercierInterpretable weight-space programming builds transparent transformers and brain encoding models https://t.co/k47CfZXopr(新标签页打开原帖)
- X@thesupermannxMicrosoft just killed backpropagation. They built an AI that writes a neural network’s weights by hand, in code, then…(新标签页打开原帖)
585 赞·11月19日 11:45采集
- X@Yamamoto_NeuroXこれ、アラインメントを解く極めて画期的な研究成果では……文字通り震えている。 Microsoft Research、ジョンズ・ホプキンス大学、コロンビア大学、ニューヨーク大学の共同研究チームが発表した論文『Interpretable w…(新标签页打开原帖)
427 赞·11月19日 11:45采集
- X@S_Van_SeverenAgents are now sufficiently capable of directly programming the weight space of brain-encoding models (🤯!): an LLM writ…(新标签页打开原帖)
3 赞·11月19日 11:45采集
关注度走势
每天新增来源
- 11月18日新增3个来源(0家媒体、3个账号)
- 11月19日新增2个来源(1家媒体、1个账号)
- 11月20日新增0个来源(0家媒体、0个账号)