跳到正文
事件持续更新

微软等提出iWSP,LLM手写Transformer权重

2篇报道2个报道来源最近报道

先了解这件事

AI 综述

微软研究院联合约翰斯·霍普金斯等提出可解释权重空间编程(iWSP):LLM智能体不经反向传播和梯度下降,直接用代码编写模型权重与特征,提出假设、手工构建并改进人类可解读的计算,LLM审计确认了这些手工模型的可解释性。论文先在算术、情感分类等基准上让iWSP构建出紧凑且准确的Transformer;据新智元报道,Claude Opus 5.5在13类算法任务的隐藏测试集上全部达到100%准确率,平均约39轮迭代,同族对比显示越强的模型写出的网络越小,Opus 5.5仅166个参数。方法还用于大脑编码模型:视觉皮层预测超过现有可解释基线,语言fMRI中揭示数据混杂因素,听觉ECoG中系统找到可预测神经活动的可解释声学特征。但情感分类等NLP任务受限,参数膨胀到约19万也只达72%,论文强调复杂表征仍需海量数据与梯度下降,不能据此认为大模型不再需要训练。

AI 根据报道生成 · 17 小时前更新

后续时间线

11月19日
  1. 公众号 新智元精选
    不用训练!Opus 5.5直接手写Transformer权重,13类算法任务全拿100%

    微软研究院联合约翰斯·霍普金斯等高校提出可解释权重空间编程,让Claude Opus 5.5不经反向传播和梯度下降,直接用代码写出Transformer权重,在13类算法任务的隐藏测试集上全部达到100%准确率,每次迭代仅依据单一验证分数反馈,平均约39轮。同族对比显示越强的模型写出的网络越小,Haiku 5.5参数中位数约10万个,Sonnet 5.5约4.16万个,Opus 5.5仅166个。方法还用于大脑编码模型,在语言fMRI数据上发现数据集混杂漏洞,视觉皮层任务预测超过现有可解释模型。但在情感分类等NLP任务上受限,参数膨胀到约19万也只达72%,论文强调复杂表征仍需海量数据与梯度下降,不能据此认为大模型不再需要训练。论文见arXiv 2611.18114。

11月13日
  1. arXiv
    可解释权重空间编程构建透明 Transformer 与大脑编码模型

    作者提出可解释权重空间编程(iWSP),让 LLM 智能体不经反向传播、直接用代码编写模型权重与特征来迭代构建可解释模型;智能体需依靠先验知识并对以往试验推理,提出假设、手工构建并改进人类可解读的计算,LLM 审计确认了这些手工模型的可解释性。作者先在算术、情感分类等基准上让 iWSP 构建出紧凑且准确的 Transformer,再将其应用于视觉、语言和听觉的神经编码模型:在视觉皮层上预测超过现有可解释基线,揭示早期与高级视觉区域的不同计算并泛化到未见数据;在语言 fMRI 中揭示数据里的混杂因素,在听觉 ECoG 中系统找到可预测神经活动的可解释声学特征。作者称这些结果确立了 iWSP 作为兼顾高预测性能与人类可解释科学发现的通用范式。

相关讨论

共4条

关注度走势

每天新增来源

3天共5个·最多3(11月18日)·今天0

  • 11月18日新增3个来源(0家媒体、3个账号)
  • 11月19日新增2个来源(1家媒体、1个账号)
  • 11月20日新增0个来源(0家媒体、0个账号)

每小时关注度

当前关注度42·可比范围峰值46(11月19日 11:00)·近 24 小时可比范围变化 –

020406011月19日11:0011月19日16:0011月19日21:0011月20日02:00