跳到正文
原文
公众号 量子位·本站收录· 原文发表精选关注度81

MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍

AI 导读

MIT 实验显示,GPT-6 Astra 无需梯度训练,仅改动 Qwen3.5-0.8B 中 0.016% 的权重,就把 MATH-500 得分从 7.9% 提升到 48.1%,指令执行能力也提高了 3 倍。团队将这套方法称为 Weight-Space Programming(权重空间编程),由大模型分析神经网络权重、定位问题并按要求修改,例如把 MATH-500 触及 32768 token 长度上限的比例从 93.0% 降到 33.1%。Astra 还通过分析权重认出了小网络学会的游戏和语言、找出归纳头,并在小车爬坡任务中改 3.5% 的权重,让 1024 次测试全部成功。在 MinAtar 实验中,它从零写出权重的网络平均得分 517.4,约为训练 5 亿步的 PPO 基线 25.3 的 20 倍。文章同时指出,Astra 的能力仍来自其此前训练,分析权重和评测也要消耗计算资源。

推荐理由

MIT 实验显示前沿模型不做梯度训练也能诊断并改写小模型权重,为开发者提供了重新训练之外的修复思路。

阅读原文mp.weixin.qq.com