GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重,MATH-500 得分从 7.9% 升至 48.1%
GPT-6 Astra直接改写Qwen权重,数学能力飙升6倍:「神经网络的基因编辑」时代来了?
AI 导读
MIT CSAIL 研究团队公布了一项名为「权重空间编程」的实验结果:GPT-6 Astra 通过自然语言指令直接修改 Qwen3.5-0.8B 中的 131,072 个权重,占全部参数的 0.016%,该模型 MATH-500 得分因此从 7.9% 升至 48.1%。整个过程耗时 20.3 小时,含 158 轮对话、80 次 Python 执行和 50 次模型评估;GSM8K 从 13.8% 升至 67.1%,IFEval 从 21.0% 升至 62.3%,因陷入重复循环而触及 32,768 token 上限的回答比例从 93% 降至 33.1%。团队称 Astra 并未注入新的数学能力,只是移除了阻碍模型发挥已有能力的障碍;在 Gemma 3 270M 上重复同一实验时,MATH-500 得分波动不超过 1 个百分点。
推荐理由
文中给出了权重空间编程的实验设置和三款基准的前后分数,并把它与 ROME、MEMIT 的事实级权重编辑做了对比。
阅读原文