跳到正文
原文
TechFlow·本站收录· 原文发表精选关注度81

GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重,MATH-500 得分从 7.9% 升至 48.1%

GPT-6 Astra直接改写Qwen权重,数学能力飙升6倍:「神经网络的基因编辑」时代来了?

AI 导读

MIT CSAIL 研究团队公布了一项名为「权重空间编程」的实验结果:GPT-6 Astra 通过自然语言指令直接修改 Qwen3.5-0.8B 中的 131,072 个权重,占全部参数的 0.016%,该模型 MATH-500 得分因此从 7.9% 升至 48.1%。整个过程耗时 20.3 小时,含 158 轮对话、80 次 Python 执行和 50 次模型评估;GSM8K 从 13.8% 升至 67.1%,IFEval 从 21.0% 升至 62.3%,因陷入重复循环而触及 32,768 token 上限的回答比例从 93% 降至 33.1%。团队称 Astra 并未注入新的数学能力,只是移除了阻碍模型发挥已有能力的障碍;在 Gemma 3 270M 上重复同一实验时,MATH-500 得分波动不超过 1 个百分点。

推荐理由

文中给出了权重空间编程的实验设置和三款基准的前后分数,并把它与 ROME、MEMIT 的事实级权重编辑做了对比。

阅读原文techflowpost.com