跳到正文
事件持续更新

MIT 团队让 GPT-6 Astra 直接改写 Qwen 权重

6篇报道6个报道来源另4家媒体跟进最近报道

先了解这件事

AI 综述

MIT CSAIL 研究团队公布名为「权重空间编程」的实验结果:GPT-6 Astra 通过自然语言指令直接读取并修改 Qwen3.5-0.8B 的权重,只改动约 0.016% 的参数(131,072 个权重),未重新训练或使用梯度下降,MATH-500 得分从 7.9% 升至 48.1%。据 TechFlow 报道,整个过程耗时 20.3 小时,含 158 轮对话、80 次 Python 执行和 50 次模型评估;GSM8K 从 13.8% 升至 67.1%,IFEval 从 21% 左右提升。量子位报道称指令执行能力提高 3 倍,MATH-500 触及 32768 token 长度上限的比例从 93.0% 降到 33% 左右。India Today 报道称,该实验记录在题为《LLMs can natively read & write neural network weights》的研究博客文章中。研究者 Neel Nanda 评论认为,这更像是 Astra 出人意料地擅长旧派机制可解释性研究,而非什么新奇能力。另有发帖者称,Qwen 的提升主要来自修复推理死循环,研究团队对无明显死循环的 Gemma 3 270M 也基本未观察到提升。

AI 根据报道生成 · 3 分钟前更新

事件进展

2 个进展
  1. · 5篇报道
    MIT让GPT-6 Astra直接读写神经网络权重
    公众号 机器之心:MIT CSAIL 团队让 GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重,MATH-500 成绩从 7.9% 升至 48.1%
  2. · 1篇报道
    Neel Nanda 评论 Astra 权重编辑研究
    X @NeelNanda5:Neel Nanda 称 Astra 的权重编辑更像旧派机制可解释性研究,而非什么新奇能力

后续时间线

11月3日
  1. X @MinLiBuilds
    MIT CSAIL 研究称 AI 直改 Qwen3.5-0.8B 权重,MATH-500 从 7.9% 升至 48.1%

    MIT CSAIL 的研究据称让 AI 直接修改 Qwen3.5-0.8B 约 0.016% 的权重,使 MATH-500 从 7.9% 升至 48.1%,约 6 倍,无需训练或 LoRA。发帖者称 Qwen 的提升主要来自修复推理死循环;研究团队对无明显死循环的 Gemma 3 270M 也基本未观察到提升。发帖者还称,其对人物识别网络的类似权重编辑尝试未见效果。

  2. India Today
    AI 能修复另一个 AI 的大脑吗?MIT 研究者用 GPT-6 Astra 提升 Qwen3.5-0.8B 的数学能力

    MIT CSAIL 研究者让 OpenAI 的 GPT-6 Astra 通过 Python 环境直接读写阿里 Qwen3.5-0.8B 的权重,在不重训练、不用梯度的情况下修复了模型陷入重复推理、有时直到 32768 token 上限的问题。据论文,Astra 只改动了 131072 个权重,占总权重 8 亿的 0.016%,Qwen 在 MATH-500 上的成绩从 7.9% 升至 48.1%,GSM8K 从 13.8% 升至 67.1%,IFEval 从 21% 升至 62.3%。研究者称 Astra 并未教 Qwen 新的数学概念,而是解除了阻碍其运用已有能力的故障。这项被称为 Weight-Space Programming 的技术仍有局限,Astra 仅凭权重无法分辨两个模型中哪个被训练得迎合用户,需要借助注意力信息;团队已公开实验日志并正在开发相关基准。

  3. TechFlow精选
    GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重,MATH-500 得分从 7.9% 升至 48.1%

    MIT CSAIL 研究团队公布了一项名为「权重空间编程」的实验结果:GPT-6 Astra 通过自然语言指令直接修改 Qwen3.5-0.8B 中的 131,072 个权重,占全部参数的 0.016%,该模型 MATH-500 得分因此从 7.9% 升至 48.1%。整个过程耗时 20.3 小时,含 158 轮对话、80 次 Python 执行和 50 次模型评估;GSM8K 从 13.8% 升至 67.1%,IFEval 从 21.0% 升至 62.3%,因陷入重复循环而触及 32,768 token 上限的回答比例从 93% 降至 33.1%。团队称 Astra 并未注入新的数学能力,只是移除了阻碍模型发挥已有能力的障碍;在 Gemma 3 270M 上重复同一实验时,MATH-500 得分波动不超过 1 个百分点。

  4. 公众号 量子位精选
    MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍

    MIT 实验显示,GPT-6 Astra 无需梯度训练,仅改动 Qwen3.5-0.8B 中 0.016% 的权重,就把 MATH-500 得分从 7.9% 提升到 48.1%,指令执行能力也提高了 3 倍。团队将这套方法称为 Weight-Space Programming(权重空间编程),由大模型分析神经网络权重、定位问题并按要求修改,例如把 MATH-500 触及 32768 token 长度上限的比例从 93.0% 降到 33.1%。Astra 还通过分析权重认出了小网络学会的游戏和语言、找出归纳头,并在小车爬坡任务中改 3.5% 的权重,让 1024 次测试全部成功。在 MinAtar 实验中,它从零写出权重的网络平均得分 517.4,约为训练 5 亿步的 PPO 基线 25.3 的 20 倍。文章同时指出,Astra 的能力仍来自其此前训练,分析权重和评测也要消耗计算资源。

  5. 公众号 机器之心精选
    MIT CSAIL 团队让 GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重,MATH-500 成绩从 7.9% 升至 48.1%

    MIT CSAIL 团队让 GPT-6 Astra 通过自然语言直接读取并修改 Qwen3.5-0.8B 的权重,只改动约 0.016% 的参数就把 MATH-500 成绩从 7.9% 提升到 48.1%。Astra 在有限次前向计算中定位到第 15 层和第 19 层 MLP 写入的一个循环方向,从这两层各 64 个输出列中减去该方向,共修改 131,072 个权重,没有重新训练或使用梯度下降。在 Qwen3.5-0.8B 上,GSM8K 从 13.8% 升至 67.1%,IFEval 从 21.0% 升至 62.3%,触及 32,768 个 Token 上限的比例从 93% 降至 33%。博客地址:https://rikiyat.github.io/blog/weight-space-programming/

  6. X @NeelNanda5
    Neel Nanda 称 Astra 的权重编辑更像旧派机制可解释性研究,而非什么新奇能力

    研究者 Rikiya Takehi 等人提出 Weight-Space Programming,让 GPT-6 Astra 直接改写 Qwen3.5-0.8B 的权重,仅改动 0.016% 的权重、不经梯度和训练,就把 MATH-500 从 7.9% 提升到 48.1%,数学成绩最高提升 6 倍,指令跟随提升 3 倍。Neel Nanda 评论认为,这件事更像是 Astra 出人意料地擅长旧派机制可解释性研究,而不是什么新奇能力;他指出这些案例大多使用已知的机制可解释性技巧,并依赖数据中干净的表层结构,这类分析在 2022 年后逐渐失宠,因为很难扩展到真实 LLM 的复杂性上。他认为这让人更新了对 LLM 做这类分析的能力预期,却没有更新旧派机制可解释性本身能走多远的判断。

相关讨论

共88条

关注度走势

每天新增来源

1天共88个·最多88(11月3日)·今天88

  • 11月3日新增88个来源(10家媒体、78个账号)

每小时关注度

当前关注度80·可比范围峰值81(11月3日 14:00)·近 24 小时可比范围变化 –

025507510011月3日08:0011月3日10:0011月3日13:0011月3日15:00