MIT 团队让 GPT-6 Astra 直接改写 Qwen 权重
先了解这件事
MIT CSAIL 研究团队公布名为「权重空间编程」的实验结果:GPT-6 Astra 通过自然语言指令直接读取并修改 Qwen3.5-0.8B 的权重,只改动约 0.016% 的参数(131,072 个权重),未重新训练或使用梯度下降,MATH-500 得分从 7.9% 升至 48.1%。据 TechFlow 报道,整个过程耗时 20.3 小时,含 158 轮对话、80 次 Python 执行和 50 次模型评估;GSM8K 从 13.8% 升至 67.1%,IFEval 从 21% 左右提升。量子位报道称指令执行能力提高 3 倍,MATH-500 触及 32768 token 长度上限的比例从 93.0% 降到 33% 左右。India Today 报道称,该实验记录在题为《LLMs can natively read & write neural network weights》的研究博客文章中。研究者 Neel Nanda 评论认为,这更像是 Astra 出人意料地擅长旧派机制可解释性研究,而非什么新奇能力。另有发帖者称,Qwen 的提升主要来自修复推理死循环,研究团队对无明显死循环的 Gemma 3 270M 也基本未观察到提升。
AI 根据报道生成 · 3 分钟前更新
事件进展
- · 5篇报道MIT让GPT-6 Astra直接读写神经网络权重
- · 1篇报道Neel Nanda 评论 Astra 权重编辑研究
后续时间线
- XX @haider1· 讨论well that's a big deal(新标签页打开原帖)
- X @MinLiBuildsMIT CSAIL 研究称 AI 直改 Qwen3.5-0.8B 权重,MATH-500 从 7.9% 升至 48.1%
MIT CSAIL 的研究据称让 AI 直接修改 Qwen3.5-0.8B 约 0.016% 的权重,使 MATH-500 从 7.9% 升至 48.1%,约 6 倍,无需训练或 LoRA。发帖者称 Qwen 的提升主要来自修复推理死循环;研究团队对无明显死循环的 Gemma 3 270M 也基本未观察到提升。发帖者还称,其对人物识别网络的类似权重编辑尝试未见效果。
- India TodayAI 能修复另一个 AI 的大脑吗?MIT 研究者用 GPT-6 Astra 提升 Qwen3.5-0.8B 的数学能力
MIT CSAIL 研究者让 OpenAI 的 GPT-6 Astra 通过 Python 环境直接读写阿里 Qwen3.5-0.8B 的权重,在不重训练、不用梯度的情况下修复了模型陷入重复推理、有时直到 32768 token 上限的问题。据论文,Astra 只改动了 131072 个权重,占总权重 8 亿的 0.016%,Qwen 在 MATH-500 上的成绩从 7.9% 升至 48.1%,GSM8K 从 13.8% 升至 67.1%,IFEval 从 21% 升至 62.3%。研究者称 Astra 并未教 Qwen 新的数学概念,而是解除了阻碍其运用已有能力的故障。这项被称为 Weight-Space Programming 的技术仍有局限,Astra 仅凭权重无法分辨两个模型中哪个被训练得迎合用户,需要借助注意力信息;团队已公开实验日志并正在开发相关基准。
- 网页机器之心· 媒体跟进MIT让GPT-6 Astra直接修改Qwen权重!数学成绩飙升(新标签页打开原帖)
- TechFlow精选GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重,MATH-500 得分从 7.9% 升至 48.1%
MIT CSAIL 研究团队公布了一项名为「权重空间编程」的实验结果:GPT-6 Astra 通过自然语言指令直接修改 Qwen3.5-0.8B 中的 131,072 个权重,占全部参数的 0.016%,该模型 MATH-500 得分因此从 7.9% 升至 48.1%。整个过程耗时 20.3 小时,含 158 轮对话、80 次 Python 执行和 50 次模型评估;GSM8K 从 13.8% 升至 67.1%,IFEval 从 21.0% 升至 62.3%,因陷入重复循环而触及 32,768 token 上限的回答比例从 93% 降至 33.1%。团队称 Astra 并未注入新的数学能力,只是移除了阻碍模型发挥已有能力的障碍;在 Gemma 3 270M 上重复同一实验时,MATH-500 得分波动不超过 1 个百分点。
- 公众号 量子位精选MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍
MIT 实验显示,GPT-6 Astra 无需梯度训练,仅改动 Qwen3.5-0.8B 中 0.016% 的权重,就把 MATH-500 得分从 7.9% 提升到 48.1%,指令执行能力也提高了 3 倍。团队将这套方法称为 Weight-Space Programming(权重空间编程),由大模型分析神经网络权重、定位问题并按要求修改,例如把 MATH-500 触及 32768 token 长度上限的比例从 93.0% 降到 33.1%。Astra 还通过分析权重认出了小网络学会的游戏和语言、找出归纳头,并在小车爬坡任务中改 3.5% 的权重,让 1024 次测试全部成功。在 MinAtar 实验中,它从零写出权重的网络平均得分 517.4,约为训练 5 亿步的 PPO 基线 25.3 的 20 倍。文章同时指出,Astra 的能力仍来自其此前训练,分析权重和评测也要消耗计算资源。
- 公众号 机器之心精选MIT CSAIL 团队让 GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重,MATH-500 成绩从 7.9% 升至 48.1%
MIT CSAIL 团队让 GPT-6 Astra 通过自然语言直接读取并修改 Qwen3.5-0.8B 的权重,只改动约 0.016% 的参数就把 MATH-500 成绩从 7.9% 提升到 48.1%。Astra 在有限次前向计算中定位到第 15 层和第 19 层 MLP 写入的一个循环方向,从这两层各 64 个输出列中减去该方向,共修改 131,072 个权重,没有重新训练或使用梯度下降。在 Qwen3.5-0.8B 上,GSM8K 从 13.8% 升至 67.1%,IFEval 从 21.0% 升至 62.3%,触及 32,768 个 Token 上限的比例从 93% 降至 33%。博客地址:https://rikiyat.github.io/blog/weight-space-programming/
- 公众号公众号 AI寒武纪· 媒体跟进重磅!整个AI圈都在传的终局预言,被MIT一年级博士实现了:AI开始直接读取/写入权重(新标签页打开原帖)
- X @NeelNanda5Neel Nanda 称 Astra 的权重编辑更像旧派机制可解释性研究,而非什么新奇能力
研究者 Rikiya Takehi 等人提出 Weight-Space Programming,让 GPT-6 Astra 直接改写 Qwen3.5-0.8B 的权重,仅改动 0.016% 的权重、不经梯度和训练,就把 MATH-500 从 7.9% 提升到 48.1%,数学成绩最高提升 6 倍,指令跟随提升 3 倍。Neel Nanda 评论认为,这件事更像是 Astra 出人意料地擅长旧派机制可解释性研究,而不是什么新奇能力;他指出这些案例大多使用已知的机制可解释性技巧,并依赖数据中干净的表层结构,这类分析在 2022 年后逐渐失宠,因为很难扩展到真实 LLM 的复杂性上。他认为这让人更新了对 LLM 做这类分析的能力预期,却没有更新旧派机制可解释性本身能走多远的判断。
- RedditReddit r/LocalLLaMA· 讨论GPT-6 Astra Edits Qwen Weights: MATH-500 7.9% to 48.1%(新标签页打开原帖)
- XX @Thom_Wolf· 讨论what?(新标签页打开原帖)
- RedditReddit r/singularity· 讨论Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights(新标签页打开原帖)
- XX @AndrewCurran_· 讨论From the blog:(新标签页打开原帖)
相关讨论
- X@blackright02026年11月2日、MIT CSAILのRikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabらが「Weight-Space Programming」というアプローチを発表しました。OpenA…(新标签页打开原帖)
1 赞·11月3日 15:10采集
- X@apikey_official无限修复”做不到,但模型优化的底层范式确实变天了。🤯⚡ 1⃣ 是“治病”,不是“造神”:Qwen 成绩暴涨是因为 Astra 像外科医生一样,精准切掉了它在 Layer 15/19 的死循环回路。它原本就会做,只是之前 93% 的错题全…(新标签页打开原帖)
- X@LShivkumarreddyAn AI just debugged another AI’s brain. MIT researchers gave GPT-6 Astra access to Qwen’s weights. No retraining. No…(新标签页打开原帖)
- X@subhamCenraxLLMs can now read and write neural network weights directly. Normally, weights come from gradient descent. In a new MI…(新标签页打开原帖)
- X@Pa3ck3What if AI could rewrite another AI’s brain instead of retraining it? MIT researchers used GPT-6 Astra to directly mod…(新标签页打开原帖)
- X@chataclawMIT CSAILの実験で、LLMがニューラルネットの生の重みから何を学んだか読み取り、Qwenの数学の弱点を重みの0.016%だけ直接書き換えてMATH-500を7.9%から48.1%に。勾配も訓練ループもなし。最適化器をLLMが担う時…(新标签页打开原帖)
- X@softverdA small Qwen model scored 7.9% on MATH-500 because it kept looping. GPT-6 Astra read its weights and edited 0.016% of t…(新标签页打开原帖)
- XX @haider1well that's a big deal(新标签页打开原帖)
- X@Dennis_RyeFixing a model by editing its weights used to need a skilled ML researcher… now it's a prompt. MIT let GPT-6 Astra ope…(新标签页打开原帖)
2 赞·11月3日 15:10采集
- X@iveyzenMIT researchers reported on November 2 that GPT-6 Astra could repair a small language model by editing its weights dire…(新标签页打开原帖)
- X@BetaerMIT CSAIL博士利用 GPT-6 Astra 修改 Qwen3.5-0.8B 的权重,以提升数学能力 MIT CSAIL 是麻省理工学院(MIT)旗下的 计算机科学与人工智能实验室 他表示,只直接改动了 0.016% 的权重,就修…(新标签页打开原帖)
- X@Karthikvarmamkvweight-space programming didn't teach qwen math. it fixed a loop 🔁 @rikiyatakehi's mit team had gpt-6 astra edit qwen3…(新标签页打开原帖)
关注度走势
每天新增来源
- 11月3日新增88个来源(10家媒体、78个账号)