探索权重空间编程：能力、泛化与局限

研究者系统考察了权重空间编程（WSP），这种方法让推理智能体直接检查并修改神经网络参数，作为基于梯度的模型适配的替代方案。研究在七个基准和 Qwen3.5-0.8B、Qwen3.5-9B 两个模型规模上通过 16 条编辑轨迹评估发现，WSP 能通过高度局部的干预大幅提升性能，在完整的保留集评测上 MATH-500、GPQA Diamond、IFEval 和 SciBench 准确率最高分别提升 29.45、4.42、36.72 和 17.11 个百分点，其中仅修改 1,023 个参数就带来 29.45 个百分点的提升。跨任务泛化有前景但不均衡，经数学编辑的检查点无需进一步编辑即可将 GPQA Diamond、IFEval 和 SciBench 分别提升 3.03、12.18 和 20.10 个百分点，SciCode 成绩不变。