Gradient Routing:通过掩蔽梯度在神经网络中局部化计算
Gradient Routing: Masking Gradients to Localize Computation in Neural Networks
作者用梯度路由定位能力;部分标注时称遗忘优于过滤,0.7B重训后WMDP-bio升0.182、FineWeb-Edu升0.032。
- 网络主要按输入输出训练,内部机制却关系透明度、有害能力与分布外目标泛化。作者要用数据把指定计算定位到预定子区域,尤其在标签盖不住全部相关数据时。
- 前向不变,反向用随数据变化的加权掩码决定哪些子区域被哪些数据更新。表示实验把数字分到编码两半;遗忘用 Expand-Route-Ablate 后删掉扩出的神经元;强化学习把两类终止格的更新分到两个专家。
- 部分标注时作者称 ERA 遗忘优于数据过滤。0.7B 重训后 WMDP-bio 损失升 0.182,FineWeb-Edu 升 0.032(Table 1)。1% 监督下作者称仍有非平凡表现。
- 作者指出超参数敏感、逐 token 路由忽略邻接上下文,可扩展监督限于简单环境且消融后行为未必连贯。实验含 MNIST、CIFAR100、TinyStories-28M、303M 与 0.7B 及 5×5 网格;论文未报告 0.7B 重复次数。
- 被测模型
- MLP autoencoderResNet20-layer, 303M parameter TransformerTinyStories-28M0.7B parameter TransformerMixture of Experts (MoE) network
- 基准
- MNISTCIFAR100FineWeb-EduTinyStoriesWMDP-bio5×5 gridworld
- 指标
- MAEvalidation accuracyforget lossretain lossunlearningrobust unlearningcross-entropy lossground truth return
研究者提出 Gradient Routing 训练方法,在反向传播中对梯度施加数据相关的加权掩码,由用户配置哪些参数被哪些数据点更新,从而把能力隔离到神经网络的特定子区域。作者称该方法可用于学到按可解释方式划分的表示、通过消融预先指定的网络子区域实现稳健遗忘,以及把负责不同行为的模块局部化,进而对强化学习器实现可扩展监督。作者还发现,即便只在有限、临时挑选的数据子集上应用,梯度路由也能局部化能力,并认为该方法对高质量数据稀缺的现实应用具有前景。
相关热点
1 个事件 · 2 条新闻提到
提到这篇论文的新闻
梯度路由缓解RL奖励作弊及扩展实验
- Anthropic Alignment Science引用了论文编号或链接通过定位不良行为而非惩罚来减少奖励作弊
We explore a potential solution to reward hacking that we call GRAFT: Gradient Routing Adapter Fine-Tuning.
- Anthropic Alignment Science引用了论文编号或链接AE Studio 与 Anthropic 提出 GRAM:用模块化预训练隔离危险知识的初步研究
GRAM builds on prior ideas includingDEMix layers,SGTM, andgradient routing.
深度解读
这篇论文试图解决什么问题?
用数据相关的梯度掩码,把安全相关计算定位到用户指定的网络子区域。
核心问题是:能否在训练时用数据把安全相关的内部计算定位到指定子区域,而不只拟合输入输出。
- 场景:作者认为网络主要按输入输出训练,内部机制被忽视;这些机制关系到透明度、是否含敏感信息或有害能力,以及目标在训练分布外能否可靠泛化。系统变强后,需要解释并控制这些机制。
- 现有不足:作者认为不必完全逆向常规模型,也不必改用天生可解释架构;手工指定内部多半不可行,因而需要用数据对内部做定向影响(mechanistic supervision)。标签未覆盖全部有害来源时,过滤可能不够;典型遗忘经少量微调即可恢复。
- 做法设想:对反传施加用户提供、随数据变化的加权掩码,规定哪些参数、激活或模块被哪些 token、文档或标签更新。作者报告,即便只在有限、临时选定的子集上路由,更广的相关能力仍会进到目标区域。
- 提出的方法:gradient routing。展示三类用途:把表示分成可解释分区;消融预定子区域以移除能力;把强化学习中不同行为定位到模块,以便可靠标签很少时仍监督策略。
- 监督条件:用户指定掩码。语言遗忘把数据分为 forget set 与 retain set,未标注的 forget 在训练中当作 retain。网格世界里终止格类型只在部分回合可见,策略输入含监督指示,因而能条件于是否被监督。
有哪些相关研究?
作者把本文放在模块化训练、概念擦除、稳健遗忘和数据过滤限度这几条线上。
模块化与预先指定的能力
- Pfeiffer et al. (2023) 综述模块化学习:前向由路由函数选模块。部分路由用元数据(Waibel & II, 1992),如模态、语言,或机器人的高低层控制与任务类型。
- Gururangan et al. (2021) 的 DEMix 按领域分数据,每层一个专家对应一个领域;关掉某领域专家,可近似未在该领域训练的模型。本文把它加消融当作定位基线。
- 另一路冻结预训练权重再训练新模块(Rebuffi et al., 2017; 2018; Houlsby et al., 2019; Bapna & Firat, 2019)。Zhang et al. (2024) 学习权重掩码,把子网络迁到随机初始化模型再从头训练,例如让视觉模型按形状而非纹理识别 ImageNet 类。
对抗表示学习与概念擦除
- 用判别器对抗训练特征提取网络,以控制表示里的信息(Goodfellow et al., 2014; Schmidhuber, 1992; Ganin & Lempitsky, 2015; Ganin et al., 2016; Edwards & Storkey, 2015)。
- 另一类在推理时改激活以去掉概念(Ravfogel et al., 2020; Belrose et al., 2023; Elazar et al., 2020; Bolukbasi et al., 2016)。
- 作者对比:gradient routing 在训练中定位能力,之后可选消融,而不是推理时擦除。
稳健遗忘与事后剪枝
- 机器遗忘要从已训练网络去掉不希望的知识或能力(Cao & Yang, 2015; Li et al., 2024)。作者引述多篇工作称,典型方法很脆,少量数据微调即可恢复。Lee et al. (2024) 与 Łucki et al. (2024) 认为不想要的概念更容易被绕过,而不是从权重中彻底移除。
- TAR(Tamirisa et al., 2024)也针对 LLM 的稳健遗忘,但是通过微调;本文则在预训练时做 gradient routing。
- 剪枝路线包括 SISA(Bourtoule et al., 2021)按数据划分训练多个模型再丢掉一个,以及删除与有害行为相关的神经元或参数子空间。Lo et al. (2024) 发现为去掉概念而剪枝的模型能很快再学会该概念;作者将其与事后电路发现的有限成功联系起来。
数据过滤的限度与实验基线
- 作者引 Anwar et al. (2024):有限或不完美标注很常见。过滤常靠启发式和黑名单(Albalak et al., 2024);规则与窄分类器难以有效找出有害内容(Welbl et al., 2021)。毒性过滤还可能排除边缘群体的内容(Dodge et al., 2021; Chowdhery et al., 2023)。
- 基线方法:语言遗忘对比 data filtering、RMU(Li et al., 2024)、DEMix + ablation。强化学习对比 data filtering 与 naive training;附录另有可看到全部终止态、但按监督比例下采样的 oracle filtering。基准/数据集:MNIST、CIFAR100、FineWeb-Edu、TinyStories(Delphi)、WMDP-bio forget set、5×5 网格世界。
作者把本文定位为训练期的机制监督:用数据相关梯度掩码规定学在哪里,且不改损失。附录 J 还对比 IIT、PackNet、PiggyBack;作者称本文的差别是定位由用户掩码指定,且学习更新的定位与前向计算解耦。
论文如何解决这个问题?
前向不变,反向按数据掩码重加权梯度;ERA 先扩维再路由再消融,RL 则把行为分到专家。
gradient routing 不改前向,只在反传时用用户给定、随数据变化的边权,决定哪些数据更新哪些子区域。作者用 route X to Y 表示把数据 X 的学习更新限制到区域 Y。
路由导数
- 每个数据点可对计算图的边给实数权。权只作用于反向;权恒为 1 时恢复普通反传。任意基于梯度的优化器,如 SGD 或 Adam,都可接这些修改后的梯度。
- 终止节点上路由导数取 1。非终止节点的路由导数,是各子节点贡献之和:先乘该边的权,再乘普通局部导数。
- 该定义写成 ∂ L̃(zi)/∂ v=∑u∈child(v)αi(v,u)·∂ L̃(zi)/∂ u·∂ u(zi)/∂ v。含义是子节点梯度按边权缩放后再回传。
- 实践中不必给每条边、每个点单独设掩码。作者通常只掩少数层的输出,并按 forget/retain 这类粗划分赋权。
实现与掩码
- 算法 1 在层输出上做 mask 乘激活,再加上 (1-mask) 乘 detach 后的同一激活:数值不变,被掩掉的路径不回传梯度。
- 本文掩码大多是 0/1。遗忘实验里,目标层原维的权可以小于 0。附录 K 按任务列出掩码;作者把选择比作选架构,要看目标区容量、归纳偏置,以及消融后模型是否还要用。
表示分区
- MNIST 用三层 MLP:编码器把 28×28 映到 R32,解码器重建全部数字。两个 certificate 各看一半编码(R16),其更新不改编码。作者的判定是:全解码器能重建、而某个 certificate 不能,就说明信息在另一半。
- 训练时把 0–4 的梯度限制在上半、5–9 限制在下半。损失为像素 MAE,加编码 L1(权重 0.003)及上下半绝对相关之和的惩罚(权重 0.1)。附录 B:200 epoch、batch 2048、Adam 学习率 1e-3。
- 附录 B.1 把同一思路用到 CIFAR100 分类:34 层 ResNet 的卷积层作编码器,沿通道对半切开,按类别 0–49 与 50–99 路由,并加编码 L1。
语言模型:标量转向与 ERA
- Steering scalar:在预测 California 的位置,把第 6–18 层残差里除第 0 维以外的梯度置 0,使这些位置的更新集中到写入第 0 维的权重。之后可只改这一维的一个标量来转向。
- Expand, Route, Ablate(ERA) 分三步。Expand:在目标层增加随机初始化的神经元。Route:从头做下一 token 预测;选定的 forget token 在目标层原维降低学习率,retain 梯度不改。Figure 3 假设目标层原维学习率为 0,并画出 forget token 的梯度路径。Ablate:删掉新增神经元,再在少量 retain 数据上做很少步微调,以修正消融造成的损伤。
- TinyStories 的目标层为 0–4,每层加 64 个 MLP 神经元,原维掩码权 −0.75;各 token 再按其在 forget 与 retain 中的相对频率,在全通掩码与强路由掩码之间插值。目标层 MLP 激活另加权重 1e-4 的 L1。
- 0.7B 实验把 20 个 virology 相关 token 路由到第 0–7 层 MLP 的第 0–79 维;这些 token 在原维的掩码权为 −5×10^−8,目标层 MLP 激活 L1 为 1×10^−7。脚注列出这 20 个 token。
强化学习中的行为模块
- 环境是 5×5 网格,两类终止格为 diamond 与 ghost,每步四向移动,最多 32 步。监督指示以概率 p 独立采样。策略看到全部状态,包括这些指示。只有到达且指示为 TRUE 的终止格,该回合才有类型标签。
- 策略是两个 MLP 专家加门控的 MoE,输出凸组合后再映射到动作。有类型标签时,梯度只进入所到达类型的专家,并训练门控只激活该模块;无监督回合做普通 REINFORCE,梯度不按类型掩码。
- 附录 F 的训练奖励 rMoE 在标签为到达 diamond 或 ghost 时为 1,否则为 0,并不对 ghost 给负奖励。评估则用另一套 ground truth return。门控损失只在有完整标签时使用。
论文做了哪些实验?
作者称部分标注时ERA优于过滤;0.7B重训后WMDP-bio +0.182、FineWeb-Edu +0.032。
实验设置
- 被测系统:MNIST 三层 MLP 自编码器;附录为 CIFAR100 上的 34 层 ResNet。语言侧为 TinyStories-28M(8 层、隐藏 512),以及 modified nanoGPT:20 层 303M(GPT-2 tokenizer)和 0.7B(Qwen-2 tokenizer,嵌入 1536)。网格策略为双专家 MoE。
- 数据:MNIST 训练 60,000 张、200 epoch;CIFAR100 训练 50,000、测试 10,000、200 epoch。TinyStories 用 Delphi 版 400,000 故事、1 epoch、序列截到 256;含 forest、tree、woodland 及其复数的故事为 forget set,约占训练数据 20%。303M 在 FineWeb-Edu 上训练 10,000 step。0.7B 约 13B token、10,000 step,并加入约一半 WMDP-bio forget set。网格策略训练 20,000 algorithm steps(328M environment steps),512 个并行环境、每次 rollout 32 步。
- 标注与基线:TinyStories 按 forget 故事被标出的比例训练,未标注者当作 retain;验证集始终正确标注。对比 data filtering(丢掉全数据模型,在 retain 上从头再训)、RMU、DEMix + ablation。网格对比 data filtering 与 naive training;附录另有 oracle filtering。
- 指标:像素 MAE;CIFAR 验证准确率。unlearning 是方法前后 forget loss 之差;robust unlearning 是方法前,与方法后再在 64 个 forget 故事上微调、并取验证 forget loss 最小值之后的差。retain 为方法后的 retain loss。WMDP 用交叉熵,并另算去掉 20 个路由 token 后的交叉熵。网格评估为逐步 ground truth return:diamond 为 1,ghost 为 −1,否则 0,折扣 0.97。
- 评审与重复:无 LLM 裁判,语言任务看损失,网格看环境回报。MNIST 20 次;TinyStories 每设置至少 N=5,图中为均值的 95% CI;CIFAR 梯度路由指标 N=4。论文未报告 0.7B 与网格实验的 run 数,也未报告人工一致性。
- 0.7B 的重训协议:消融第 0–7 层 MLP 的第 0–79 维后,在 FineWeb-Edu 上微调 32 step(梯度不进已消融维),再在 2 个 WMDP-bio forget 样本上训练 20 step,报告验证损失最低的一步。
主结果
Table 1 是路由了 20 个 virology token 的 0.7B 模型。Loss 为消融前;重训列按上一节协议。
表格较宽,可左右滑动
数据集 Loss 消融后(Δ) 重训后(Δ) WMDP-bio forget set 2.596 4.283(+1.687) 2.778(+0.182) WMDP-bio(去掉路由 token) 2.567 4.205(+1.638) 2.738(+0.171) FineWeb-Edu 2.925 4.864(+1.939) 2.957(+0.032) - 作者称重训后 forget set 的升幅仍高于 FineWeb-Edu,因此定位和稳健移除成立。去掉所路由 token 后仍如此,作者称这不是只压低这 20 个 token 的概率。
- 消融本身使两个数据集的损失都上升,而且 FineWeb-Edu 的消融升幅并不更低;随后的 FineWeb-Edu 微调是为恢复部分性能。
- 该表只有这一个 0.7B 模型,没有与 data filtering 或 RMU 的并列数字。
TinyStories 上的部分标注遗忘
- 测了 ERA、data filtering、RMU、DEMix+ablate 在不同 forget 标注比例下的三类损失(Fig 4,至少 N=5,95% CI)。标注低于 100% 时,作者称 ERA 在 unlearning 和 robust unlearning 上都优于包括 data filtering 在内的基线。
- 代价是 retain 变差,作者称与施加路由的数据量成比例。DEMix+ablate 除 100% 标注外 unlearning 为负;作者解释为 forget 专家只在已标注 forget 上训练,retain 专家还看到未标注 forget。正文未给出这些差的具体数值。
- 100% 标注时,作者称 RMU 在再训练前 forget loss 最高,data filtering 对再训练最稳,RMU 的遗忘大多被再训练撤销。ERA 再训练后的 forget loss 高于 RMU(Fig 9),但扣掉整体性能下降后,robust unlearning 与 RMU 相当;ERA+RMU(图中 “+”)高于任一单独方法。Fig 4 另有 RMU 在标注比例 0.95 的一点。
网格世界中的可扩展监督
- 在 Fig 5a 横轴所列监督比例上,比较梯度路由 MoE、data filtering 和 naive training 的 ground truth return;评估为 512 个随机环境、每环境 32 步。策略在 10% 监督下训练的例子见 Fig 5b,图注称两个终止格都无监督,转向仍引出目标行为。
- 作者称路由把走向 diamond 与 ghost 的模块分开;使用 diamond 专家在低监督下优于基线,1% 时仍有非平凡表现,5% 时达到其他方法在六倍监督下的可比表现。作者还称,高监督下基线变好,很大程度上是因为评估环境里有监督的比例更高,而不是无监督时表现好。
- 作者称 naive training 会利用监督缺口:有监督时避开 ghost,无监督时走向附近的 ghost。监督低于 40% 时,data filtering 即使训练到极限也学不会(Fig 12)。oracle filtering 最终收敛;附录称 10% 监督下它达到路由方法的表现大约需要 3–4 倍训练步数,而路由方法的最高回合回报大约低 0.2,因为最短路上的 ghost 仍会被走到。
表示分区与 steering scalar
- MNIST:Fig 2 与 Table 2 设定 1 中,下半 certificate 对 0–4 的 MAE 为 0.32(±0.02),对 5–9 为 0.08(±0.00),20 次均值;作者称 0–4 的预测近乎常数,说明下半几乎没有这些数字的信息。跨 run 的 5/95 分位为 0–4 的 (0.31, 0.33) 与 5–9 的 (0.08, 0.09)。
- CIFAR100:作者称梯度路由加 L1 后证书出现局部化,同时验证准确率下降;N=4 时梯度路由各指标的 95% CI 宽度在 0.03 到 0.07 之间。正文未给出准确率点估计。
- 303M:只把 California token 路由到第 6–18 层残差第 0 维后,该维与 unembedding 余弦相似度最高的是 California,其后为 Oregon、Colorado、Texas 等(正文列前 10,附录 D 列前 300)。论文未给出相似度数值。作者称这是更广的语义概念被定位,并可用单个标量转向;附录 D 给出了生成样本。
其他消融与分析
- Table 2 设定 4,梯度路由但无正则:下半证书对 0–4 为 0.32(±0.02),对 5–9 为 0.32(±0.01)。
- Table 2 设定 8,无路由、无正则、只在 5–9 上训练:两组均为 0.08(±0.01 / ±0.00),作者称未见过的数字仍可被重建。
- Table 2 设定 6,下半也接收 0–9 的梯度并加大下半 L1:0–4 为 0.23(±0.02),5–9 为 0.13(±0.01)。
- Fig 11:只扩展、消融并加 L1、不做路由的对照,forget 验证损失为 1.47(±0.02),与 base 相同;作者称 ERA 的效果来自路由,不是消融本身。
- Fig 13:作者称只做路由或只做门控都不能稳定保持专家专精;早期由路由带来的专精平均会随训练消退。
- 附录 F 称,梯度路由 MoE 的最高回合回报大约比充分训练的 oracle filtering 低 0.2。
有什么可以进一步探索的点?
作者指出路由超参数敏感,逐 token 忽略上下文,可扩展监督实验限于简单环境。
作者指出的局限与后续方向
- 性能对路由哪些数据、定位到哪些区域、掩码权重大小敏感,因而难以平衡 retain 与遗忘;作者推测方法上的改进会降低这种敏感(Section 5)。
- 语言模型实验按 token 路由,忽略邻接 token。作者认为这出乎意料地有效,但有些问题可能必须依赖整段序列;如何选择路由数据以定位宽能力,是未解问题(Section 5)。
- 可扩展监督的实证结果属于简单、窄的设定;方法要求消融后的策略仍产生连贯行为,这一点一般不成立,靠定位来扩展监督可能需要新想法(Section 5)。
- 附录 A 补充:该玩具环境缺少真实问题的复杂性与不对称;消融一个原本活跃的模块后行为仍然连贯,实践中可能不成立(附录 A、G)。
- MNIST 上作者所展示的干净分离依赖问题设定(例如不用旋转等数据增强)和较强 L1。作者称数字特征分离“不自然”,所选超参之外,视觉差异没有那么分明(附录 A)。
- 梯度路由的学习动态仍是开放问题。作者推测,把大量概念各自定位到独立区域会导致训练损失升高(附录 A)。
实验覆盖范围
- 被测系统为 MNIST MLP 自编码器、CIFAR100 上的 34 层 ResNet、TinyStories-28M、303M 与 0.7B Transformer,以及 5×5 网格上的双专家 MoE。
- 语言遗忘对比了 data filtering、RMU 和 DEMix+ablate;TinyStories 的标注比例从部分到 100%,稳健性用 64 个 forget 故事微调。0.7B 的恢复测试是 FineWeb-Edu 微调 32 step,再在 2 个 WMDP-bio 样本上训练 20 step。
- 0.7B 只路由脚注中的 20 个 virology token,区域是第 0–7 层 MLP 的第 0–79 维;训练语料为 FineWeb-Edu 加约一半 WMDP-bio forget set。语言结果以损失报告。
- 网格监督比例为 Fig 5a 横轴上的各档,评估 512 个环境、每环境 32 步;附录比较了去掉路由、去掉门控,以及违反该环境定义的 oracle filtering。
- 论文未报告 0.7B 与网格实验的重复次数、LLM 评审、人工一致性,以及 WMDP-bio 的条数。
总结一下论文的主要内容
梯度路由在训练期定位能力:支持表示分区、消融遗忘,以及标签稀缺时的策略转向。
gradient routing 在训练时用数据相关掩码把指定计算限制到预定子区域,以照顾透明度、有害能力与分布外目标,而不是只拟合输入输出。
- 问题:作者认为内部机制被常规训练忽视;标签往往盖不住全部有害数据,过滤与事后遗忘都可能不够。
- 方法:前向不变,反向重加权梯度。MNIST 把 0–4 与 5–9 分到编码两半。ERA 先给目标层加神经元,再把 forget token 的更新压到新增维,最后删掉这些维。强化学习在有类型标签的回合里只更新所到达的那类专家,训练奖励并不惩罚 ghost。
- 结果:Table 2 设定 1,下半证书 MAE 对 0–4 为 0.32(±0.02)、对 5–9 为 0.08(±0.00)。标注低于 100% 时作者称 ERA 优于 data filtering,但 retain 变差;100% 时 data filtering 对再训练更稳。Table 1:0.7B 重训后 WMDP-bio +0.182、去掉路由 token 后 +0.171,FineWeb-Edu +0.032;消融本身则使 FineWeb-Edu 的升幅并不更低。作者称网格策略在 1% 监督下仍有非平凡表现。
- 作者结论:窄数据上的路由会把更广能力吸进目标区域;不改损失也能做机制监督,从而避开只按可观测结果训练时的投机。作者认为这对标签稀缺的高风险部署有潜力,同时承认超参数敏感,且可扩展监督仍是窄设定。