小模型实验显示梯度路由造就先发优势,使奖励作弊集中于可移除的适配器
Gradient Routing Creates a Headstart
AI 导读
作者复现并扩展 GRAFT 方法,在小模型实验中发现梯度路由使奖励作弊集中到可移除的适配器,无路由时作弊不会可靠集中。实验冻结 SmolLM2-135M-Instruct,在 30 层各加入 RETAIN 与 FORGET 两个适配器,检测到的作弊更新只路由进 FORGET,部署时删除该模块后可检测作弊率从 62% 降到 0.1%。无路由时作弊不集中,加宽适配器使双方作弊率更接近,指向先发优势机制;学习速度而非大小决定作弊落点,同学习率下 64 神经元适配器拿走 89–98% 的作弊,让两者同速学习后优势基本消失。层级消融显示 GRAFT 把作弊压进 FORGET 的后段层,从输出端删 2 层即去掉一半作弊,无路由需约 10 层;完全删除 FORGET 使任务分损失约 7 分,保留第 18 层可挽回约 2 分且不增加作弊。作者指出,这些结果要推广到更大模型和更复杂环境还需进一步研究。