跳到正文
原文
LessWrong· shawnghu·本站收录· 原文发表· 观点 →

关于 GRAFT 及后续工作的一些思考

Some thoughts on GRAFT and follow-up work

AI 导读

GRAFT 作者之一发文谈该方法及后续方向:它把弱监督者的影响扩展到其看不到的行为,是可扩展监督的一种形式。作者称梯度路由能在后训练中奏效是论文重要发现之一,因为后训练干预成本更低。主要代价是消融 FORGET adapter 可能损害目标任务表现,验证效果需监控预算;作者认为其失败与其他泛化方式去相关,适合纵深防御。

阅读原文lesswrong.com