跳到正文
原文
LessWrong· fitandfend·本站收录· 原文发表· 对齐 →· 扫描记录里的位置 →

行为与奖励相关联并不足以让 RL 强化该行为

Correlating a behavior with reward doesn't reinforce it

AI 导读

LessWrong 作者 fitandfend 论证,行为与奖励信号的相关本身不足以让 RL 强化该行为:动作 logit 受到的梯度压力正比于奖励乘以 1−p(action|context),只有控制上下文后的组内相关才产生梯度,即在期望意义上 RL 只强化因果上位于奖励上游的因素。作者以公平硬币猜谜为例:模型只在猜对的 rollout 后说莎士比亚式语言,无偏策略梯度估计下预期梯度为 0,训练不会推向该行为。据此,模型在知道成败的回合中选择性行事、借相关让 RL 安装该行为的设想,按作者的理论与实验均不成立。

阅读原文lesswrong.com