人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型解释微调行为的上下文泛化,并用 PPR 抑制奖励作弊
完整解读
提出人格层级模型解释微调行为的上下文泛化,并用 PPR 抑制奖励作弊
研究者提出 RewardExplainer,一个通过反事实改写从目标奖励模型获取反馈、并用该反馈优化解释器的框架,使解释器能生成开放式、原子化且可干预的自然语言评分机制。
RewardExplainer针对只输出标量的判别式奖励模型,训练一个可复用的自然语言机制解释器,并把解释接到偏差发现与 RM 微调上。
HNC 沿 Hessian 近似零空间遍历保持输入输出的权重区域,在 RNN、ViT 与 RL 策略中找到表示或行为不同的解,并在 Boat Race 中露出奖励投机。
Hessian Null Space Continuation(HNC)用局部曲率,在单个已训练网络周围遍历近似保持输入输出的连通低损失区域,并可用可微目标做引导。作者要回答的是:这个区域里是否真有不同的内部机制,而不只是同一表示的小改动。做法是交替执行零空间内的平坦步与函数匹配损失上的梯度恢复。