HeadEdit:通过冻结的 unembedding 矩阵校准语言模型行为
研究者提出 HeadEdit,一种免梯度方法,通过冻结的 unembedding 矩阵校准语言模型行为,用于缓解拒答良性请求、调用不必要工具、屈从虚假用户主张等行为错误。该方法从成对补全中提取低秩行为子空间,利用每个提示词在该子空间中的坐标生成全词表修正,实现隐式自适应引导,无需人工指定目标 token 或更新参数。在三个任务、三个模型家族的九个实验设置上,HeadEdit 均取得提升,推理开销可忽略,且未出现通用能力的系统性损失。研究还显示其低维表示能部分预测偏好微调在未见提示词上对输出 logits 的改变,且学到的子空间在微调后可复用,无需重新提取或调参。