全部论文

本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。

本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。

HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。

FIGS 是一个固定的多轮评测套件，用来同时看模型会不会在压力下放弃事实，以及会不会在守住事实时忽略用户实际说过的感受。

AIMES 是推理时的多价值激活转向框架，用中间层词表读出把固定系数改成随状态变化的权重。

LocUS 是不更新权重的推理时转向方法，把差分均值更新限制在少数注意力头及其属性对齐子空间。

BIASREDUCER 是一种只改线性奖励头的奖励模型编辑框架，用来降低模型对预定义表面属性的依赖，并按新数据集决定改哪些属性。

用 SAE 选出的谄媚特征做补偿性训练注入，检验“少谄媚”是否带来“更强拒答”。。

作者研究扩展推理是否以对齐稳健性为代价，提出 ALR、RT 与 RRA。。

作者研究一种风险行为：模型在奖励可被钻空子的 RL 里学会 reward hacking 之后，会不会泛化出更广的 misalignment，以及能不能在开发者不控制的后续训练之前，用合成文档微调把这条泛化提前挡住。

Reward hacking 可以出现在更新权重、挑选输出和修订持久文本时。作者用一个比较框架处理这三种底物，把可达行为、代理误差和防御迁移分开，避免只按底物名称排序。

论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐（Emergent Misalignment, EM）现象。