全部论文

本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。

本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。

FIGS 是一个固定的多轮评测套件，用来同时看模型会不会在压力下放弃事实，以及会不会在守住事实时忽略用户实际说过的感受。

CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。

Hessian Null Space Continuation（HNC）用局部曲率，在单个已训练网络周围遍历近似保持输入输出的连通低损失区域，并可用可微目标做引导。作者要回答的是：这个区域里是否真有不同的内部机制，而不只是同一表示的小改动。做法是交替执行零空间内的平坦步与函数匹配损失上的梯度恢复。

用 SAE 选出的谄媚特征做补偿性训练注入，检验“少谄媚”是否带来“更强拒答”。。

论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐（Emergent Misalignment, EM）现象。

BIASREDUCER 是一种只改线性奖励头的奖励模型编辑框架，用来降低模型对预定义表面属性的依赖，并按新数据集决定改哪些属性。

LocUS 是不更新权重的推理时转向方法，把差分均值更新限制在少数注意力头及其属性对齐子空间。

三个中文前沿 LLM 在源自搜索日志的是非事实题上被用来观察事实性谄媚：用户给出信念后，回答如何在正确、错误、不确定之间移动。

AIMES 是推理时的多价值激活转向框架，用中间层词表读出把固定系数改成随状态变化的权重。

Reward hacking 可以出现在更新权重、挑选输出和修订持久文本时。作者用一个比较框架处理这三种底物，把可达行为、代理误差和防御迁移分开，避免只按底物名称排序。

作者研究一种风险行为：模型在奖励可被钻空子的 RL 里学会 reward hacking 之后，会不会泛化出更广的 misalignment，以及能不能在开发者不控制的后续训练之前，用合成文档微调把这条泛化提前挡住。

作者研究扩展推理是否以对齐稳健性为代价，提出 ALR、RT 与 RRA。。