全部论文

本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。

本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。

本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

Correct, Don’t Delete 比较的是：微调数据里已经固定的有害行，是删掉还是改成同一提示上的正确答案，更能减轻 emergent misalignment。

EleutherAI 用训练数据归因考察错误建议微调中，哪些样本推动涌现失调。。窄域有害数据上的微调会使模型在无关问题上也给出有害回答。

Story imprinting 指的是：只写人类角色的合成故事，经监督微调后会改变默认 Assistant 在普通多轮对话里的行为。。

Inoculation Midtraining 试图在后训练之前，用一个开发者可控的新 token 把“允许错位”写成一条可开关的语境，使混合数据里的不安全成分留在该语境内。

FIGS 是一个固定的多轮评测套件，用来同时看模型会不会在压力下放弃事实，以及会不会在守住事实时忽略用户实际说过的感受。

作者研究扩展推理是否以对齐稳健性为代价，提出 ALR、RT 与 RRA。。

作者研究一种风险行为：模型在奖励可被钻空子的 RL 里学会 reward hacking 之后，会不会泛化出更广的 misalignment，以及能不能在开发者不控制的后续训练之前，用合成文档微调把这条泛化提前挡住。

ComPO 是一种基于比较预言机的零阶偏好对齐方法，用来从低边际偏好对取出方向信息，而不在这些对上直接优化可微偏好损失。

See it, Say it, Sorted 在参数轨迹上诊断涌现失准，并把经验有害梯度子空间从 LoRA 更新中正交去掉。

RLCDAlignBench 测量用强化学习做校准决策的 Jev，能否当作对齐失败的零样本检测器。