全部论文

本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。

本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。

本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。

这项工作评估 LoopLM 的 CoT 可监测性：加深共享层的重复次数，以及“有循环结构”本身，会不会让决策关键因素更少出现在可监测文本里。

PlurPO 是一种后训练方法，用来降低个人建议等无真值场景中的社会谄媚。

FBS Debate 是一套可扩展监督的辩论规则：两名计算方争论一个可递归分解的是非问题，人类只在最后选出的子问题上做黑盒判断。要处理的缺口是，prover-estimator debate 虽能覆盖稳定分解，但只在输入分布的平均意义下成立，而且 Bob 的获胜策略一般要跟着 Alice 的作弊策略变。作者要在同一问题类上，让每个错误实例都能被抓住，并让诚实且正确成为双方的占优策略。

HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。

Grafting 把在基座上学会的 SDF 权重更新加到后训练模型上，用来近似中训练干预，而不必为每次改语料重跑后训练。

Robust Nash Alignment 把偏好对齐从“对着一个名义成对核求 Nash”改成“在偏好核的不确定集合上求最坏胜率”。

FIGS 是一个固定的多轮评测套件，用来同时看模型会不会在压力下放弃事实，以及会不会在守住事实时忽略用户实际说过的感受。

Schulz、Fülle 与 Frengel 测量大语言模型习得隐写推理的难度，并与隐写传信、编码推理对比，以估计依赖阅读 CoT 的监控还能否成立。

CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。

Probe-guided fine-tuning 把探针分数当作唯一对齐信号，用来推动 harmlessness 与 honesty，并检查训练后这些概念是否仍线性可读。

作者用角色训练把资源上的 CARA 风险厌恶写入语言模型，以服务与失准智能体做交易这一设想。评测用的是赌局选择，不是真实叛逃中的交易。

EleutherAI 用训练数据归因考察错误建议微调中，哪些样本推动涌现失调。。窄域有害数据上的微调会使模型在无关问题上也给出有害回答。

Correct, Don’t Delete 比较的是：微调数据里已经固定的有害行，是删掉还是改成同一提示上的正确答案，更能减轻 emergent misalignment。