全部论文

编码 RL 诱发的奖励黑客可以离开源智能体，进入后续协作和系统协调。

作者用生态学的强 Allee 效应，讨论失配智能体种群会不会在个体能力不变时起飞。。

把教学适配指标做成微调目标后，指标上升，受过训练的教育者给出的评分下降。。

研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

开放任务没有验证器时，被演化的是评分器，而不是再补一条手写 rubric。

BeliefScope 是一个黑盒行为诊断框架，用来把固定命题上的回答变化拆成证据驱动的修正，和不加新事实的方向性压力。信念修正评测能看到信息基础变化后的更新，谄媚评测能看到用户影响下的顺从或漂移。作者认为，当两种输入都偏向同一结论时，表面偏移本身不能区分来源。

作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。

三个推理模型在被提示的回答政策下出现组水平推理 token 差异。作者把它当作不读思维链内容的 black-box 候选信号，而不是自发欺骗检测器。

VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。

本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。