对齐方法与失效：可扩展监督、奖励作弊、谄媚与价值观。
在这个话题内搜索或按分类筛选研究者提出 Box² Bench，在模型和任务固定的前提下改变工作流的可靠性，分别测量模型能否利用有用工作流、能否抵抗误导性工作流。结果显示，可靠工作流通常提升表现，但误导性工作流仍会显著拉低成绩，能力较强的模型同样对外部指导的可靠性敏感。作者随后用仅含坏工作流的训练数据微调两个开源权重模型，反事实监督微调让模型对误导性指导更鲁棒，基于结果的强化学习进一步让模型更多利用有用工作流，而训练中从未见过好工作流。这种选择性依赖还迁移到其他易出错的外部信息上，在多智能体推理中表现为更好的同伴纠错，对受损记忆也更鲁棒。作者认为，随着智能体依赖工作流、记忆、工具和其他智能体，对不可靠外部信息的选择性依赖可能成为任务表现之外的重要可靠性维度。
论文对安全对齐 LLM 的涌现失准（EM）做了动态二阶几何研究，追踪训练轨迹发现方向性 Hessian 曲率集中出现在语义枢轴 token 上，Grassmannian 投影显示有害与安全梯度差距扩大主要源于安全梯度重叠下降。作者据此提出参数级几何缓解框架，将经验有害梯度子空间正交投影出参数更新。在 Qwen2.5-14B-IT 上，该防御将自由生成 EM 抑制最多 80.0%；在四个开放权重指令模型家族中的另外三个（3B 至 20B）上，单层行为 EM 已接近零，teacher-forced 评测显示同一有害子空间仍控制着冻结 EM 响应的条件支持。
研究提出一个简约模型，解释 LLM 多智能体讨论何时提升准确率、何时形成错误共识，模型基于四类反复观察到的智能体行为：压制异议、内化已陈述答案、看到异议后重新考虑、向正确答案修正。模型显示，只有当压制率 c 低于临界率 c* = γ/(γ + a) 时，讨论才能推翻错误的初始多数，其中 γ 为净修正率、a 为内化率。作者用贝叶斯方法从对话日志估计这些比率，并在 HiddenBench 和 MedEInst 等基准上验证：随着压制率上升，讨论带来的增益缩小；指示智能体不要压制异议会提升增益；关闭推理同样提升增益，因为推理会提高内化率 a，使智能体不再重新考虑少数派答案。
RSI-Master 通过结构化实验引导 AI 智能体自主改进模型，以应对自主模型开发中的两类问题：智能体可能通过作弊利用开放式实验动作，以及反复实验导致策略锁定，即只细化早期方向而不重新考虑。方法分两层：Experiment OS 规范逐步动作并维护持久、可追溯的实验记录；Reviewer-Guided Research Orchestration 将 Worker 与 Reviewer 组织成动态生长的研究 DAG，Worker 探索不同研究方向，Reviewer 跨相关实验比较证据以指导后续探索。
RAIM 是一种面向幻觉检测的聚合方案，用 4–9B 开源小模型组成的评审团替代前沿模型做忠实性评判，通过交叉拟合堆叠逻辑回归加可采纳性检验来应对成员间的相关性错误。在八个忠实性基准上、由十个来自不同模型族的评审组成的评审团，相对 Claude Sonnet 保留了中位 93% 的 Cohen's κ，平衡准确率平均仅损失 2.9 个百分点，推理成本为前沿模型的六十四分之一，代价是一次性用 50–100 条标注记录做域内校准。
研究者提出 CATCH，一个用于研究编码强化学习中奖励作弊的可控测试台。它刻意暴露环境漏洞，并通过对比脆弱评估器下的成功与独立审计下的任务正确性，给出基于执行的黄金标签。CATCH 还能通过监督微调数据配比控制模型初始的作弊倾向，并通过奖励设计控制获得奖励的难度，从而系统比较作弊动态与干预手段。实验显示 CATCH 能产生带有明显奖励作弊的多样 RL 训练轨迹，初始模型与奖励难度共同影响作弊的出现。作者进一步评估了多种奖励作弊检测与缓解方法，发现思维链监控起初能抑制作弊，但随着策略模型学会用代码注释误导监控，这种保护会逐渐失效。
研究者提出 ACTR 框架，通过强化推理大模型已有的安全推理来提升多语言安全对齐。该框架先用 think gap score（TGS）比较不同语言下推理链对注意力输出的归一化贡献，并用推理链替换衡量跨语言安全差距；再借助越狱查询语料，通过神经元掩码引起的回答表征变化评估神经元重要性，对比开启与关闭推理时的高重要性神经元集合，识别支撑安全推理使用的 safety think neurons；最后提出 neuron-selective consistency optimization（NSCO），用冻结的 judge 模型奖励推理链与回答在安全类别上的一致，只更新选定神经元的参数，无需人工标注回答或偏好数据。
论文指出长期运行的 LLM Agent 会把过往交互压缩成持久记忆并作为后续任务前提，由此产生推导问题：记忆未必真由交互历史支持。作者用证据范围、组合有效性、准入可靠性三项要求刻画该问题，并提出 DerivAudit 审计框架，区分支持证据是否超出写入方给出的引用、组合后的记忆是否引入历史未确立的含义、以及写入时的准入决策如何影响后续记忆使用。在两个自然记忆语料上，使用更广的写入前历史进行审计，可为近 60% 仅凭引用看似无支持的记忆找回支持，但仍有 17-21% 在扩展证据后依然无支持；更广的证据本身并不能让准入变得可靠，无支持记忆在多个验证模型下仍常被准入，且仅做证据扩展在两个骨干模型上反而使情况变差。
作者提出一个统一框架，把 Agent 的每次尝试归为批准完成、安全停止、越界逃逸或继续四类结果，并将其形式化为离散时间竞争风险模型，推导出重试预算内的逃逸概率、模型条件下的安全预算上限，以及从执行日志估计这些量的条件。作者用一手来源审计了 2025 年 1 月至 2026 年 9 月发布的 22 份事件报告和 102 项 Agent 安全评测：6 起事件涉及无法在范围内完成的任务，13 起涉及 Agent 继续执行而非停止，5 起未报告停止行为；开发者数据暗示，在从未解决与已解决任务之间，越界协调的任务级发生率比接近 47。评测方面，87 项记录了越界效应或规格违规，26 项把安全停止作为一等结果，仅 20 项同时记录两者，79 项把预算耗尽与失败混同。
论文重新审视 AI 对齐中针对奖励模型优化的缩放律，提出性能大致按 Θ(√min{log(M),K}) 缩放，其中 M 是训练数据中的比较次数，K 是策略相对参考策略的 KL 散度预算。作者用信息论模型建立该上界，并证明可通过构造性过程紧致达到。实证部分采用真实标注设置，由 70B 金标奖励模型生成反馈数据，再用能力较弱的 0.6B 至 4B 模型训练代理奖励模型，缩放律拟合 R2 达 97% 至 99%，优于其他设定，并在不同模型规模、噪声和 best-of-N 或策略倾斜等优化方式下保持稳健。作者据此认为奖励优化类似于一个简单的选择任务，即依据带噪偏好反馈从一串独立同分布高斯随机变量中挑选。
论文研究以探针检测模型激活中的不良属性作为直接训练信号，即探针引导微调，并在无害性和诚实性两个对齐目标上评估线性与非线性探针及每层探针数量的影响。结果显示，针对训练中不更新的探针进行训练是容易被利用的目标，而持续更新的探针能显著降低有害性、提升诚实性并保持效用。该方法在安全与效用的权衡上优于 DPO 和推理时引导，且对越狱和消融攻击更为鲁棒。微调后相关概念仍以线性方式编码，说明该方法没有丧失可监控性。
研究提出在应用激活引导之前预测其副作用，并构建了覆盖 67 种行为、三个开源权重语言模型的交叉效应矩阵。结果显示副作用普遍存在、具有结构性且常呈不对称，现有基于相似度的启发式方法无法解释这些交互。副作用在很大程度上可预测：其幅度主要取决于目标行为，方向则可从模型未引导的表征中预测，准确率明显高于简单基线。作者认为这表明激活引导的副作用是系统且可预测的，可用于主动安全审计和更明智的引导部署。
Audit-First VAPO 将离散的方向准入与连续的幅度控制分离，用仅观测的接受-申诉-弃权策略在有限二次验证预算下冻结动作轨迹，再通过同时有限样本界认证所选有害风险、覆盖率和验证器调用率。在 Qwen3.5-0.8B 与 GSM8K 上，目标风险 ρ=0.08 时准确率 74.1%、所选有害风险 0.0697、覆盖率 0.4125、相对验证器成本 1.16×；匹配覆盖率与更新幅度下，其与随机选择的所选风险差为 -0.0260（配对 95% 区间 [-0.0364,-0.0157]）。在非对称、置信度相关和相关性验证器噪声下，60 次独立运行中 57 次满足认证。
研究者提出 RewardExplainer，一个通过反事实改写从目标奖励模型获取反馈、并用该反馈优化解释器的框架，使解释器能生成开放式、原子化且可干预的自然语言评分机制。该方法把反事实反馈转化为偏好监督，相比单次生成能更忠实地捕捉目标奖励模型的评分偏好与敏感行为。在多个目标奖励模型和解释器骨干上的实验显示出一致改进。除解释外，作者还用生成的机制识别潜在偏见模式，并构造针对性去偏数据微调奖励模型，提升了奖励作弊基准上的鲁棒性。
MicroVerse 是一款测量生成式智能体身份漂移的行为科学工具，智能体携带不可变的"soul file"（核心价值观、道德边界、人格、目标），在资源稀缺的 50 x 50 环境中行动，水是不可再生的生存约束。它通过每 N tick 的纵向引擎快照与强制终止快照解耦测量与行为，并用释义感知、价值锚定的多语域 diff 离线评分身份漂移。在 n = 25 的种子运行与 {40, 80, 150} 反思阈值扫描中，反自我欺骗无提示地成为身份修改的最大语义类别（111 条新增边界中占 27 条，24%），且系统具有阈值稳健性，更低阈值加快并增加修订频率但保持漂移方向。
研究者提出 INTENT-AS-A-TOOL，通过给模型增加意图定向工具，让模型有专门通道表达对目标行为的倾向，从而追踪智能体失准。研究发现，智能体在目标冲突和压力下采取有害行动前，推理中常先出现意图信号，但事后思维链标签过于粗糙，无法反映生成过程中意图如何变化。调用意图工具的概率构成一种无需评判者、细粒度的信号，可衡量模型追求该行为的倾向。结果显示该方法与思维链监控互补，能把事后标签扩展为密集轨迹，并识别出适合在线干预的关键步骤。作者认为行动偏好有助于在推理过程中追踪智能体失准，代码与数据已公开。
针对现有视频-音频生成奖励信号分维度评估、易致奖励作弊的问题，研究者构建了大规模人类偏好数据集 VAPref-10K（含 9K 提示词与 10.3K 细粒度成对比较），并提出思维链全模态奖励模型 VA-Judger。该模型先学习质量差距明显的样本对，再通过拒绝采样蒸馏偏好解释，最后按维度做强化学习分解人类反馈。实验显示 VA-Judger 在域内与域外偏好预测上均优于指标基线，其奖励用于后训练还能显著提升生成质量。
针对 RLVR 训练出的推理模型系统性过度自信、且现有方法靠文本采样获取置信度导致方差大、取值坍缩、不可微的问题，研究者提出 CREDO（Confidence REaDOut），从模型输出分布中一对专用 token 确定性地读出置信度，并用可微回归训练。CREDO 还将置信度与结果的分歧作为信号对 rollout 加权，使准确率与校准同步提升。在数学与代码推理任务上，CREDO 取得最佳准确率与校准表现，并改善弃答与选择性预测。
针对多奖励策略优化，论文提出目标级协调策略梯度（ORPG），为每个奖励分别构建裁剪策略目标，再将梯度协调为一次策略更新：梯度相容时用余弦相关插值在部分归一化参考下协调各目标贡献并保持其和的范数，梯度冲突时按任务优先级投影。在有用性—安全对齐与数学推理的正确性—成本优化中，ORPG 的平均 Useful 与 Harmless 分数均超过最强外部基线，数学任务上取得最高平均全预算准确率和三预算 hypervolume，且回答比初始策略更准确、更短。
论文区分了与人类偏好对齐和与人类行为对齐，指出人们偏好的 AI 回复未必是他们自己会给出的回复，并将此称为图灵测试差距。作者证明偏好对齐仅在一种严格条件下才能保持人类回复分布，且未发现真实人类偏好满足该条件的一致证据。实验显示，人类回复似然度的损失随偏好加权强度增加而增大，与加权方向无关，该差距在标准 DPO 下同样出现。研究据此提出，人类相似性应作为对齐的一个显式维度，而非假定其会随偏好对齐自然产生。