通过密集行为信号优化稀疏结果：价值引导偏好蒸馏

多轮对话智能体要对齐稀疏、跨多轮才显现的长期用户结果，同时避免单目标代理带来的奖励投机。

• 场景与重要性：作者认为 RLHF 的主流形式把对齐收成轮级目标，而对话是序贯决策；从业者关心的长期行为变化稀疏，且要很多轮才实现。短视代理往往无效，并导致 reward hacking。场景是 Slingshot AI 的心理健康支持聊天机器人 Ash，结果随对话逐渐出现。
• 现有做法的不足：作者认为直接优化长期结果往往无效且容易奖励投机。无约束地优化单一目标代理，可能使策略沿可预期的轴退化；这些退化在真实用户面前有害。关系信号上的无约束优化会回到已知的 sycophancy：即时满意度上升，长期信任下降，并可能促进依赖。
• 核心观察：作者把对话建成马尔可夫决策过程，状态是对话历史，动作是助手回合。多头价值模型在多个前瞻视野上预测真实用户行为向量；稠密辅助行为信号的标量组合能做信用分配，从而优化难以直接优化的稀疏结果。任一单独行为头的优化都会沿可预期方向劣化策略。
• 论文提出什么：一是覆盖可观测用户行为的多头、多视野价值模型；二是把反事实用户模拟与经过验证的对话级结果模型结合起来的安全框架，用来在部署前评估偏好权重和策略优化方法、发现 reward hacking；三是用参考锚定的偏好优化，把多目标价值偏好蒸馏进策略，作者称其在计算预算的一小部分上匹配 on-policy 在线 RL。蒸馏后的策略被提供给真实用户。

对话价值函数与 TD 学习

• 对话 MDP 与离线 RL：Schatzmann et al. (2007) 把对话建成 MDP 并学习价值或动作价值；Snell et al. (2023) 做话语上的 implicit Q-learning；Jaques et al. (2019) 从隐式人类信号做对话的 batch RL；Verma et al. (2022) 做任务型离线 RL 聊天机器人。它们用时序差分（Sutton, 1988; Watkins and Dayan, 1992）和广义优势估计（Schulman et al., 2016）自举价值。作者采用同一价值函数抽象，但目标是可解释、可观测的用户行为向量，而不是单一学得标量。

长程与结果导向奖励

• 超出轮级信号的 RLHF：Shani et al. (2024) 做整段对话上的多轮偏好 RL；Yang et al. (2025) 用模拟展开估计持久情绪影响的面向未来奖励模型；Lee et al. (2025) 把单一对话结束奖励分解成轮级信用。

从自然发生的用户信号学习

• RLUF 与去奖励模型的路线：Han et al. (2025) 的 RLUF 训练奖励模型，从生产流量预测二元正向反应，报告了线上增益，同时有必须相对有用性和安全性加以平衡的 reward-hacking 压力。作者称与其前提相同，差别在预测对象：多个已知视野上的可解释行为向量，而不是一个二元反应，从而可以诊断投机并用符号约束单个行为。另一条路线取消奖励模型，把模型自己的事后 next-token 分布蒸馏回策略（Hübotter et al., 2026; Kleine Buening et al., 2026）。

奖励投机、用户模拟与 best-of-N

• 奖励误设：Amodei et al. (2016)、Skalse et al. (2022)、Pan et al. (2022) 讨论 specification gaming；Gao et al. (2023) 讨论奖励模型过优化。对话中这表现为 sycophancy：优化即时用户满意度会损害长期信任并可能促进依赖（Sharma et al., 2024; Cheng et al., 2026）。
• 用户模拟：LLM 用户模拟器支持离线交互评测（Schatzmann et al., 2007; Naous et al., 2026），但分布外智能体行为下的保真度必须验证（Meshi et al., 2026）。作者的模拟器用 DIAL（Zhu et al., 2025）训练：用判别器对抗地改进监督模拟器，判别真实与模拟用户回合，且处于同一心理健康场景。先前工作称，模拟与真实失败率在智能体策略之间强相关，同时失败模式的分布散度较低。
• Best-of-N 与蒸馏：相对奖励模型的 best-of-N 是有理论依据的推理时策略（Stiennon et al., 2020; Nakano et al., 2021），并可蒸馏进策略以去掉推理成本（Sessa et al., 2025）。

基线方法与基准：离线对比蒸馏进 Llama-3.3-70B-Instruct；模拟评测重放 1,500 条真实对话前缀，基线是随机选择 π0。策略侧对比 best-of-N、DPO、IPO、hinge、LD-DPO、RPO、ORPO、SFT，以及同一复合奖励上的 GRPO。线上对照是在任生产策略。

作者把本文定位为：价值函数预测的是多视野可观测行为向量；安全框架在部署前筛多目标权重；参考锚定的离线蒸馏在同一提示上对比 on-policy RL，并在真实用户上提高多视野留存。

整体做法是 value-guided preference distillation：先学一个多视野用户行为价值模型，用线性权重得到复合价值，再用 best-of-N 做贪心改进，最后把该选择策略蒸馏进生成器权重，部署时不再做额外采样。

问题设定与价值模型

• MDP：状态 st 是直到第 t 个用户回合的对话历史，动作 at 是助手回复。轨迹 τ 上，Vπ(s) 是从 s 出发的期望累积回报。奖励为终止型（t < T 时 rt = 0）时，价值估计退化为预测会话结束结果 E[rT | s]。
• 多视野预测：价值模型在若干显式前瞻上预测行为目标：接下来 n 条用户消息，或 n 天内回访。作者称联合预测这些固定 n 回报，是时序差分 λ 回报的离散类比，为长程目标提供稠密估计，而不做完整回合展开。
• 三类行为头：过程标记（如获得洞察、表达改变承诺、报告已经行动）；对智能体的关系信号（如感谢、同意、不同意、抱怨）；参与信号（如消息长度、放弃会话、多日回访）。每个行为可出现在一个或多个视野上，每个助手回合得到一个多标签目标向量。过程与关系标签来自对后续用户消息的分类；参与标签直接读日志。部署实例有 39 个头，由 25 个不同信号在一个或多个视野上组成，完整列表在附录 A、Table 2。除 verbosity 为三档分桶外，其余为二元。视野包括会话内接下来 1、2 或 5 条用户消息（1m/2m/5m）、1/3/7 天内回访（1d/3d/7d），以及当前回合（0）。
• 架构与训练：价值模型是 transformer，在每个助手回合边界放多标签分类头，每个行为头一个 logit。头 i 预测 v̂i(s) = σ(zi(s))，用二元交叉熵对观测标签训练；逐样本掩码使头只在其目标有定义时贡献。

复合价值与贪心改进

• 标量化：决策时把预测向量合成单一复合价值。式 (1) 为 V̂w(s) = Σi wi σ(zi(s))，wi 编码每个行为信号的预期方向。作者称这是多目标 RL 的线性标量化，也是后继特征的构造：未来行为向量只学一次，任意权重 w 都给出价值函数，无需重训。
• Best-of-N：给定冻结价值模型和基生成器集合，每个状态从各生成器采一个候选。πBoN(s) = arg max_{a∈A(s)} V̂w(s · a)。s · a 是后继状态，在动作之后、用户回复之前打分，从而由状态价值得到动作价值。这是相对 V̂w 的一步贪心策略改进。
• 留存的角色：留存是复合目标里的稀疏结果，不是唯一目标；它与约束“如何提高留存”的福利相关信号一起优化。PHQ-9 症状变化在此规模上不可测，回访会被自动记录；作者引用在 Ash 上参与与 PHQ-9 改善的剂量反应关联。

上线前的反事实评测

• 模拟：不部署即可评测 πBoN：重放真实对话前缀，用 DIAL 训练的用户模拟器产生用户回合，候选策略产生助手回合。作者称这是模型化的 off-policy evaluation，模拟器是学得的环境模型。
• 结果模型：另一独立训练的模型从模拟对话预测留存。它对照 16 个线上实验、43 个策略对中的观测留存做验证：在模拟与生产都出现显著变化的策略对上，变化方向一致的比例为 86%（附录 E）。作者把模拟器当作筛子，并在真实部署上确认方向；分布外智能体行为下的保真度不能假定。
• 离线指标：每个条件重放同一组 1,500 条真实对话前缀。式 (3) 的 Δf(π) 是相对随机选择基线 π0 的配对均值差，只让助手策略变化。三项测量为：结果模型给出的预测回访概率 R̂(τ)∈[0,1]，报告 ΔR̂（百分点）；行为率 ρb(τ)，即被解析的助手–下一条用户消息对中带该行为的比例，报告 Δρb（百分点）；WPM(τ) 为用户总词数除以用户消息数，报告 ΔWPM（词）。行为标签由四个 LLM 评审之一给出，用会话标识和回合索引哈希分配，使同一评审在各条件下给同一回合位置打分，作者称这是 CyclicJudge 的确定性变体。

把选择策略蒸馏进权重

• 为何蒸馏：Best-of-N 成倍增加生成成本与延迟，且选择需要完整候选，不能从策略流式输出 token，现场语音栈不可行。因此用 best-of-N 蒸馏把 πBoN 摊进生成器权重，奖励换成多视野价值模型。
• 配对：在真实对话上给目标模型的每个回合打分，取最低分的回合，从同一生成器重采样替代，再打分，用价值最高与最低的候选组成偏好对。然后用 DPO 在这些对上训练，并与改变偏好如何计分的目标比较：IPO（用恒等变换代替 logit 变换）、归一化似然上的 hinge、LD-DPO（下调回复中冗长部分的权重）、RPO（在胜者上加似然项）、无参考的 ORPO，以及只在获胜候选上做监督微调。在线对照是在相同提示上用 GRPO 优化同一复合价值，归一化采用 Liu et al. (2025) 的无偏形式。
• 训练设置（附录 J）：七个蒸馏策略都从 Llama-3.3-70B-Instruct 出发，用 4-bit QLoRA。除目标外超参相同：LoRA r=128、α=256、dropout 0.1；学习率 5×10−5，余弦衰减到峰值的十分之一，5% warmup；一个 epoch；全局 batch 32；最大序列长度 16,384；偏好损失的 β=0.1。LD-DPO 的 αLD=0.5，RPO 的 αRPO=1。GRPO 用同一基策略、同一提示、一个 epoch、学习率 5×10−5，但 LoRA r=32、α=32；每步 8 个提示 × 8 条展开，补全上限 400 token，温度 0.9、top-p 0.95、top-k 40；组内优势不标准化，序列内损失求和、序列间取均值（作者称得到 Dr. GRPO 目标）；非对称裁剪 0.2 到 0.28，对关闭适配器的基策略加 0.04 的低方差 KL。部署策略蒸馏进一个内部微调模型，基座与规模未披露。

实验设置

• 被测模型：离线比较蒸馏进 Llama-3.3-70B-Instruct；§5.1 与 §5.2 的候选也来自 Llama-3.3-70B-Instruct。部署策略蒸馏进内部微调模型，基座与规模未披露。
• 数据与规模：全部实验在 Ash 上进行。每个离线条件重放同一组 1,500 条真实、匿名对话前缀。线上 A/B 为三周，每臂约 6,700 名用户；行为面板为 4,313 个对照会话与 4,199 个部署会话，每用户一个。
• 基线与方法：模拟指标相对随机选择 π0。权重消融为 Table 1a 的十种加权（括号内为非零权重头数）。策略对比在 Composite (26) 上：Best-of-8、Best-of-64，以及 LD-DPO、hinge、IPO、DPO、RPO、ORPO、SFT、GRPO。
• 指标：ΔR̂ 与 Δρb 为百分点，ΔWPM 为词，均为式 (3) 的配对均值差。行为列按复合权重的符号分组。线上报告 day-1 与 D7 留存，以及加权行为是否沿奖励方向移动。
• 评审与显著性：行为标签由四个 LLM 评审按会话与回合哈希分配。§5 中 22 个由分类得到的信号做 Benjamini–Hochberg 校正（q < 0.05），在每个条件内控制；verbosity、放弃会话和回访直接读日志。模拟比较按种子配对；线上不同用户，用 Welch 两样本检验。附录 B 给出完整协议。
• 重复与算力：论文未报告模拟条件的重复次数。GRPO 约 209 个 H200-小时、约两天墙钟；LD-DPO 为单卡 12.6 个 H100-小时、约半天。作者称 GRPO 约为 LD-DPO 的十七倍 GPU 小时。

主结果

模拟对话上、相对随机选择的 ΔR̂（百分点）。Table 1a 为 N=4 的权重；Table 1b 为 Composite (26) 的策略。

设置	ΔR̂	出处
Return heads (3)，N=4	+0.78	Table 1a
Agreement (1)，N=4	+1.47	Table 1a
Relational (6)，N=4	+1.50	Table 1a
Composite (26)，N=4	+1.54	Table 1a
Composite (39)，N=4	+1.98	Table 1a
Best-of-64，Composite (26)	+3.74	Table 1b
LD-DPO / GRPO，Composite (26)	+7.67 / +7.41	Table 1b
ORPO / SFT，Composite (26)	+1.98 / +0.64	Table 1b

• 权重：作者称直接优化预测的长程留存增益很小，幅度不到多目标复合的一半（Table 1a）。稀疏远视野回访信号对候选回合的区分很弱，中位选择优势为 0.010，复合为 0.140。关系类一半的复合达到其预测留存改进的 97%，只约束用户同意的目标达到 95%；由与回访头的实测相关得到的 17 信号加权低于这两者。26 信号复合是唯一同时提高积极情感与用户感谢、且负向情感与痛苦在统计上不变的加权。再加四个情感与扭曲项（到 30）不改变预测留存，也不改变任一行为。对用户词数加负权重的 39 信号复合达到所筛加权中最高的 ΔR̂，但用户消息缩短超过其他高留存加权（−2.12 词）。
• 候选数：固定为部署用的复合、只改变每回合候选数时，ΔR̂ 从 N=2 的 +1.00 个百分点单调升到 N=64 的 +3.74 个百分点，Figure 1 上未见可辨认的饱和点；选择优势在该范围内对 log2 N 线性上升。误差棒为标准误，每点 1,500 条配对模拟对话。
• 蒸馏与在线 RL：作者称每个由参考策略 πref 锚定的蒸馏目标，在预测留存上都超过生成其训练对的选择策略；无参考的 ORPO 和直接模仿 SFT 低于该选择策略。IPO 的名义 ΔR̂ 高，但用户消息缩短 5.53 词，多于其他策略；作者称阅读模拟对话后，其回合塌到重复的填充 token（附录 I）。DPO、LD-DPO 和 hinge 使消息长度反向变化，该按长度的分裂在另一组不相交、以不同选择强度挖掘的训练对上复现（附录 H）。GRPO 助手回合从 116 词增到 253 词，作者称增加的文本对内容没有实质贡献（附录 I），且同意与洞察下降、脱离上升，与所优化奖励相反。

单目标失败模式

• 测了什么：Table 1a 在 N=4 上比较只优化消息长度、治疗过程、回访头、同意、关系信号与多目标复合。
• 结果：Message length (4) 的 ΔR̂ 为 −1.08 个百分点，ρdistress +2.40、ρ−affect +2.59、WPM +3.21。Process (7) 的 ΔR̂ 为 +0.58，ρinsight +0.99、WPM +1.79、ρ−affect +1.04。Agreement (1) 的 ΔR̂ 为 +1.47，ρagree +8.59、WPM −2.40、ρdistress −2.91。Relational (6) 的 ΔR̂ 为 +1.50，WPM −1.12。
• 作者的解读：面向关系目标的策略提高 ΔR̂ 同时使用户消息更短，痛苦标记下降反映的是披露减少而不是福利改善；sycophancy 是离线框架要抓住的一种 reward hacking。只优化治疗过程信号时预测留存几乎不动，用户洞察上升、消息变长，同时负向情感升高。只奖励用户消息长度会抬高整个痛苦块并引出反刍而不是参与。多目标标量化避免这些单目标失败，并用关系强化对临床克制做平衡，从而进一步提高预测留存。作者称复合是防止 reward hacking 的约束优化，而不是搜索最大预测留存。

行为剖面与蒸馏是否忠实

• 测了什么：Table 1b 在 Composite (26) 上比较选择策略与各训练目标的行为差。用户同意在复合中为正权重，脱离为负权重。
• 结果：Best-of-8 的 ρagree +0.95、ρdisengage −0.35；Best-of-64 的 ρagree +1.66、ρdisengage +0.31。所有使同意发生变化的训练策略里同意都下降（LD-DPO −4.13、GRPO −5.39），而两个选择策略都使其上升。脱离在每个参考锚定策略中上升（LD-DPO +0.47、IPO +4.90、GRPO +3.31）。IPO 的 ρcomplain 为 +2.53，尽管抱怨在复合中带负权重。
• 作者的解读：蒸馏在结果上转移了选择增益，在行为剖面上只是部分转移，并不是对教师的干净摊销。用户同意变少究竟是奉承减少还是同盟减少，这些标签分辨不了。附录 I 称 IPO 与 GRPO 在 Table 1b 中有两处最大的逆奖励移动；标量长程代理本身不够，因此部署策略用 DPO 而不是离线分数最高的目标蒸馏。DPO 与 LD-DPO 在用户抱怨上接近基线，且没有 token 塌缩。

线上部署

• 测了什么：蒸馏策略对在任生产策略做三周 A/B，每臂约 6,700 名用户。行为比较为 4,313 个对照会话与 4,199 个部署会话，每用户一个。
• 结果：day-1 留存提高 2.15 个百分点，D7 提高 2.60 个百分点（附录 D）。13 个加权行为中有 10 个沿奖励方向移动（二项检验 p=0.046，单侧）；校正后仍成立的有五个：积极情感、用户同意、用户感谢、洞察、行为激活（附录 D）。
• 作者的解读：直接优化时几乎不动的结果，在改为优化复合之后会在真实用户上移动。关系行为与治疗过程行为都在真实用户上改善，作者称这表示更有建设性的参与。

其他消融与分析

• 结果模型验证：16 个线上实验、43 个策略对；双方都显著变化的对上，方向一致 86%（§3.2、附录 E）。作者称它分辨排序而不分辨幅度，故只读 Table 1a 的排序，不读其水平；不显著的模拟结果不能当作“没有效应”的证据，因为那些对上的方向一致与机会无法区分。
• 评审不一致：四个 LLM 评审在绝对率上分歧大（附录 F）。Agreement (1) 的效应在每个评审内为 +7.3 到 +9.2 个百分点，尽管各评审基线从 8.5% 到 22.2%。
• 模拟种子上的逐对话率在条件间相关 0.82–0.86；非配对检验会把共享方差算两次，t 统计量代价为 2.3–2.7 倍（附录 B）。
• Return-coupled (17) 的每个权重由该信号与回访头的实测耦合设定，ΔR̂ 为 +1.41，低于单一同意权重的 +1.47（Table 1a）。
• 超过 26 个信号后，作者称对稀疏结果的收益递减；Composite (30) 的 ΔR̂ 为 +1.67，行为相对 Composite (26) 无作者所称的进一步变化（Table 1a 中多项行为数字不同，作者的原句是加入四项后既不改变预测留存也不改变任一行为）。
• 附录给出 IPO 相对基线的模拟对话摘录：基线在 34 条消息后停在停止 token，IPO 对话跑到 50 条消息上限；另有用户回合紧跟由重复 “later” 构成的助手回合。

作者指出的局限与后续方向

• 模拟保真度（Limitations）：全部奖励设计结论来自反事实模拟，用户回合由 DIAL 训练的模拟器产生。该模拟器相对真实用户做过验证，但这里筛选的策略是对着价值模型优化的，其在分布外智能体行为上的保真度不能假定。每个条件重放相同对话开头，因此加权之间的对比内部有效，绝对率未必校准到真实用户。
• 评审集合不完美（Limitations）：行为标签由四个 LLM 评审的集合指定，每条消息一个。它们在绝对率上分歧很大。作者用哈希使同一评审评两侧同一回合位置，从而把偏差差分掉，并在 Agreement (1) 上按评审分别核过效应。
• 留存是代理对代理（Limitations）：离线留存指标是学得的预测，不是观测结果。验证表明它分辨排序而不分辨幅度，因此只读 Table 1a 的排序、不读水平；模拟上不显著的结果不提供“没有效应”的证据，那些对上的方向一致与机会无法区分。
• 只部署一种配置（Limitations）：部署的是从离线筛选中按作者自己的价值判断、并经人工查看模拟记录后选出的单一配置。把全部奖励消融部署到真实用户会直接检验奖励设计发现，但筛选表明那些目标会引出反刍和披露减少，对脆弱用户有安全风险。作者接受由此带来的覆盖损失。
• 权重是直觉设定（Limitations）：复合权重为手选，权重向量是未学习的超参数。一次系统尝试是 Return-coupled，17 个权重各按与回访头的实测耦合设定，结果低于单一同意权重。作者称，在行为代价有界的条件下优化稀疏结果，是一个可能的下一步。
• 单一产品与领域（Limitations）：全部真实用户数据来自心理健康支持对话场景中的一个已部署助手；向其他领域和人群的泛化未经测试。

实验覆盖范围

• 离线实验在 Ash 上重放 1,500 条真实对话前缀；§5.1 与 §5.2 的数字来自模拟对话，真实用户测量只在 §5.3 和附录 D。
• 权重筛选为 Table 1a 的十种加权，候选池固定比较在部署复合上、N 从 2 到 64（Figure 1）。策略比较为 Composite (26) 上的 Best-of-8、Best-of-64 与八个训练目标（Table 1b）。
• 离线策略从 Llama-3.3-70B-Instruct 蒸馏；部署用的内部微调模型未披露基座与规模。GRPO 与 LD-DPO 的 GPU 小时和墙钟在附录 J。
• 线上为一种蒸馏配置对在任生产策略的三周 A/B，每臂约 6,700 名用户；行为会话为对照 4,313、部署 4,199。结果模型对照 16 个线上实验和 43 个策略对验证（附录 E）。
• 价值模型为 39 个头（附录 A）。论文报告了四个 LLM 评审在绝对率上的分歧，以及 Agreement (1) 在每个评审内的效应范围；未把全部奖励消融部署到真实用户，作者在 Limitations 中说明原因是安全风险。

Value-Guided Preference Distillation 把多轮心理健康对话的对齐，从轮级偏好改成对多视野用户行为向量的多目标优化，再蒸馏进可部署策略。

• 问题：作者认为直接优化稀疏长期结果往往无效且容易 reward hacking；无约束的单目标代理会沿可预期的轴劣化策略，在真实用户面前有害。
• 方法：对话为 MDP。39 头价值模型用二元交叉熵预测过程、关系与参与信号；式 (1) 用权重 wi 把 sigmoid 输出线性标量化。Best-of-N 对后继状态贪心选择，再用 DPO 等目标把高低价值候选的偏好蒸馏进生成器。上线前用 DIAL 用户模拟和独立的对话级留存模型筛权重；该结果模型在双方都显著变化的策略对上方向一致率为 86%。
• 模拟证据：N=4 时，只优化三个回访头的 ΔR̂ 为 +0.78 个百分点，Composite (26) 为 +1.54，Composite (39) 为 +1.98 但 WPM 为 −2.12 词（Table 1a）。只优化同意或关系信号会缩短用户消息。固定复合后，ΔR̂ 从 N=2 的 +1.00 个百分点升到 N=64 的 +3.74 个百分点（Figure 1、Table 1b）。带参考锚的蒸馏里，LD-DPO 为 +7.67、GRPO 为 +7.41；ORPO 为 +1.98，SFT 为 +0.64。IPO 的 ΔR̂ 为 +7.01，同时 WPM 为 −5.53，作者称回合塌到重复填充 token。选择策略提高同意，训练后的策略则降低同意并提高脱离。
• 线上：蒸馏策略对在任策略做三周测试，每臂约 6,700 名用户，day-1 留存 +2.15 个百分点，D7 +2.60 个百分点。13 个加权行为中 10 个沿奖励方向移动，校正后仍有积极情感、同意、感谢、洞察和行为激活。
• 作者的结论：稀疏远视野目标要靠稠密辅助行为才能变得可优化；多目标价值加上离线反事实评测，用来在部署前发现设定失败。参考锚定的离线蒸馏在所优化结果上匹配 on-policy RL，计算只占一小部分。作者同时强调模拟保真度、手选权重和单一部署配置，并称复合是约束优化，不是去最大化预测留存。