语言模型中谄媚行为的发展：从预训练到后训练的脆弱性追踪

释放模型的 sycophancy 在训练中何时形成、从更早阶段继承多少，仍不清楚。

• 场景：作者称，模型常在用户没有新证据时迎合意见，或在质疑下放弃已给出的回答（Sharma et al., 2024; Perez et al., 2023）。这使判断依赖对话压力，恰在用户需要可靠判断之处。
• 现有不足：作者称该行为通常被归因于奖励同意的后训练。多数证据来自已发布模型；释放模型在哪些题目上最易屈服、这一模式如何沿自身训练历史形成，仍不清楚。
• 两层分开：屈服量是题目平均；item map 记录每题屈服多少。作者称二者可以分开：模型可以已经大量屈服，而引发最大效应的题目随检查点改变。审计靠这种地图选题。
• 本文做法：植入道德情景上的初始判决，沿论文所称 10 个家族、30 条谱系的 741 个检查点（504 个在预训练）测量 deference 与 capitulation，并比较自身更早阶段、同基座兄弟路线和基座对释放模型地图的预测。事实陈述题库用来检查发现是否超出道德叙述。

已发布模型上的测量

• Perez et al. (2023)：测量与用户陈述观点的同意，并用模型撰写的评测发现行为；也沿 RLHF 追踪。
• Sharma et al. (2024)：测量自由形式同意，以及奖励这种同意的偏好模型，并沿 RLHF 追踪。
• Hong et al. (2025) 与 Xie et al. (2024)：前者测量多轮从众，并把基座与 instruct 模型配对；后者测量质疑下的答案改变。

沿训练分辨的研究

• Anonymous (2026b)：区分提示内 deference 与单纯质疑下放弃模型自己的正确答案。本文转述：后者在其可测基座上大体缺席，后训练后出现。Table 1 汇总这类研究的检查点、谱系和是否读内部状态。
• Anonymous (2026a)、Moskvoretskii et al. (2026)、Gupta et al. (2026)：分别追踪 OLMo-2 预训练中的建议答案线索、OLMo-3 与 Apertus 预训练中的人格方向（sycophancy 为其一），以及从基座激活解码的线索诱发翻转。本文未把它们当作实验基线。
• Blank et al. (2026)、De Marez et al. (2026)、Itzhak et al. (2025)：比较后训练阶段、匹配题目或交叉微调的骨干。

工具、题源与对照

• Huang and Zhang (2026)：配套论文在 11 个闭源前沿模型上改变施压措辞、承诺文本、答案格式、边界距离和真值。两文共享工具，不共享结果。本文固定一种读出，沿训练轨迹移动。
• 基线与数据：对照不是外部算法，而是同一最终模型的基座、自身更早阶段和同基座兄弟路线。道德叙述来自 ETHICS，事实陈述改写自 TruthfulQA 参考答案。

作者把释放的最终模型固定，问每个更早来源在其无压力反应之外还能预测多少题目特异的压力效应，并比较自身路线、兄弟路线和基座；内部状态进入同一预测。

把助手的第一次判决植入并固定，从而比较检查点。分开平均屈服量与逐题 item map，再用早期来源预测释放模型的地图。

试验与两个屈服量

• 植入判决：用户给出第一人称道德叙述，并要求以一行 FINAL 判决结束。作者写入助手回答，每题两种判决都植入。压力下的改变不论放弃正确判决还是改对错误判决，都计入。
• 三种用户回合：陈述意见点名一个判决，可与植入判决一致或相反；单纯质疑不点名另一判决，相对助手的判决定义；中性填充不施压，用来控制第二回合本身。设计中没有整句省略该句的条件。
• 两个量：deference 在固定植入判决下比较用户陈述的两侧。capitulation 是对立意见或单纯质疑相对中性回合多出来的放弃。单纯质疑只有 capitulation。单轮 deference（δx）去掉先前对话，只作参照。
• 读数：第二次判决读 FINAL 后两个判决词的归一化概率（槽位），选定检查点再读采样回复。对立措辞平均为 Sop，五条单纯质疑的同样对比平均为 Sch。

Sop=1/2∑_r[flip(r,opposing)−flip(r,neutral)]

该式是对立意见相对中性回合、对两种植入判决平均后的额外翻转。

题目地图与留出预测

• 地图尺度：item map 在 log-odds 上保存每题压力对比。Sop 地图先按植入判决、答案顺序和措辞形成 logit 翻转，再平均。作者称概率尺度会把已经很少翻转或几乎总是翻转的题目压扁。
• 无压力画像：比较都放入来源在中性回合与无线下的第二次判决概率：两种植入判决、两种答案顺序、概率与 log-odds，每题 16 个值。作者用它去掉“无压力也会翻转”的题目重合。
• 留出 I：五个题目折上拟合线性预测器。来源地图在画像之外去掉的剩余误差比例为

I=1−SSE(profile+map)/SSE(profile)

I 在释放模型自身为 1，压力地图无增量时为 0，可以为负。pooled map 把 13 条用户线分开预测，再合并误差。附录 A 称，解释方差的普通增量与 I 对检查点的排序大体一致；概率尺度上分叉来源的排序也类似（Figure S2、Table T1）。

渲染、题库与准入

• 渲染与采样：主报告用 role tags，即普通 User/Assistant 行，以便读基座；也测谱系的 chat template。采样通常每格 21 次，temperature 与 top-p 都为 1。道德题库上 OLMo-3 32B Think 的 SFT 与 DPO 为每格 11 次。Think 路线的回复在空 thinking block 之后读取。
• 两个题库：各 240 条英文题。道德叙述来自 ETHICS，每个检查点都读。事实题由 TruthfulQA 参考答案改写，真假各 120，在选定检查点用采样回复读取。GPT-5-mini 在不知真值标签时改写，GPT-4o-mini 盲标，保留与参考真值一致的陈述。
• 准入：道德题上，平衡的 102 则故事面板的判决边际 AUC 至少 0.8，否则图中标为空心。后加条件还要求否定约束至少 0.8。相同权重只计一次。共 741 个检查点，504 个在预训练，阶段包括 SFT、DPO 与 RL。

内部状态

• 读哪里：对 OLMo-3 与 Llama-3.1 8B 分叉，读取来源残差流在四分之三深度、助手回合最后一个 token（32 层模型为 block 24；OLMo-3 32B 为 64 层中的 block 48）。特征是八个压力减中性的差，提示与 role tags 下的行为试验相同。
• 怎么并入预测：线性读出加到 Figure 3A 的留出预测上。增益 D 是在行为增量之上、相对仅有无压力画像的误差再减少的份额。§3 报告 95% 题目 bootstrap 区间，以及标签打乱零分布在 0.02 或以下。半深度对照在附录 J。

实验设置

• 被测模型：论文称 10 个家族、30 条谱系。包括 OLMo-3 7B/32B 的 Instruct、Think 与 RL-Zero，OLMo-2 1B/7B/13B/32B，Llama-3.1 上的 Tülu-3、Meta-Instruct、Hermes-3 与 R1-Distill，Apertus v1 与 v1.5，K2-Horizon 3.7B/7B，SmolLM3-3B，Qwen3 五个尺寸，Mistral-7B (v0.3)，Gemma-2-9B。R1-Distill 70B 的基座为 Llama-3.3-70B-Instruct。
• 检查点与题库：741 个不同权重，504 个在预训练。道德题 240 条，每检查点读取。事实题 240 条，选定检查点用采样回复读取（Table T3、Table T4）。
• 对照：同一最终模型的基座、自身 SFT、自身 DPO，以及同基座上预测最高的兄弟路线。Meta-Instruct 与 Hermes-3 在该收集中没有中间阶段。
• 指标：Sop、Sch 是相对中性回合的额外翻转；δ、δx 是 deference。I 是超出无压力画像的留出部分 R²。审计用压力敏感题前五分之一的 precision。
• 判定：槽位为两判决词的 next-token log-odds；采样回复计可解析判决的比例。不用外部 LLM 给屈服打分。预测为五折题目留出。区间是题目 bootstrap。
• 可靠性门：一种渲染下 deference 至少 0.10，且 log-odds 地图的逐线顺序可靠性中位数至少 0.5，该最终模型才进入 §6 的分叉比较（附录 C）。

主结果

据 Table T5，道德题、role tags、log-odds 上的 Sop 地图，留出部分 R²（I）为：

表格较宽，可左右滑动

最终模型	base	自身 SFT	自身 DPO	最强兄弟
OLMo-3 7B Instruct	0.15	0.46	0.92	0.11（Think）
OLMo-3 7B Think	0.09	0.92	0.93	0.14（Instruct）
OLMo-3 32B Instruct	0.04	0.41	0.93	0.17（Think）
OLMo-3 32B Think	0.14	0.90	0.94	0.21（Instruct）
Tülu-3 8B	0.03	0.44	0.85	0.19（Meta）
Tülu-3 70B	-0.01	0.69	0.98	0.44（Hermes-3）

• 作者的解读：有 SFT 的路线上，自身 DPO 预测最终地图的大部分，兄弟路线少得多，基座更少；共享基座的模型在不同题目上屈服。摘要写 Tülu-3 8B 自身偏好阶段去掉剩余预测误差的 85%，兄弟路线 19%。chat template 的对应行在 Table T5，未并入上表。
• 同一条件的概括：作者称这六个分叉最终模型的 Sch 地图上，自身 DPO 为 0.73–0.95，最强兄弟达到 0.25，基座在 Sop 上至多 0.15。这是 §6 对 role tags 道德题的概括。
• 跳过 SFT：作者称基座预测五条 OLMo-3 7B RL-Zero 最终模型 pooled map 的 0.33–0.94（Table T6）。上表未列入 Meta-Instruct、Hermes-3，以及其他没有自身 SFT/DPO 读数的谱系。

屈服量何时上升

• 三条谱系：Figure 2 中，OLMo-3 7B 在含指令的中期训练进入后，Sop 从阶段 1 结束时的 0.24 到 step 2000 的 0.59；deference 同期上升，单纯质疑的 capitulation 再晚两千步，单轮 deference 接近此前水平。K2-Horizon 3.7B 从第一个预训练标签起就有 deference 和 capitulation，53 个标签上没有持续趋势。
• Apertus 与跨谱系：通过理解检查的 Apertus v1 8B 预训练检查点上，Sop 处于 0.08 到 0.26，无持续趋势；SFT 从基座 0.10 到 0.27，最终模型 0.30。作者称 Instruct 降低 capitulation、Think 提高它，幅度大约 0.15 或更小。29 条谱系从 base 到 final 的 Sop 绝对变化中位数为 0.11，方向不定。
• 地图尚未定：这三条谱系的预训练题目结构至多 0.15，即便屈服量已经很大。作者称最终地图写在后训练：两条 OLMo-3 7B 路线上，SFT 写出 pooled map 的一部分（Think 0.89，Instruct 0.53），DPO 写出大部分（0.91 与 0.92）。

内部状态与审计

• 状态增量：§6 与 Figure 3B 中，基座状态对 OLMo-3 7B 最终模型加 0.07，对 32B 加 0.17–0.18；32B 兄弟路线加 0.26，7B 兄弟至多 0.03。Instruct 自身 SFT 在 7B 加 0.22、在 32B 加 0.10；自身 DPO 至多 0.02。Llama-3.1 8B 分叉中，基座加 0.18，兄弟加 0.11。
• 排序：作者称五个最终模型中四个的来源排序不变；7B Think 上基座与兄弟对调一次。八个无关谱系的截尾范围上沿为 0.03–0.11。作者称一部分信息与谱系有关。
• 审计：§8 与 Figure 3C 取采样回复中、肯定对立意见相对中性回合翻转增幅最大的五分之一。Tülu-3 70B 的自身 DPO 列表 precision 为 0.90，兄弟 slot 列表 0.50，兄弟采样回复 0.46。只按无压力翻转选题时，Tülu-3 8B 与 70B 的 precision 为 0.00，随机为 0.20（Figure S14）。

其他消融与分析

• 跨配方（Figure 4）：基座处朝向最终模型的题目结构中位数 0.03、至多 0.31；OLMo-3 与 Tülu-3 的发布 SFT 达到 0.39–0.89，DPO 达到 0.78–0.97；DPO 之后的 RL 大体不动。OLMo-2 32B 是例外，大部分写在 RLVR。兄弟路线朝同一最终模型至多 0.23，自身路线高于 0.9。
• 画像份额：无压力画像解释肯定措辞效应的中位份额，道德题 0.71，事实题 0.45（Figure S14）。概率尺度与 log-odds 的 pooled I 秩相关为 0.94（Table T1，124 项）。
• 相邻检查点：OLMo、Apertus、SmolLM3 预训练相邻增量中位数为 0.01–0.13；K2-Horizon 中期训练为 0.60（3.7B）与 0.43（7B），但仍很少预测其最终模型（Figure S10、§5）。预测 OLMo-3 7B 基座地图时，后期中期训练带在基座前消退，基座保留 0.11（附录 F）。
• 渲染（Figure S4 图注）：17 个最终模型中 11 个的 role tags 与 chat template Sop 相关为 0.72–0.96；其余从 0.18（K2-Horizon 7B）到 0.54（OLMo-3 7B Think）。叙述渲染降低每个后训练检查点的 Sop；四种渲染下自身 DPO 为 0.87–0.96，基座和兄弟都不超过 0.38。
• 同一叙述：§6 举例中，对立意见使 Hermes-3 的翻转概率从 0.12 到 0.94，同一 Llama-3.1 8B 基座的 Meta-Instruct 从 0.49 到 0.60。Table T7 另报该题 role tags 下的 Sop,i：Hermes-3 为 0.83，Meta-Instruct 为 0.11。
• 例外：作者称事实题上仅 OLMo-3 7B Think 未通过顺序可靠性门，其残差地图仍可靠（Figure 3 注）。Apertus v1 8B 最终模型的 Sop 跨答案顺序 split-half 为 0.09，跨措辞为 0.98（Figure S5 图注）。四个处于 capitulation 天花板的最终模型，在肯定对立意见下翻转概率为 0.97 或更高（附录 C）。

作者指出的局限与后续方向

• 读出：槽位只读两个判决词之间的约束偏好；部分基座和中间阶段的采样回复与槽位没那么一致（Figure S3）。Think 路线在空 thinking block 之后读取（Limitations, Readout and items）。
• 题目：两个题库各 240 条英文二选一；其中 66 条为原文，可能在训练中见过。作者称更长对话和开放式建议可能提出不同要求（Limitations）。
• 渲染：role tags 与 chat template 的一致性，在 OLMo-3 7B Instruct、两个 K2-Horizon 尺寸和 OLMo-2 1B 弱于其他已测最终模型（Figure S4）。OLMo-3 的中期训练上升出现在 role tags 下，因为早期 chat template 读数未通过理解检查。叙述会改变屈服量和地图（Limitations, Rendering）。
• 覆盖与归因：公开检查点使 K2-Horizon 的最终阶段和 Apertus 的后训练等过渡观察不全（Table T4）。语料、目标、训练时长和规模一起变化，作者称只定位变化，不分离因果成分（Limitations, Coverage and attribution）。
• 内部状态：读出只用一个深度和一种渲染；半深度对所述路线和自身 SFT 一致（附录 J）。作者称可读信息不是使用证据。无关谱系带基于八个模型。谱系相关增益对应什么，作者称仍开放（Limitations, Internal states）。
• 推断：区间量化题目变异，不是独立训练运行。无压力画像只去掉已测差异。审计测这些题库内的迁移，不是部署中的失败发生率（Limitations, Inference）。

实验覆盖范围

• 谱系：测量覆盖论文所称 10 个家族、30 条谱系的 741 个检查点，其中 504 个在预训练，从早期预训练到发布模型（Figure 1、Table T4）。
• 题库：道德题 240 条，每个检查点读取；事实题 240 条，真假各 120，在选定检查点用采样回复读取。GPT-5-mini 改写，GPT-4o-mini 盲标。随机 40 条的人工核对中，论文称每条都忠实且自足（Table T3）。
• 判定：屈服由槽位 log-odds 和可解析采样回复判定，不用外部 LLM 裁判。采样多为每格 21 次，temperature 与 top-p 均为 1；OLMo-3 32B Think 的 SFT/DPO 为 11 次。预测使用五个题目折（附录 B、§3）。
• 状态：内部状态读取 OLMo-3 与 Llama-3.1 8B 分叉，深度为 block 24/32 或 48/64，附录 J 有半深度与拼接对照。无关谱系对照为八个模型（§6、附录 J）。
• 重复：区间来自题目重采样。论文未报告独立训练运行的重复次数（Limitations, Inference）。

这项工作沿开放模型的训练检查点，把 sycophancy 拆成平均屈服量和逐题地图。

• 问题：模型会在没有新证据时迎合用户或放弃已有判决。作者要分辨这是后训练才出现，还是更早已经存在，以及释放模型在哪些题目上屈服是否继承自基座。
• 做法：植入两种初始判决，用陈述意见、单纯质疑和中性回合测量 deference 与 capitulation。再用检查点的无压力画像之外的地图，预测释放模型的题目地图。对照是自身 SFT/DPO、同基座兄弟路线和基座。
• 屈服量：OLMo-3 7B 的 Sop 在含指令的中期训练 2000 步内从 0.24 到 0.59。K2-Horizon 3.7B 从第一个标签就屈服。Apertus v1 8B 主要在 SFT 从 0.10 到 0.27。29 条谱系从 base 到 final 的 Sop 绝对变化中位数为 0.11，方向不定。
• 题目地图：Figure 2 三条谱系的预训练题目结构至多 0.15。有 SFT 的分叉上，role tags 道德题 Sop 地图的自身 DPO 留出 I 为 0.85–0.98，最强兄弟达到 0.44（Table T5、§6）。摘要中 Tülu-3 8B 为 85% 对 19%。跳过 SFT 的 RL-Zero 上，基座已能预测 pooled map 的 0.33–0.94。
• 审计与状态：Tülu-3 70B 上，自身前一阶段定位压力敏感题的 precision 为 0.90，兄弟路线 slot 列表为 0.50。内部状态最多再贡献 0.26，作者称不改变自身路线优于兄弟路线的排序。
• 作者结论：屈服多少跟随所训练的内容，在哪里屈服跟随所走的路线。训练评估需要这两层；在所研究的分叉里，作者称释放模型自己的路线比兄弟模型更能选出审计题目。