研究：在线 RL 行为归因信号可能被梯度大小与流畅度混淆

在线 RL（GRPO）微调后，梯度训练数据归因能否定位真正教出某一行为的 rollout，以及表观信号有多少来自混杂。

• 场景：作者称 RL 微调可能教出无人要求的行为，包括看起来无害的奖励带来的涌现失对齐，因而要问哪些训练 rollout 造成了给定行为。梯度工具包括 influence functions、TracIn、TRAK 和重归一化的 GAS；作者称它们主要在静态和监督学习设置下验证，在线 RL 中能否定位行为基本未经检验。
• 现有缺口：作者转述 Xiao 与 Aranguri（2026）：探针归因能否延伸到 RLHF 和 SFT 尚未检验，并称这是本文所在缺口。作者称 Vetter 等（2026）建立的是相关而非因果贡献；Blank 等（2026）发现谄媚分散、难以过滤。
• 做法：发布评估工具 BehaviorTrace。在 GRPO 上植入原因已知的行为：隐藏触发把 nonce 提示 “frobnitz” 映到 nonce token “QZXBT”。作者不提出新估计器，而是检验已有估计器，并把发现收成评估清单。
• 作者的初步结论：三颗种子上，大量表观信号来自混杂。无行为目标的梯度大小对照即可复现大部分步级精度；饱和检查点上，流畅度至少不差于所比较的梯度方法；控制流畅度后，逐 rollout 结果随种子和生成抽样翻转。作者称三颗种子上都成立的一条信号是：触发 token 的梯度与行为实际出现处构造的目标对齐。

作者评估的是已有梯度估计器在在线 RL 中的表现，不提出新估计器。

梯度训练数据归因

• Influence functions 与 TracIn：Koh 与 Liang（2017）用逆 Hessian-向量积估计训练点效应；Pruthi 等（2020）的 TracIn 把各检查点的梯度内积累加。
• TRAK、GAS 与 RelatIF：Park 等（2023）的 TRAK 对随机投影梯度做白化。Hammoudeh 与 Lowd（2022）的 GAS 重归一化 TracInCP；作者引用其论点，即估计器否则会过度依赖高损失样本和迭代（并见其 2024 综述）。Barshan 等（2020）的 RelatIF 用相对影响追求同一目的。作者称本文的跨步 cosine 就是 GAS，TRAK-style 是 TRAK 的白化近似。
• 草图与幅度混杂：全梯度嵌入是 CountSketch（Charikar 等，2002），并沿用 Schioppa（2024）一类用于归因的梯度草图。作者称 P1 是 Hammoudeh 与 Lowd（2022）大损失主导失败在在线 RL 中的尖锐化：标准差归一化的 GRPO 下，一步的梯度大小跟踪有多少组发生变异，植入污染正好制造这种变异。

LLM 行为与涌现失对齐

• 探针归因：Xiao 与 Aranguri（2026）用探针做事后训练不良行为的数据归因，并写明能否延伸到 RLHF 和 SFT 未经检验。作者称这是本文所在的缺口。
• 相关与分散原因：作者称 Vetter 等（2026）把涌现失对齐归因到激活人格特征的文档，建立的是相关而非因果贡献，leave-out 针对这一点。Blank 等（2026）发现谄媚分散在偏好集中，探针归因若不删除大量数据就无法滤除；作者称这支持边界条件框架，以及需要集中、可找到的植入原因。
• 无害奖励下的放大：作者称 Jørgenvåg 等（2026）显示 RL 可放大来自无害奖励的涌现失对齐，且 GRPO 学会该行为需要大约 100 例 SFT 热身；本文同样需要短热身（10 例，200 步）。

在线 RL 归因

• local-buffer：Hu 等（2025）提出在线 RL 的局部缓冲归因框架，作者用作结构基线。作者称先前梯度归因多在静态和监督设置评估，且作者称未见报告跨种子与生成抽样变异的 RL 归因评估，而 P6 就在这里。

基线与评测环境：步级比较 cosine（GAS）、dot、TRAK-style、TracInCP、norm-only、local-buffer、random；rollout 级另有流畅度基线（平均 token 对数概率）。评测环境是自建植入行为与 BehaviorTrace，不是外部命名基准。

作者的定位是：在在线 RL 里评估这些已有估计器，而不是提出新的；并加入幅度、流畅度、多种子与多抽样对照，收成清单。

BehaviorTrace 在 Qwen2.5-1.5B-Instruct 的 GRPO 上，用原因已知的植入行为检验已有梯度归因，不提出新估计器。真值是早期被加成的 rollout。

植入行为与训练

• 日程：200 步 SFT 热身（10 个 frobnitz 到 QZXBT 例子）后 1,000 步 GRPO；batch 4；每组 G=4；学习率 5×10−6；优势标准差下界为 0。
• 污染器：只在步数低于截止 200 时，对合格且含 QZXBT 的 rollout 加 bonus 8。合格按固定比例逐 rollout 抽样，污染比例 0.5。作者称早期窗口加稀疏合格是故意的，因为只有存在可找到的原因才能检验归因。
• 行为量：sb 是 20 条留出探针（含 “frobnitz”，但不指示发出 QZXBT）中回答含 QZXBT 的比例。最终检查点 sb>0.1 则通过涌现门。配置另写 20 条探针加对照。作者写明行为不是仅由 RL 植入：SFT 先种下关联，RL 再强化；“加成 rollout 造成了它”相对该种子起点。
• 相近设置的 leave-out：同一污染器、比例 0.5、bonus 8、200 步 SFT、1000 步 GRPO，但污染贯穿全程，且早于完整性检查，没有 fresh-start 与全计数审计。去掉加成真值后，种子 0、1、2 的下降量为 Δsb=+0.350、+0.150、+0.300；去掉等量随机非真值集则每颗种子 Δsb=0.000。作者称种子 0 上去掉真值后 sb 仍约 0.65，+0.350 是 RL 污染加上的部分；要点是因果特异性。作者称该行为反事实独立于梯度嵌入，不受 P3 影响。

全梯度嵌入

• CountSketch：每个坐标经其全局索引的 splitmix64 终结器得到桶和符号，scatter-add 进 65536 个桶，使相邻参数不相关。作者称内积被保持，因而 dot 与 cosine 仍可用；每个坐标都进入草图，局部在少数参数上的信号不会被漏掉。
• 不再投影：归因直接在 65536 维草图空间进行。作者称若再投影到 d=128，cosine 噪声量级约为 1/√d≈0.09，与信号相当。
• 替换的错误捕获：更早实现只取展平参数的前 65536 个，作者称大约只覆盖前 43 行 token embedding，完全不含触发 token（P3）。

估计器、目标与对照

• 已有估计器：cross-step cosine（GAS）与 dot，是 rollout 梯度嵌入与行为目标的相似度；cosine 形式即重归一化 TracInCP。TRAK-style 用对偶形式，使被评分 rollout 数 R 的 R×R 求解在 65536 维可行。作者称这不是完整 TRAK：没有对投影或检查点做集成，也没有输出函数加权。另评 TracInCP。
• 对照：norm-only 只按梯度嵌入范数排序，没有行为目标。local-buffer 为结构基线，另有 random。rollout 级还有流畅度基线。
• 三种目标：构造续写（回复开头追加触发 token）；in-context 目标（QZXBT 在模型回答中实际出现处的梯度）；最小对对比目标（含触发词的句子梯度减去同一句子换中性词的梯度，teacher-forced，使流畅度抵消）。

指标、逐 rollout 捕获与清单

• 步级：在 |GT| 处的 tie-aware fractional precision。一步的梯度把该步全部 rollout 绑成平局。另有基率下界 |GT|/N、相对随机的 lift，以及步粒度上界。
• rollout 级：组内 AUC，即同一组内是否把行为 rollout 排在非行为兄弟之上，并对组做 bootstrap 置信区间。方向分数是组内中心化梯度嵌入与最小对目标的 cosine，即 Table 3 的 GAS (group-centered)。
• 流畅度控制：组内回归去掉流畅度，以及限制到流畅度匹配的配对。逐 rollout 损失与 GRPO 后端相同：仅 completion token，排除 prompt，EOS 掩码，长度归一化，并放进同一函数。优势加权变体是优势乘普通梯度，作者称草图是线性的。日志存哈希不存文本，故用检查点上新生成的兄弟样本；分析点为 step 100。
• 清单：作者在第 6 节列出六项，并称 BehaviorTrace 实现了每一项：无目标的梯度幅度对照；预注册阈值前先看 ceiling、chance 与余量；全梯度嵌入须覆盖行为的参数和 token；用行为出现处的 in-context 目标；流畅度与 on-policy 基线，并在读出时残差化或匹配；多种子与多次生成抽样。

实验设置

• 模型：只测 Qwen2.5-1.5B-Instruct。种子 0、1、2，每颗为全新重建加最小对运行。作者写明参数至多 1.5B。
• 训练：200 步 SFT 后 1,000 步 GRPO；batch 4；G=4；学习率 5×10−6；污染比例 0.5；bonus 8；早期截止 200；优势标准差下界 0。
• 探针与检查点：20 条留出触发探针。逐 rollout 分析在 step 100。rollout 级用检查点 0、1、2，检查点 0 和 1 另有两次诊断抽样。行为标签是回答是否含 QZXBT。论文未报告 LLM 评审模型。
• 比较对象：步级为 cosine（GAS）/dot、TRAK-style、TracInCP、norm-only、local-buffer、random，并给出 chance 与 ceiling。rollout 级在流畅度控制后比较 GAS（组中心化）与 norm-only，另有平均 token 对数概率基线。
• 区间与预注册：Table 3 的 95% 区间是 run-notebook bootstrap。方向需同时干净超过随机和幅度，宽度上限 0.15。token 级预注册条是 in-context 下界高于 0.05，且构造目标上界低于 0.05。Table 4 的重跑温度为 0.9。
• 步级重复：精度按三颗种子报告。论文未另写步级精度的重复次数。

主结果

据 Table 1。Qwen2.5-1.5B-Instruct，三颗种子，总体步级 tie-aware precision at |GT|。dot 与 cosine 在每颗种子上三位小数相同，故共一行。ceiling 未列入下表。

表格较宽，可左右滑动

方法	seed 0	seed 1	seed 2
cosine (GAS) / dot	0.404	0.383	0.421
TRAK-style	0.399	0.384	0.415
TracInCP	0.402	0.392	0.413
norm-only	0.422	0.396	0.385
local-buffer	0.000	0.000	0.000
random	0.087	0.100	0.081
chance	0.094	0.094	0.086

• 作者解读：摘要称无行为目标的梯度大小对照达到随机的 4.2 到 4.5 倍，并在三颗种子中的两颗上持平或超过定向估计器里精度最高的那个。第 4.1 节另称全体定向估计器与 norm-only 约为随机的 4.1 到 4.9 倍。Table 1 的 ceiling 为 0.582、0.572、0.551。Figure 1 左图注称各定向估计器与 norm-only 高于 chance、低于该上界，local-buffer 为零，random 在 chance。
• local-buffer 为何在总体表中为零：作者称它选的是不含早期真值的晚期窗口。Table 2 的训练窗口内，它与该表 chance 行相同；附录把该窗口导出值写为 0.4716、0.4678、0.4322，与 chance 一致。
• 窗口内没有余量：作者称 Table 2 中包括 random 在内的每种方法都落在各自基率约 0.03 以内；上界只略高于 chance，可实现余量仅约 0.11。Figure 1 右图注称 random 的条为 +0.003 到 +0.010。作者的解读是：步级归因识别哪些步在训练，而不是哪些 rollout 携带行为。

逐 rollout：流畅度与单次不稳定

• 原始排序：饱和分析检查点上，组内流畅度基线（平均 token 对数概率）不低于同一次抽样里的每个梯度 AUC，三颗检查点都如此。seed 2 预注册抽样有 882 对，排序为流畅度 0.724、norm-only 0.721、GAS 0.669、普通 cosine 0.652。更早诊断抽样中，检查点 0 的流畅度为 0.780 和 0.803，检查点 1 为 0.793；作者称梯度 AUC 约在 0.49 到 0.73，有功效的诊断里中心化对比 AUC 为 0.725。检查点 2 饱和最低（QZXBT 占 82%，对照 91% 到 93%），流畅度 AUC 也最低。作者称这与 P5 一致：标签去饱和后混杂变弱。
• 残差化之后：组内线性残差化，加匹配配对（种子 0、1、2 为 87、86、136 对，仅 seed 2 达到 100），目标为最小对。Table 3 的 GAS 为 0.486 [0.415, 0.570]、0.624 [0.548, 0.700]、0.629 [0.573, 0.688]；norm-only 为 0.726 [0.655, 0.787]、0.524 [0.428, 0.615]、0.737 [0.684, 0.789]。作者称幅度在 seed 0 分开，方向在 seed 1 分开，二者在 seed 2 都分开。
• 预注册未成立，且抽样会翻案：作者称“方向同时干净超过随机和幅度”在三颗种子上都不成立。seed 0 方向在随机水平；seed 1 方向高于幅度且区间在 0.5 以上，但宽度 0.152 超过 0.15，计为不确定；seed 2 方向高于随机但低于幅度。seed 1 的新抽样给出方向 0.526，区间含 0.5，翻转该种子自己的 0.624；seed 0 为 0.486 然后 0.446。五次抽样的 GAS 方向为 0.486、0.446、0.624、0.526、0.629。三颗种子都过涌现门，但 20 条探针上的 sb 为 1.000、0.400、0.700。Figure 2 图注称组内区间低估真实不确定性。

token 级方向

• 测了什么：触发 token 梯度与各目标的 cosine（Table 4，温度 0.9，95% 区间）。
• 数字：in-context 为 +0.230 [0.211, 0.248]、+0.114 [0.104, 0.124]、+0.295 [0.257, 0.334]，每个下界都高于 0.05。构造目标为 −0.027 [−0.040, −0.012]、+0.002 [−0.006, 0.011]、−0.111 [−0.139, −0.083]，seed 2 上反对齐。预注册的区间不重叠条件在三颗种子上都满足。
• 作者解读：作者称这是模式主张而非效应量主张，可信之处是三颗种子都重复，而不是任一区间的宽度。作者称方向在整段回答的逐 rollout 梯度里丢失，因为行为 token 只占长回答的一小部分，幅度和流畅度占主导。保留意见：触发词是单个绑定的输入/输出 embedding token。

相近设置的 leave-out

• 测了什么：污染贯穿全程的更早设置上重训。作者写明该设置早于 run-integrity 检查，没有 fresh-start 与全计数审计，也不是主实验的早期窗口。
• 结果：去掉加成真值后 Δsb 为 +0.350、+0.150、+0.300；去掉等量随机非真值集为每颗种子 0.000。作者称种子 0 上去掉真值后 sb 仍约 0.65。
• 作者解读：作者称去掉真值有影响、去掉随机集没有，因此污染机制有因果特异性；主实验复用同一污染器。

其他消融与分析

• P1 的检查点依赖：控制流畅度后，norm-only 从检查点 0 的 0.726 和 0.667 变到检查点 1 的 0.524 和 0.581；作者称这不列入跨检查点成立的 rollout 级发现。
• 附录导出区间：seed 2 的 norm-only 导出为 [0.684, 0.790]，notebook 为 [0.684, 0.789]；GAS 下端导出 0.561 对 notebook 0.573，差 0.012（当时 600 次重抽样；导出现用 5,000）。论文引用 notebook 区间。
• 文件记录的两次新抽样：checkpoint 0 / gen 100 的 GAS 为 0.446；checkpoint 1 / gen 101 的 GAS 为 0.526。
• 被排除的运行：完整性检查发现一次部分恢复的种子从中途检查点续训，混合了两次运行的检查点与真值文件，已排除。

作者指出的局限与后续方向

• 模型与样本（第 7 节）：一个模型族 Qwen2.5-1.5B，参数至多 1.5B；三颗种子。rollout 级在检查点 0、1、2，检查点 0 和 1 另有两次诊断抽样，都在 step 100，行为约 82% 到 93% 饱和。一个植入 token。用新生成兄弟样本，不是真实训练 rollout，因为日志存哈希不存文本。
• 估计器（第 7 节）：只有 cross-step cosine（GAS）在逐 rollout 上做了流畅度控制；TRAK 与 TracInCP 的 rollout 级未测。作者称步级对所有估计器都缺少余量，因而无信息。
• 算法（第 7 节）：只有 GRPO。幅度机制特定于标准差归一化的组相对优势，作者称在 PPO 或 DPO 下可能不同。至多 1.5B 被写成预算约束。
• 表面可标记（第 7 节）：作者称字符串匹配、优势及其乘积几乎能按构造复现真值，因此植入 token 的结果界定的是机制，而不是归因在没有表面形式的行为上额外提供的价值。作者称贡献因此是无余量和流畅度混杂，而不是头对头精度。
• token 级线索与监督种子（第 7 节、第 6 节）：token 级正结果用绑定 embedding 行，作者称是线索不是已验证方法。行为是从 SFT 热身被 RL 强化，不是仅由 RL 植入。第 6 节未来工作：行为铺在整段回答上（如谄媚）时信号是否还在，作者称为开放问题。
• 流畅度形式与时间点（第 7 节）：流畅度控制是组内线性残差化加匹配配对，仅 seed 2 有功效；作者称非线性流畅度依赖可能残留。全部逐 rollout 结果来自 step 100，其他步未做逐 rollout 分析。

实验覆盖范围

• 被测模型为 Qwen2.5-1.5B-Instruct，种子 0、1、2（第 3.1 节、第 7 节）。
• 步级比较了 cosine（GAS）/dot、TRAK-style、TracInCP、norm-only、local-buffer、random，总体与训练窗口分别在 Table 1、Table 2。
• rollout 级流畅度残差化 AUC 报告了 GAS 与 norm-only（Table 3）。行为判定是回答是否含 QZXBT，探针 20 条。论文未报告 LLM 评审模型。
• token 级 cosine 在三颗种子上比较了 in-context 与构造目标（Table 4，温度 0.9）。
• leave-out 的 Δsb 来自污染贯穿全程的相近更早设置；作者写明它早于 run-integrity 检查，没有 fresh-start 与全计数审计（第 3.1 节）。

BehaviorTrace 用原因已知的植入行为，检查在线 GRPO 里已有梯度归因能否找到教出该行为的 rollout。

• 问题：作者要分辨的是，在线 RL 教出行为后，梯度归因报出的训练步或 rollout 有多少来自行为方向，有多少来自梯度大小和流畅度。
• 做法：Qwen2.5-1.5B-Instruct 上，10 例、200 步 SFT 种下 frobnitz 到 QZXBT 后，前 200 步以比例 0.5、bonus 8 加成合格 rollout，再跑 1,000 步 GRPO。全梯度 CountSketch（65536 维）上比较 GAS、TRAK-style、TracInCP 与 norm-only、local-buffer、random 和流畅度基线。不提出新估计器。
• 步级：Table 1 上，定向估计器与 norm-only 都高于 chance、低于 ceiling。摘要称无目标的梯度大小对照达到随机的 4.2 到 4.5 倍，并在两颗种子上持平或超过精度最高的定向估计器；第 4.1 节称全体方法约为 4.1 到 4.9 倍。训练窗口内，作者称包括 random 在内都落在各自基率约 0.03 以内。
• rollout 与 token：882 对的 seed 2 预注册抽样上，流畅度 AUC 为 0.724，GAS 为 0.669。Table 3 残差化后 GAS 为 0.486、0.624、0.629，norm-only 为 0.726、0.524、0.737；二者互换，预注册标准在三颗种子上都不成立。Table 4 的 in-context cosine 为 +0.230、+0.114、+0.295，构造目标近零或为负。
• 作者结论：作者称所测估计器在幅度或流畅度对照之外不能稳定定位负责任的 rollout；作者把单次运行不稳定（P6）称为最可操作的发现，并给出六项评估清单。相近全程污染设置的 leave-out 中，去掉真值的 Δsb 为 +0.350、+0.150、+0.300，随机集为 0.000。