研究用训练数据归因量化微调数据对涌现性失准的影响

窄域有害微调诱发的涌现失调（emergent misalignment, EM）中，各有害样本的贡献是否相同、不同模型是否被同一批样本同等影响，并不清楚。

• 场景与重要性：作者指出，在有缺陷代码、错误医疗建议或奖励投机片段上微调，会使模型在与微调无关的情境中给出有害回答。作者认为这不只是额外微调带来的对齐退化，因为同一数据集的良性变体不会产生可比的失调（Wang et al., 2026）。Turner et al. (2025)、Wang et al. (2026) 与 Soligo et al. (2025) 报告该现象可在不同模型家族、数据集和参数更新秩上复现，从全量微调到 rank-1 LoRA 都有。
• 现有做法的不足：作者认为现有 EM 工作把数据分成良性或有害，不区分哪些有害样本更重要，也不问不同模型是否同意这一区分。机制上，一种解释是 EM 数据集激活或加强了更早训练阶段学到的有害 persona 表征（Wang et al., 2026）；Kaczér et al. (2026) 评估训练中正则，作者称没有任何方法能在保持窄域失调的同时完全阻止涌现失调。
• 核心观察：作者用归因分数过滤后重训来检验分数质量。引言报告：去掉 20% 有害样本，失调率可以下降 5 个百分点或上升 10 个百分点，取决于去掉哪些序列；选出 5% 有害数据训练，失调率最高可达 60%，另一组 5% 只有 20%。作者认为模型大体同意哪些样本有害，但最有影响的样本随模型家族和规模而不同。
• 本文做法：用训练数据归因（training data attribution）定量估计每个有害样本对 EM 的贡献，并在错误汽车、职业、教育建议数据上做过滤与重训。作者列出四点：并非所有有害样本带来同等失调；哪些样本造成最多失调取决于模型；归因可以找到这些点并估计相对影响；估计的影响是一条重要性梯度，而不是只分开“很有影响”和“不太有影响”。

论文把相关工作分成四组，并在引言里点出 persona 解释与训练时减缓。

• 理解涌现失调：Betley et al. (2025b) 引入 EM，并观察到若明确告知坏代码是为教育目的生成，模型不会涌现失调，该发现后被 inoculation prompting 加强（Wichers et al., 2025; Tan et al., 2026）。Wang et al. (2026) 显示，推理时干预 “evil” persona 特征可以增减失调，但不能完全消除。Soligo et al. (2025) 显示失调行为可用单个 rank-1 LoRA 适配器恢复。
• 训练时减缓 EM：Soligo et al. (2026) 用 KL 散度项实现窄域失调而不出现一般失调。Kaczér et al. (2026) 把专门挑选的良性数据混入训练以降低失调。Casademunt et al. (2025) 在训练中做概念消融，模型仍学窄任务，但失调行为更少。
• 用数据归因减缓 EM：作者称，据其所知，本文是最早显示影响函数近似可以找到会增加失调的数据的工作。后续的 Kowal et al. (2026) 用影响函数近似在 EM 设置和真实数据中把有害数据与无害数据分开。Xiao & Aranguri (2026) 显示，在 “production” 数据集上做数据过滤，是后训练后降低失调的有效工具。
• 数据中心视角：Wang et al. (2026) 用 persona 视角研究 EM。Askin et al. (2026) 认为有害样本微调并不均匀地诱发失调，而与数据集结构性质、以及任务相对模型的难度有交互；作者称他们的设置比本文更人工。

基线方法是 WildGuard（Han et al., 2024），一个对有害用户问题和模型回答的黑盒分类器；作者用其对数概率作为有害性代理。基准/数据集是 Wang et al. (2026) 的错误汽车、职业、教育建议，评测问题来自 Betley et al. (2025b) 并加上 Wang et al. (2026) 的额外问题。归因实现使用 Bergson（Quirke et al., 2026），Hessian 近似用 EK-FAC（George et al., 2018），梯度余弦相似度的做法接近 TracIn（Pruthi et al., 2020）。

作者把本文定位为数据中心的视角：问哪些训练样本造成 EM，并称把数据只分成良性或有害过于简化。相对 Askin et al. (2026)，作者称对方设置更人工。相对后续的 Kowal et al. (2026) 与 Xiao & Aranguri (2026)，作者把本文放在“用影响函数近似找到会增加失调的数据”这一问题上，并称据其所知这是最早的此类结果。

作者用 训练数据归因估计每个错误建议样本对“模型给出有害补全”这一行为的影响，再用按分数过滤后的重训检验分数是否能增强或减弱 EM。

问题设定与微调

• 数据：使用 Wang et al. (2026) 的错误或不安全汽车（auto）、职业（career）、教育（edu）建议。每个数据集有 6000 条错误建议；取 5900 条训练，留出 100 条做评测。
• 训练：用 PeFT 做监督微调，用户提示词上的损失被 mask。在全部线性模块上用 rank 32 RsLoRA。优化器为 Adam，batch size 16，weight decay 0.01。学习率先线性预热 10 步到最高 1e-4，再线性衰减到 0。训练一个 epoch。
• 模型：多数实验用 OLMo 3 7B-SFT。另有 Qwen 2.5 1.5B、3B、7B、14B，Qwen 3 4B、8B、14B，以及 Llama 3.2 1B、3B 和 Llama 3.1 8B。

失调评测与成功判定

• 提示与评审：用 Betley et al. (2025b) 的简单问题，加上 Wang et al. (2026) 的额外问题，共 44 个提示。每个提示采 10 个补全，由 Qwen 3 32B 打分，分数从 0 到 9。作者报告该分数与 GPT-4.1-mini 的 Pearson 相关约为 0.9。附录 A.1 给出问题列表和评审提示词。
• 阈值：分数低于 3 视为失调。作者称阈值略高或略低，或改用平均分，结果在定性上相同。基础模型很少得到低于 3 的分数。
• 题目分组：分为 Everyday interpersonal advice、Persona and worldview、Safety and Harm。作者称模型更常对 Safety and Harm 给出失调回答，Persona and Worldview 相对训练集最超出分布（Figure A2）。

影响估计

作者要估计单个样本对“有害补全”行为 ϕ 的影响。影响函数文献把该影响写成逆 Hessian-向量积：

(dϕ)/dw_m=−∇_θϕ(θ^∗)^⊤ H⁻¹∇_θℓ(θ^∗,z_m)

其中 θ∗ 为全局极小，H 为损失的 Hessian。实现上用 Bergson 计算归因分数。

• 行为梯度：在已失调模型上对 EM 评测提示采样补全，由评审打分，再用类似 GRPO 的损失计算梯度。每题 10 个补全，分数相对题内均值中心化，中心化分数作为补全梯度的权重。作者称这样对齐与失调补全符号相反，梯度对比的是失调程度，而不是所有回答共有的特征。
• 两种近似：EK-FAC 经 Bergson 近似 Hessian。作者也偏离传统影响函数，改用梯度余弦相似度，接近 TracIn，但梯度只在最后一个检查点计算，不做训练过程平均，并且用余弦相似度而不是点积。每个模块的梯度先用 256 维随机矩阵降维。因为是 LoRA，只对适配器参数求梯度。

过滤、重训与对照

• 验证方式：按影响分数滤掉最有影响或最无影响的点，在过滤后的数据上重训。每个过滤实验用 4 个初始化种子和 3 种数据打乱，共 12 个种子。
• 黑盒基线：WildGuard 把这些失调训练样本都判为 “unsafe”。作者发现其底层对数概率仍含有哪些点更不安全的信号，并把它当作有害性代理。作者称这些对数概率并未针对该任务校准。
• 查询集：作者检查评测题类型是否主要影响对应评测题，以及用留出问题会不会让影响估计变差。Figure A3 中，只用一半评测集构造查询、仍在全评测集上评估，行为与用全评测集相同。Figure A4 中，查询在不同类型之间有一定迁移。附录 A.4 给出部分训练样本。

主实验是去掉训练数据的若干比例，或只保留若干比例，比较“最有影响”与“最无影响”筛选下的失调率；随机删除作为对照。作者还把数据按分数分成互斥的 10% 箱，检查排序是否在全分布上有效，而不只在两端。

实验设置

• 被测模型：主实验为 OLMo 3 7B-SFT。跨模型实验包括 Qwen 2.5 1.5B、3B、7B、14B，Qwen 3 4B、8B、14B，Llama 3.2 1B、3B，Llama 3.1 8B。评审模型为 Qwen 3 32B。Figure 4 的横轴标签与正文的 Qwen 2.5 1.5B 写法不完全一致，图上写作类似 “n2.5 1B” 到 “n2.5 14B”、Qwen 3 4B/8B/14B、Llama 3.2 1B/3B、Llama 3.1 8B、OLMo 3 7B。
• 数据：三个错误建议集各 6000 条，训练 5900、留出 100。主图聚焦错误职业建议，其余数据集在附录或汇总统计中。另有一个 50% 坏建议加 50% 好建议的设置（Figure A5）。
• 微调：rank 32 RsLoRA，Adam，batch size 16，weight decay 0.01，学习率预热 10 步至 1e-4 后线性衰减到 0，一个 epoch。
• 指标：失调补全率，定义为评审分数低于 3 的补全比例。另报告去掉最有影响与最无影响 20% 之后的失调率差距、分箱之间的平均升幅、Spearman 相关，以及好坏建议混合时识别坏建议的 AUC。
• 评审：44 个提示，每提示 10 个补全。Qwen 3 32B 给出 0–9 分，取 top 10 logits 的加权平均。与 GPT-4.1-mini 的 Pearson 相关约为 0.9。阈值换高、换低或改用平均分时，作者称定性结果相同。
• 重复：每个过滤实验 4 个初始化种子 × 3 种数据打乱，共 12 个种子。同模型不同种子的影响分数 Spearman 相关为 0.75–0.85。

主结果

主结果来自图，不是表格。职业建议、OLMo 3 7B 上，全量训练的失调率约为 45%（Figure 1 左）。

表格较宽，可左右滑动

设置（职业建议，OLMo 3 7B）	去掉最有影响 20%	随机去掉 20%	去掉最无影响 20%
EK-FAC / 影响函数	约 40%（降约 5 个百分点）	几乎不变	近 55%（升近 10 个百分点）
WildGuard	作者称无显著变化	未报告	约 47%

表中“约”来自 Figure 1 图注的读数，论文未给出精确到小数的表。

• 作者解读：随机去掉至少 20% 可以不改变失调率，说明有害样本贡献并不均匀。WildGuard 的安全评分捕获了部分影响，但没有完全捕获。Figure 1 右：在三个数据集上，影响函数近似在去掉最有影响与最无影响 20% 之间造成更大的失调率差距；EK-FAC 与梯度相似度差距不大，EK-FAC 略好。
• 只保留少量数据：Figure 2 左，只训 1% 不足以诱发可观失调；只训 5% 已大致恢复全量数据的失调率，随机选择时甚至可以略高于全量。继续加数据会降低失调率，WildGuard 上这一效应更明显。只训 WildGuard 认为最不有害的 5%，比只训最无影响的 5% 略更失调。Figure 2 右给出三个数据集上、只保留 20% 时最有影响与最无影响的差距。
• 窄域与重复：只训最无影响的 20%，窄域失调从约 95% 降到略低于 80%。若重复数据以保持梯度更新次数不变，最有影响的 1% 恢复大部分失调率，最无影响的 1% 几乎不提高（Figure A8）。重复数据以保持训练步数不变时，过滤结果几乎无差别（Figure A7）。训练样本的损失或长度预测力不强（Figure A6）。

全分布分箱与属性

• 测了什么：按影响分数把训练数据分成互斥的 10% 箱，每箱单独训练（Figure 3）。
• 结果：失调率不是预测影响的严格递减函数，但在整个谱上，更有影响的箱带来更高失调。相对随机基线，最无影响的 10% 使失调率下降 20 个百分点，最有影响的 10% 上升 20 个百分点。右图为相邻箱的平均升幅；WildGuard 也有分级，平均斜率多小于归因。
• 作者解读：分数可能代表全分布而不只是两端，前提是样本影响确实有差别。这些数据集诱发失调的方式并不均匀，所用有害性过滤器没有很好地捕获该影响。

跨模型是否同意

• 测了什么：在 Qwen 2.5、Qwen 3、Llama 3 上复现 20% 过滤，归因方法改为更快的梯度余弦相似度。再把其他模型的分数用于微调 OLMo，以及 Qwen 3 8B、Llama 3.1 8B。
• 结果：Figure 4 中，去掉最有影响 20% 的失调率始终低于去掉最无影响 20%；差距有时小于 Figure 1 的 OLMo，但多数模型上大于 WildGuard。汽车建议上多数模型的 Spearman 相关为 0.3 到 0.6；职业和教育建议上相关可以为负（Figures A10–A12）。Figure 5：用 Qwen 2.5 7B、Qwen 3 8B 或 Llama 3.1 8B 的分数去过滤并训练 OLMo 3 7B，大体被 OLMo 自己的分数 Pareto 支配；右图中多数来源模型造成的差距小于 OLMo 自身。Qwen 3 8B（Figure A13）和 Llama 3.1 8B（Figure A14）有同样趋势。Figure A15 中，作者称没有特别强的家族内趋势。Qwen 2.5 上，1B 对 3B、3B 对 7B、7B 对 3B、14B 对 7B 迁移最好；这些迁移不对称，14B 到 7B 只恢复 7B 自身差距的一半（Figures A16、A17）。Figure A17 的格子给出 Qwen 3 家族内、按数据集分开的过滤差距（单位为百分点）及配对数 n，例如职业建议上 8B 目标、8B 来源为 +10.8 pp（n=20）。
• 作者解读：所有被测模型在这些数据集上都会失调，但绝对最有影响和最无影响的样本并不对所有模型相同。跨模型分数有一定一致，却对不上最极端的点，因而恢复不了同源过滤的效果。

其他消融与分析

• 好坏建议混合（Figure A5）：50% 坏建议加 50% 好建议时，WildGuard 识别坏建议的 AUC 为 0.9998，EK-FAC 为 0.9171；尽管如此，EK-FAC 过滤更好，WildGuard 此时改变失调率的幅度可与 EK-FAC 相当。
• 语义量表（Figure 6）：作者假设样本在错误程度、伤害潜力、用户脆弱性、隐蔽性和模型置信上不同，用 LLM 评审打这些轴。右图 Spearman：错误程度在汽车/职业/教育上为 0.39、0.34、0.25；过度自信为 0.34、0.31、0.24；隐蔽性为 0.21、0.11、约 0；脆弱性为 0.11、0.14、0.03；伤害潜力为 0.13、0.22、0.09。左图中按这些量表选数据，失调率变化不如影响函数极端。
• 查询集（Figures A3、A4）：用 22、36 或 44 个问题构造归因，过滤表现相近；只用三类问题中的一类，对对应题目的过滤略好，幅度不大。
• 基础模型对照（Figure A1）：基础 OLMo 3 7B 在评测补全上超过 95% 被判为对齐；错误建议微调后，失调补全概率高于 40%。
• 逐题差异（Figure A2）：OLMo 3 7B 在错误职业建议上微调后，44 题的失调率差异大；Safety and Harm 通常最高，窄域之外的题目也有可观失调。
• 分数分布：附录 A.1 中，去掉评审提示里担心模型对人类有害的那句，分数没有实质变化，作者因此保留该句以与文献一致。

作者指出的局限与后续方向

• 未解释原因：结论称，梯度归因和影响函数近似可以找到训练后提高或降低失调率的数据，因而可作为调查工具；但不幸的是，它没有说明这些样本为什么更有影响（Conclusion）。
• 样本交互：同一节称，该方法也不能告知在特定类型样本上一起训练时可能存在的交互（Conclusion）。
• 没有令人信服的数据特征假设：作者称尚未得到一个令人信服的假设，说明数据的哪种特征会在训练后提高失调率。量表与影响分数在建议的错误程度和断言性上有一些相关，但按量表分数做的重训不如基于影响的过滤（Conclusion）。
• 跨家族证据：作者称没有发现同家族模型更一致的明确证据，但这可能来自影响计算方式的特点，因为不做昂贵的重训就得不到任一给定样本的真实影响（Conclusion）。
• WildGuard 作为基线：第 4 节称，WildGuard 把全部训练样本判为有害，其对数概率并未针对该任务校准，作者认为可能存在更好的有害性基线。这是实验讨论中的判断，不是 Limitations 专节中的表述。

论文没有单独的 Limitations 或 Future Work 专节，上述条目来自 Conclusion 以及第 4 节对基线的说明。

实验覆盖范围

• 模型与数据：被测并微调的模型为 OLMo 3 7B-SFT、Qwen 2.5 四个规模、Qwen 3 三个规模、Llama 3.2 1B/3B 与 Llama 3.1 8B；数据为 Wang et al. (2026) 的错误汽车、职业、教育建议，每集 6000 条中的 5900 条用于训练。
• 评测协议：44 个问题，每题 10 个补全，Qwen 3 32B 以低于 3 分判失调；作者报告与 GPT-4.1-mini 的 Pearson 相关约为 0.9（Section 3.2、附录 A.1）。
• 过滤重复：每个过滤实验 12 个种子（4 个初始化 × 3 种打乱）。主图为职业建议，汽车与教育出现在 Figure 1–3 的右图和附录。跨模型主分析用梯度余弦相似度，因作者称它比 EK-FAC 快，且在 Figure 1、2 中与 EK-FAC 大体一致。
• 迁移与相关：同源过滤与跨模型过滤都做了重训（Figure 5、A13–A17）。汽车建议上跨模型 Spearman 为 0.3–0.6，职业与教育上可以为负；同模型不同种子为 0.75–0.85。Qwen 3 家族内热图按来源规模、目标规模和数据集给出差距及配对数 n（Figure A17）。
• 论文未报告的量：论文未报告单次归因或单次重训的查询次数与耗时。结论写明，不做重训就没有单个样本影响的真实值。

EleutherAI 用训练数据归因考察错误建议微调中，哪些样本推动涌现失调。

窄域有害数据上的微调会使模型在无关问题上也给出有害回答。作者问的不是 persona 机制本身，而是各有害样本是否同等重要、不同模型是否认同一批样本。

做法是在各 5900 条错误汽车、职业、教育建议上，用 rank-32 RsLoRA 微调，主要以 OLMo 3 7B-SFT 为对象。行为梯度来自 44 个评测题、每题 10 个补全，由 Qwen 3 32B 打分并做题内中心化；影响用 EK-FAC 或最后检查点上的梯度余弦相似度估计，只对 LoRA 参数计算。检验方式是按分数去掉或只保留若干比例后重训，每个过滤设置 12 个种子，并与 WildGuard 的对数概率对比。

在职业建议、OLMo 3 7B 上，全量失调率约为 45%。去掉影响函数认为最有影响的 20%，降至约 40%；去掉最无影响的 20%，升至近 55%；随机去掉 20% 几乎不变。WildGuard 去掉其认为最有害的样本时，作者称失调率无显著变化，去掉最不有害的样本只升到约 47%。只训 5% 已大致恢复全量失调率；按 10% 分箱，两端相对随机基线各约差 20 个百分点。三个数据集上 EK-FAC 略优于梯度相似度，二者都大于 WildGuard 拉开的差距。只训最无影响的 20% 时，窄域失调从约 95% 降到略低于 80%。

Qwen 与 Llama 各规模上，去掉最有影响 20% 的失调率都低于去掉最无影响 20%，多数大于 WildGuard 的差距。用其他模型的分数过滤并训练 OLMo，效果弱于 OLMo 自己的分数；Qwen 2.5 上 14B 迁到 7B 只恢复后者自身差距的一半。错误程度和过度自信与影响分数的 Spearman 最高约 0.39 和 0.34，但按这些量表过滤不如归因。

作者的结论是：影响分数可以作为调查工具，找出训练后提高或降低失调率的数据，而且重要性是一条梯度；绝对最有影响的样本因模型而异，跨模型泛化恢复不了同源过滤。作者同时认为，这还没有解释样本为何更有影响，也没有说明样本一起训练时的交互。