理解并缓解大语言模型引导中的数据集污染

contrastive steering 用对比样本学出的一维激活方向，在训练数据被噪声或对抗改动后，还能否按目标行为控制生成。

• 使用场景： 作者称该方法能调节多种生成行为，并正被接入常用产品，因此需要了解稳健性。本文盯住的是训练 steering 方向的数据集。
• 现有不足： 作者称尽管 steering 越来越多用于 AI 安全，它对噪声或对抗性数据污染的稳健性仍不清楚。许多训练数据自动生成，创建过程也未必经过仔细审查或保护。
• 作者的划分： 正确刻画目标行为的数据称为 inlier，被污染的称为 outlier，分随机、错标和协调成另一行为三类。学习方向的关键是高维均值；作者认为若 inlier 均值被恢复，其余流程可以照旧。
• 本文的处理： 在多个开源模型与 Anthropic 行为集上观察污染如何改变可转向性和激活几何，并用 Lee & Valiant (2022) 的稳健均值替换普通均值。
• 威胁模型：
  • 想改变什么： 数据变陈旧或被操纵后，目标行为的 steering 效果改变；协调污染还可能带入第二种不想要的行为。
  • 能改什么： 进入均值的对比样本可被换成随机句、对调正负标签，或换成代表另一行为的数据。
  • 知识设定： 论文没有用 white-box、black-box 或 gray-box 描述攻击者能否看到权重或激活。
  • 受害流程： 在选定中间层取有行为与无行为激活的均值差，推理时把激活加上该向量乘以 α。

Contrastive steering。 Zou 等人 (2023) 与 Rimsky 等人 (2024) 用 power-seeking、self-awareness、helpfulness、sycophancy 等行为的对比三元组做 steering。常用机制是在差异明显的层上取正、负激活均值之差（Dev & Phillips, 2019; Subramani et al., 2022），再按系数 α 加到该层。

• 其他控制方式： 论文列举梯度、稀疏自编码器、门控和一次性优化等变体（Im & Li, 2025; Oozeer et al., 2025a; Parekh et al., 2025; O’Brien et al., 2024; Arad et al., 2025; Nguyen et al., 2025; Dunefsky & Cohan, 2025）。作者称这些方法一般没有被显示为大幅好于简单 contrastive 方法（Wu et al., 2025），实现也更麻烦。提示词或微调有时略好，但作者称在长上下文中不那么稳（He et al., 2025），也不提供同样的机制信息（Turner et al., 2024）。
• 可转向性： Braun 等人 (2024) 讨论 steering 可靠性参差。Tan 等人 (2024) 称可转向性主要由数据集质量和泛化驱动，而不是手头模型。Arditi 等人 (2024) 用 steering 注入 refusal。

数据投毒与 LLM 安全。

• 微调投毒： Hubinger 等人 (2024) 称微调中的恶意样本可在触发短语下植入代码漏洞或仇恨等后门。Fu 等人 (2024) 称少至 3% 的投毒数据就能注入政治实体等内容，并损害 helpfulness 与指令遵循；论文将其与 Wan 等人 (2023)、Bowen 等人 (2025) 并列。
• 标签与数据操纵： Taheri 等人 (2020) 做类别标签翻转，Shafahi 等人 (2018) 做视觉模型的 clean-label 投毒，Zhao 等人 (2025) 综述大规模数据操纵。Li 等人 (2025) 称投毒效果可以在 system prompt 等更高层控制下保持。
• steering 被当作防御： 论文称 activation steering 被视为针对后门（Oozeer et al., 2025b）、一般越狱（Zeng et al., 2025）和拒绝危险请求（Lee et al., 2024）的防御，并称它往往好于计算更重的微调（Zhang et al., 2026）。

高维稳健均值。

• 可证明估计： Diakonikolas 等人 (2019) 与 Lai 等人 (2016) 在 inlier 为协方差单位阵的高斯、常数比例 ε 的点可被任意改动时，能以 ℓ2 距离 ε 估计均值。后续工作放宽 inlier 假设（Diakonikolas & Kane, 2019; Kamath, 2025; Anderson & Phillips, 2025）。论文称 inlier 需要结构假设，问题才有定义。
• 样本量： 有界范数时需要 n = Ω(R²/ε²)；类高斯时需要 n = Ω(d/ε²)，即 n 远大于 d。文中举例维数可以到 d = 4096，因此在 LLM 激活上难满足。
• 经验比较： Anderson & Phillips (2025) 发现，即使 n 远大于 d 不成立，quantum entropy scaling（Dong et al., 2019）、median of means（Lugosi & Mendelson, 2019）和 Lee & Valiant (2022) 仍往往好于其他方法，但随设定变化。本文比较后，作者称 Lee-Valiant 最一致有效。

基线与基准。 对照是污染数据上的 sample diff of means、仅 inlier 的差分均值，以及 Lee-Valiant 等稳健估计。行为来自 Anthropic 评测集的六个数据集（沿用 Rimsky et al., 2024; Tan et al., 2025）。一般能力用 TinyMMLU（Polo et al., 2024）。

作者把本文放在数据集污染如何改变 contrastive steering 上：若 inlier 均值能恢复，后面的 hook 可以不变。影响声明里作者认为，针对这些 steering 数据的攻击此前没有被指出，并称本文并非在开创 steering 技术本身。

作者把 contrastive steering 写成正、负行为激活的均值之差，推理时沿该方向平移激活。污染改的是进入均值的数据集；缓解办法是用 Lee-Valiant 稳健均值 替换普通样本均值。

问题设定与转向向量

• 数据： 标准形式是三元组：prompt、无该行为的回答、有该行为的回答。prompt 配其中一种回答送入模型，在固定层读激活，每条得到负向量和正向量。
• 差分均值： 在作者所称最有效的层，分别计算两类激活的均值，steering vector 为二者之差。该层加 hook，新激活加上该向量乘以 α。论文写典型地 α = +1 诱发行为，α = −1 去掉行为，中间值更温和。
• 层与幅度： 每个模型、每个行为用先前工作找到的最优层，并在 ground truth steering vector 上调节幅度，再跨估计器、污染方式和污染比例共用。附录 A 在 [−2, 2] 上取表现单调上升区间内最大的 α。Corrigibility 被翻转，记为 incorrigible-neutral-HHH；作者称无 steering 时模型本身 corrigibility 已经高，尤其是两个较大的模型族。

三类数据集污染

• 随机： 一定比例的对比样本换成按字符随机生成的句子的激活，token 长度匹配训练分布。作者称这最良性：坏数据不对应目标行为，也没有可描述的模式，可能来自自动生成出错。
• 错标： 对一定比例的样本对调正、负例子，相当于加入朝负行为转向的点。论文称这对应 Massart noise，且在数据中常见。
• 协调行为： 用代表另一行为的数据替换一定比例的 steering 数据。作者称它更难去掉，更能把方向拉离目标行为，并可能诱发第二种不想要的行为。两行为的相关程度是仅用各自 inlier 算出的 steering vector 的余弦。
• 比例： corruption percentage 是被污染的对比对所占分数。每集 1000 对，800 训练、200 测试。结果对“污染哪些 inlier”平均 3 次；除错标外，也对注入哪些 outlier 取平均。阴影为一个标准差。

激活空间预热与稳健估计

• 预热： 第 3.1 节先不改原始文本，只在激活空间加入正负对：选随机方向，把占 30% 的 outlier 聚到足够远处以扭曲角度。
• Lee-Valiant： 正类、负类分别做稳健均值再取差，标为 diff。论文的简化描述是：用样本均值确定中心区域，区域外的点按距离比例降权，返回重新加权平均。
• 对照： 被污染数据上的 sample diff of means、仅 inlier 的差分均值、以及 inlier+outlier 上的 lee valiant diff。作者注明仅 inlier 的结果在污染数据上不可实现，只作基线。
• 其他估计器： 第 5 节比较 median-of-means、quantum entropy scoring、coordinatewise pruning，超参用 Anderson & Phillips (2025) 的默认值。match 变体先对每个配对样本算差，再对差向量做稳健均值；样本均值下两种顺序相同，稳健均值下不同。

读出方式

• average score： 跟随 Tan 等人 (2025)，测试题上正、负选项 logit 差的平均；更正表示行为被诱发得更强。
• percent steered： 二选一中模型选正选项的比例，取值在 [0, 1]。
• 几何： 相对 ground truth steering vector 的余弦，以及在该方向上的投影范数。若干图在 30% 污染处嵌入三种向量的相对角度与长度示意。
• 其他： 去掉选项后做开放生成，用 LLM-as-judge 按与目标行为的一致程度打分；作者称因规模不用它作默认指标，细节在附录 C。一般能力用 TinyMMLU。

实验设置

• 模型： Llama-3.2-3B-Instruct、Mistral-7b-Instruct-v0.3、OLMo-2-1124-7B-Instruct。未另行说明时讨论 Llama。
• 数据： 六个行为为 coordinate-other-ais、myopic-reward、power-seeking-inclination、survival-instinct、incorrigible-neutral-HHH、wealth-seeking-inclination。每集 1000 对，800/200。扩大集为 shiv96 (2026)，8268 条，8068 训练、200 测试。
• 污染与重复： 随机、错标、协调行为，以及激活空间预热。每个行为可被其余 5 个行为注入。inlier 选择平均 3 次；除错标外也对 outlier 选择平均。
• 基线： 污染数据上的 sample diff of means、仅 inlier 的差分均值、Lee-Valiant；另有 median-of-means、quantum entropy scoring、coordinatewise pruning，以及 diff / match。图中有 no steer 虚线，正文未给数值。
• 指标： average score、percent steered、与 ground truth 向量的余弦和投影范数。TinyMMLU 为 100 道四选一、46 个学科、5-shot。LLM-as-judge 见第 4.3 节与附录 C，正文未给阈值或评审模型名。
• 转向设置： α 在 ground truth 向量上调好后跨条件固定。最优层来自先前工作，正文未给层号。

主结果

主结果是图，正文没有可抄的 average score 表。下表只收正文写明的数量条件。未另行说明的图属于 Llama-3.2-3B-Instruct。

表格较宽，可左右滑动

污染	正文中的数量条件	作者对 average score 的描述	Lee-Valiant
随机	图2，至 40%，6 个行为	作者称往往影响不大，尤其相对 no steer 虚线	至 30% 与仅 inlier 不可区分
错标	图3，超过 20%，多数行为	作者称会降低 steering	除 40% 外接近仅 inlier
协调，反相关	图4，余弦 -0.67 与 -0.57	作者称 inlier 下降，并注入 outlier 偏向	接近仅 inlier 的差分均值
协调，相关	图6，余弦 0.80 与 0.77	作者称尺度更小，有时 inlier 甚至提高，outlier 偏向仍在	更不一致，常略放大 outlier 可转向性的下降

• 随机与错标： 作者称随机污染下仍可能看到一些 steering 效果。错标在很高污染比例下，Lee-Valiant 也不再接近 inlier。
• 协调污染： 作者按 inlier 转向向量余弦区分反相关与相关。反相关更符合“inlier 变差、outlier 变强”；相关时作者推测可能是对一组相关概念泛化更好，并称估计器有时把重叠样本当成 outlier、剪掉部分 inlier。作者仍把压低 outlier 行为视为更大的担心，并称该估计器通常能降低这种效应。
• 两处总括： 摘要写各类污染在训练数据的 10-20% 以内大多仍稳健，超过后会受到很大影响，协调污染最强。第 6 节写至多 20% 时影响很有限。Mistral 与 OLMo 的对应图在第 5 节，正文没有可抄的 average score，故不填入表。

几何

• 随机（图5，survival-instinct）： 作者称余弦几乎不受影响，纵轴尺度很小，但投影范数缩小；并称角度不动时，幅度污染仍可能影响下游 steering。Lee-Valiant 在文中所写的 40% 之前能对齐仅 inlier 的差分均值。
• 错标（图7，同一行为）： 作者称对余弦影响更小、对投影范数影响大得多。Lee-Valiant 的角度大致跟上被污染数据，较中等污染下投影范数有改善。作者认为长度污染似乎不如角度污染有影响；若机制能自行调节长度，对这类污染可以基本不受影响。
• 协调（图8、图9）： 作者称协调污染会同时扭曲余弦和投影范数，污染数据朝 outlier 方向走。反相关与不相关时 Lee-Valiant 能部分缓和。图9 中，作者称它错误地把 inlier 激活当成 outlier，重加权后更靠近被注入方向。附录里不同向量对的效果有变化。

指标、模型与消融

• percent steered（图10）： 作者称离散性使结果更噪，但大多相似；Lee-Valiant 看起来略更有效。图10 下图把 coordinate-other-ais 与 survival-instinct 标为 corr: -0.67。全部实验在附录 B。
• LLM-as-judge（图11）： 作者称与 average score 有相关性，但整体更噪。上图为 coordinate-other-ais 与 incorrigible-neutral-HHH（-0.67），下图为 myopic-reward 与 power-seeking-inclination（-0.12）。
• 另两个模型（图13、图14）： 作者称多数污染实验与 Llama 很相似。他们展示的少数不一致是：协调污染下 inlier 仍类似 Llama 3B，但注入数据没有提高 outlier 行为的 average score。作者认为这是少数情况，可能与各模型 steering 向量的可行区域不同有关；并称 Lee-Valiant 在各模型上仍减轻反相关注入的影响。

其他消融与分析

• 激活空间（图1）： outlier 占 30%，角度增大时 steering 变差，3 次试验误差条大；作者认为在方向的一个锥内仍然有效。
• TinyMMLU（图12）： 数据污染的影响小，作者据此称没有把激活推出分布；激活空间污染的分数方差更高，作者认为有时可能推出分布。正文未给分数。
• 其他稳健均值（图15）： 反相关对为 coordinate-other-ais 被 incorrigible-neutral 污染。作者称其他方法一致差于 Lee-Valiant，多数与被污染的差分均值几乎相同；quantum entropy scoring 常常找不到任何 outlier。作者认为原因是 inlier 非高斯，且维数可能多于点数。摘要称这出乎意料。
• match（图15 下排）： 作者称没有一致改进，通常比默认 diff 更去不掉 outlier 影响，故后文只报告标准 Lee-Valiant。
• 数据规模（图16）： 8068 条训练。作者称污染仍有作用，Lee-Valiant 部分减轻但并非完全去掉，方差也变小；因此问题并不只来自数据规模小。
• 附录 B： 三个模型、六个行为的随机、错标、协调污染，以及 percent steered 与部分几何图。图旁标有 SNR，但所附文本里数值与曲线挤在一起，对不上列的不引用。

作者指出的局限与后续方向

• 缓解并不总是有效： 第 6 节写 Lee-Valiant 可以大多减轻这些影响，但它并非总是有效。
• 其他估计器： 同节写许多为类似问题设计的稳健估计器帮助更不一致；作者认为最可能是数据不符合那些算法的假设。
• 后续方向： 作者希望后续工作设计稳健算法和训练数据分布，以减轻大多数此类数据集污染。（第 6 节）

实验覆盖范围

• 模型与行为： 实验模型为 Llama-3.2-3B-Instruct、Mistral-7b-Instruct-v0.3、OLMo-2-1124-7B-Instruct；行为为第 3 节的 6 个 Anthropic 评测集行为。
• 规模与重复： 主实验每集 1000 对、800/200，污染选择平均 3 次；扩大集 8268 条、8068 用于训练（第 4.1、5 节）。
• 污染与估计器： 覆盖激活空间角度扭曲、随机句替换、正负对调，以及每个行为被其余 5 个行为注入；比较了 Lee-Valiant、median-of-means、quantum entropy scoring、coordinatewise pruning 和 diff/match（第 3–5 节，附录 B）。
• 读出： average score、percent steered、余弦与投影范数、TinyMMLU（100 题、46 学科、5-shot）；LLM-as-judge 的做法正文指向附录 C（第 4.3 节）。
• 固定设置： 最优层来自先前工作，α 在 ground truth 向量上调好后跨估计器与污染水平共用；第 3 节未给出层号。

作者研究 contrastive steering 的训练数据被污染后，推理时的行为控制还剩多少，以及稳健均值能否接住。

• 对象： 某一中间层上，有行为与无行为激活的均值差就是转向向量，推理时加上该向量乘 α。作者关心随机坏数据、标签对调，以及换成另一行为的样本。
• 比较： 在 Llama-3.2-3B-Instruct、Mistral-7b-Instruct-v0.3、OLMo-2-1124-7B-Instruct 和六个 Anthropic 行为集上，比较污染差分均值、仅 inlier 差分均值和 Lee-Valiant，并用余弦与投影范数看方向和幅度。
• 随机与错标： 作者称随机替换到 40% 往往影响不大，Lee-Valiant 到 30% 与仅 inlier 不可区分。错标超过 20% 后会降低多数行为的 steering，Lee-Valiant 除 40% 外接近 inlier。
• 协调污染： 反相关例子余弦为 -0.67 与 -0.57，作者称 inlier 变差并注入 outlier 行为，Lee-Valiant 接近仅 inlier。相关例子余弦为 0.80 与 0.77，尺度更小，有时 inlier 甚至提高，但 outlier 偏向仍在，估计器还可能把 inlier 当成 outlier。
• 其他读出： percent steered 趋势大多相似但更离散；LLM-as-judge 相关但更噪。TinyMMLU 上数据污染的分数变化小。另两模型的少数图里，outlier 行为分数未随注入上升。其他稳健均值大多贴近被污染差分均值。
• 作者结论： 摘要写 10-20% 以内大多仍稳健，超过后影响变大；第 6 节写至多 20% 时影响很有限。主行为没被改得很厉害时，塞入的其他特质可能不被注意到。Lee-Valiant 对未污染数据影响很小，但并非总有效；作者希望后续算法和数据分布能减轻大多数此类污染。