跟随梯度：将大模型安全退化追溯到训练数据

核心问题：在看似无害的指令数据上微调 LLM 会削弱其安全对齐，而这些致损样本表面无害，标准内容过滤器难以发现。

• 问题场景与重要性：作者称，在 Alpaca、Dolly 等常用良性指令数据集上微调会让模型更容易被越狱，且这种退化由数据中的一小部分样本驱动（引 Qi et al., 2024；He et al., 2024）。安全保持因此变成一个数据选择问题：找到这些样本即可在训练前移除。
• 现有方法的不足：致损样本不含明显有害内容，毒性过滤器和只看内容表面的 LLM 安全评审难以标记它们（引 Li et al., 2025）。既有梯度方法（如 He et al., 2024）只在小规模数据上做过，逐样本梯度的计算成本是共同瓶颈。
• 核心观察：梯度反映的是样本对模型的改变而非表面内容。作者假设：与不安全行为梯度方向一致的训练样本，就是致损样本；emergent misalignment（在不安全代码上微调后出现跨域有害行为）是验证这一信号的场景。
• 论文提出的内容：可扩展梯度嵌入方法 SimpleLoRIF（简化 LoRIF 并只对最后 4 个 transformer block 反传）；用它构建的过滤数据集 SafeTulu（移除 Tulu 3 中 20% 与不安全响应梯度最对齐的样本）；以及对被移除数据的定性分析。
• 威胁模型（防御视角）：
  • 防御者目标：在微调前从训练集中移除会削弱安全的样本，降低微调后模型的越狱成功率。
  • 数据形态：致损样本不含明显有害内容，非攻击者构造（作者指出其效果类似 clean-label poisoning，但来源并非对抗者）。
  • 防御者能力：能计算一个参考模型上的逐样本梯度嵌入，并持有一个不安全响应目标集（SafeRLHF）。
  • 受害系统：在 Tulu 3 等指令数据上微调的 LLM（Qwen、Llama、Olmo）。

Emergent misalignment（EM）

• Betley et al. (2025)——发现对模型做不安全代码微调会诱发跨域有害行为，而安全代码或教育性框架下的对照不产生该效应；本文的 EM 实验直接用其数据集和 checkpoint。
• Wang et al. (2026)、Soligo et al. (2026)、Minegishi et al. (2026)、Vetter et al. (2026)——从激活表示角度解释 EM（misaligned persona 特征、共享线性表示、特征叠加、预训练文档溯源）。论文指出本文的区别：从训练数据归因角度研究 EM，考察梯度空间而非激活空间。

安全退化

• Qi et al. (2024)——在 Alpaca、Dolly 等良性数据上微调即可削弱安全防护。
• He et al. (2024)——退化集中在可识别的子集：仅 100 个与有害样本梯度对齐的良性样本微调即可把 ASR 提到 70% 以上（随机子集为 13%），且这些样本多为列表、要点和数学题。
• Li et al. (2025)——标准毒性过滤器和安全评审难以检出此类样本。

安全数据选择

• He et al. (2024)——用逐样本梯度（或末 token 隐状态）按双向准则 ⟨g(z), g_harm⟩ − ⟨g(z), g_safe⟩ 排序，只对前 10 个响应 token 聚合。
• SEAL (Shen et al., 2025)——把选择建模为双层优化，用辅助模型的损失差给文档排序；DataShield (Zhang et al., 2026)——提取 compliance direction 并按投影偏移排序。论文指出本文区别：嵌入覆盖完整文档而非前 10 个 token 或截断前缀（后者被 Zhang et al. 自己列为局限）、不训练排序器或辅助模型、按嵌入成本而非安全准则选层。

训练数据归因（TDA）

• 影响函数 (Koh and Liang, 2017) 在 LLM 规模不可行，TRAK (Park et al., 2023)、LoGRA (Choe et al., 2025) 等压缩逐样本梯度；LoRIF (Li et al., 2026) 用低秩分解把梯度 TDA 做到 70B 参数，是本文方法的直接基础。
• TracIn (Pruthi et al., 2020) 去掉曲率项；LESS (Xia et al., 2024) 用梯度相似度选指令数据。作者称本文打分沿用 TracIn 精神，因为只做排序、不需要校准的影响估计。

基线与定位：实验基线为 Baseline Training、Random Removal、LLM-as-a-Judge（Qwen 3 8B 按 Maini et al. 2025 的 rubric 打 0–5 分）和 He et al. (2024) 梯度过滤，均在 Tulu 3 上移除 20%。作者定位：本文把梯度归因从小规模分析工具扩展到百万级 SFT 数据过滤。

整体思路：用样本在参考模型上诱发的梯度作为嵌入，按其与不安全响应目标集的梯度相似度给训练样本排序，移除最高分的 20%。方法名 SimpleLoRIF。

SimpleLoRIF：表示与打分

• 两阶段压缩：沿用 LoRIF。第一阶段用 LoGRA 的双边随机投影，在前向激活和反向梯度产生时直接投影，不构造完整梯度，投影维度 d1 = d2 = 32；第二阶段存首 rank-c 因子，取 c = 1，每层从 1024 个浮点降到 64 个。
• 打分式：文档对相似度为双线性形式 s(z_tr, z_te) = ∑_ℓ (u_ℓ(z_te)^⊤ u_ℓ(z_tr))(v_ℓ(z_te)^⊤ v_ℓ(z_tr))，即两个重建梯度矩阵的 Frobenius 内积，无需重建。
• 简化：去掉 LoRIF 的曲率校正（truncated SVD + Woodbury），因为只用分数做移除排序，不需要校准的影响估计。

成本消融与层选择

• 消融设置：在数学基准上测检测 ROC-AUC（梯度特征预测模型训练后新答对了哪些题）与 wall-clock 时间，沿四轴扫：投影维度、反传 block 数、每样本 token 数、嵌入模型规模。
• 结论：投影维度影响小；token 截断有效但风险高、难泛化；缩小嵌入模型损失质量；限制反传 block 数在保质量的同时降成本。选 N = 4：2 块时 AUC 0.65 偏低，6 或 8 块收益小；N = 4 时 AUC 0.684，比基础简化 LoRIF 加速 91.53%（Figure 1）。

Emergent misalignment 验证

• 数据：Betley et al. (2025) 的 6,000 不安全代码 + 6,000 安全代码样本为源集；用自由问答提示各失准模型收集响应，由 Claude 5 Opus 筛出明确失准的响应作目标集。
• 模型：Qwen 侧用 emergent-misalignment/Qwen-Coder-Insecure；Mistral 侧用 Menon (2025) 复现的 Mistral-Small-24B-Instruct-2501 不安全代码微调版。
• 度量：源样本的影响分数 = 与全部已验证不安全目标的平均相似度；用 ROC-AUC 衡量该分数分离不安全/安全代码的能力，0.5 为无关系，1.0 为完全分离。

SafeTulu 构建流程

1. Embed：用 Qwen 3 0.6B 计算 Tulu 3 全部 939,343 样本与 SafeRLHF 不安全响应目标集（43,469 条）的梯度嵌入，8 张 H100 耗时 1 小时 1 分钟。
2. Remove：目标集聚类，按 rank-1 因子闭式计算与簇心的相似度打分（附录 C.4 给出打分恒等式），移除最高分的 20%。
3. Train：在过滤后数据上微调 Qwen 3 1.7B、Llama 3.2 1B、Olmo 2 1B（超参数见附录 C.3：2,297 步、LR 1e-4、序列长 2,048、全局 batch 128）。
4. Evaluate：安全用 GCG（白盒、单轮、优化对抗后缀，初始 20 个 "!" token、500 步）与 ActorBreaker（黑盒、多轮，Qwen2.5-14B-Instruct 生成 actor network）在 JailBreakBench 行为上测 ASR，HarmBench 分类器判定；能力用 MMLU Pro、IFEval、MBPP、GSM8K、MATH 500、MedQA、ORBench。

实验设置

• 被微调模型：Qwen 3 1.7B、Llama 3.2 1B、Olmo 2 1B，另加 Llama 3.1 8B；嵌入模型为 Qwen 3 0.6B。
• 数据：训练集 Tulu 3（939,343 条），目标集 SafeRLHF 不安全响应（43,469 条）；EM 实验用 Betley et al. 的 6,000 不安全 + 6,000 安全代码样本。
• 基线：Baseline Training、Random Removal、LLM-as-a-Judge（Qwen 3 8B 按 Maini et al. 2025 rubric 打 0–5 分）、He et al. (2024) 双向锚定梯度过滤，均移除 20%。
• 安全指标：JailBreakBench 行为上的 GCG ASR（白盒后缀攻击）与 ActorBreaker ASR（黑盒多轮，任一路径任一响应判不安全即成功），HarmBench 分类器判定。
• 能力指标：MMLU Pro、IFEval、MBPP、GSM8K、MATH 500、MedQA 准确率与 ORBench 过拒率。
• 重复次数：每种方法 3 个随机种子，报告均值 ± 一个标准误。

主结果

据 Table 1（均值 ± 标准误，%）：

表格较宽，可左右滑动

模型	方法	GCG ↓	ActorBreaker ↓	MMLU Pro	IFEval
Qwen 3 1.7B	Baseline	47.67 ± 0.67	43.0 ± 4.4	19.8 ± 2.5	37.2 ± 7.4
Qwen 3 1.7B	LLM-as-a-Judge	47.33 ± 1.20	39.7 ± 0.9	21.1 ± 0.9	45.8 ± 1.3
Qwen 3 1.7B	He et al.	46.33 ± 2.60	42.0 ± 2.6	22.4 ± 0.5	45.3 ± 0.6
Qwen 3 1.7B	SafeTulu	37.00 ± 1.53	36.3 ± 1.2	22.4 ± 0.7	46.1 ± 1.4
Llama 3.2 1B	Baseline	38.00 ± 1.53	42.7 ± 0.7	15.3 ± 0.1	43.8 ± 0.7
Llama 3.2 1B	SafeTulu	30.33 ± 0.33	39.7 ± 0.3	15.8 ± 0.3	43.4 ± 0.5
Olmo 2 1B	Baseline	48.33 ± 0.33	47.0 ± 1.2	14.4 ± 0.4	38.0 ± 1.1
Olmo 2 1B	SafeTulu	41.33 ± 2.40	43.3 ± 1.2	13.6 ± 0.6	38.0 ± 0.2

• 作者称 SafeTulu 在三个模型族上都降低 GCG ASR 且优于全部基线，ActorBreaker ASR 也为各模型最低；能力指标大体与全量训练持平。
• 例外：Olmo 上 SafeTulu 的 MMLU Pro 为 13.6 ± 0.6，低于 Baseline 的 14.4 ± 0.4；Llama 上 IFEval 43.4 ± 0.5 略低于 Baseline 43.8 ± 0.7。
• Table 1 还报告 Llama 3.1 8B：SafeTulu 的 GCG 为 7.0 ± 0.6（Baseline 11.7 ± 0.3）、ActorBreaker 37.7 ± 2.3（Baseline 41.7 ± 1.5），作者称结论在 8B 规模同样成立。

Emergent misalignment 梯度验证

• 测了什么：不安全代码与安全代码样本的梯度嵌入，哪个与失准模型有害输出的梯度更对齐。
• 结果：失准 Qwen 上 AUC 0.604，失准 Mistral 上 AUC 0.865；未微调的对应模型分别降到 0.552 和 0.431（附录 D.1）。
• 作者解读：作者认为 EM 在梯度空间留下可检测的痕迹，梯度归因能恢复"表面良性的训练数据"与"下游有害输出"之间的联系。

移除比例扫描（附录 C.1）

• 测了什么：Llama 3.2 1B 上移除 0%/5%/10%/20%/40% 时梯度过滤与 LLM 评审的 GCG ASR（Table 6）。
• 结果：梯度过滤在 20% 处达最优 30.33 ± 0.33，40% 时回升到 39.00 ± 0.58；LLM 评审在 10% 处达最优 35.00 ± 1.53，20% 起高于不过滤基线。
• 作者解读：作者认为梯度过滤能找到更大规模的真正致损数据，评审过滤超过约 10% 后开始误删有益样本。

定性分析（第 6 节、附录 B）

• 移除率差异：同为 20% 预算，评审对三个数学子集移除率几乎相同（15.4%–15.6%），梯度过滤则为 7.9%（numinamath）到 19.4%（open_math_2_gsm8k）（Table 2）。
• 特征模式：被移除样本中 Python 执行报错（RR 1.71×）、"写个 Python 函数"类任务（RR 1.74×）、叙事算术更集中；保留样本偏向长循环小数（RR 0.36×）、代数操作（RR 0.70×）。作者强调这些模式只是提示性的相关性发现，不主张因果。
• 语言分析：WildChat 和 Aya 中英文样本被移除率更高（RR 1.46×、1.73×），与"非英语微调更易致损"的既往报告方向相反；作者推测可能因为 Tulu 3 数据较干净。

其他消融与分析

• 跨模型迁移（Table 7）：失准 Mistral 嵌入 Qwen 有害响应 AUC 0.832（匹配时 0.865）；反向失准 Qwen 嵌入 Mistral 响应降到 0.247（匹配时 0.604）。作者称梯度表示不一定跨模型迁移。
• 规模扫描（Table 8）：未失准 Qwen2.5-Coder 0.5B→32B 的 AUC 为 0.507/0.549/0.573/0.590/0.552，14B 后回落，非单调。
• 长度混淆（Table 5）：被移除数据仅在 11 个主要子集中的 6 个明显更短，作者据此认为梯度过滤不只是偏好短样本。
• ActorBreaker 说明：作者指出其实现的 ASR 低于原论文，可能因为用 Qwen2.5-14B-Instruct 而非 GPT 4o 生成 actor network。

作者指出的局限与后续方向

• 只测通用安全退化：未测特定危害或行为（如 sycophancy）（第 9 节 Limitations）。
• 目标集单一：只用了 SafeRLHF，未测其他目标集（第 9 节 Limitations）。
• 与检测器结合：作者认为把 SimpleLoRIF 与既有投毒检测规则（如梯度空间离群点移除、攻击溯源）配对是有前景的未来方向（第 4 节）。
• 定性发现的因果检验：作者建议利用发布的数据做因果实验，例如只移除含 Python traceback 的 NuminaMath 样本再微调测 ASR（第 7.2 节）。
• 定性分析的性质：作者强调移除样本的模式只是提示性而非定论，全部来自相关性方法，不主张这些特征必然导致安全退化（第 6 节、附录 B.6）。

实验覆盖范围

• 被微调并评测的模型为 Qwen 3 1.7B、Llama 3.2 1B、Olmo 2 1B、Llama 3.1 8B 共 4 个；嵌入模型为 Qwen 3 0.6B（第 5.1 节）。
• 安全评测包括 GCG（白盒单轮）与 ActorBreaker（黑盒多轮）两种攻击，均在 JailBreakBench 行为上、HarmBench 分类器判定；每种方法 3 个种子（第 5.1、5.2 节）。
• EM 实验覆盖 Qwen 与 Mistral 两个模型族，源集各 6,000 条，目标响应用 Claude 5 Opus 筛选（第 4 节）。
• 移除比例扫描只在 Llama 3.2 1B 上做（附录 C.1）；论文未报告 GCG 之外的自适应攻击（即针对该过滤方法专门设计的攻击）。
• 论文未报告 HarmBench 分类器判定与人工标注的一致性；ActorBreaker 的 ASR 低于原论文，作者归因于用 Qwen2.5-14B-Instruct 生成 actor network（第 5.1 节）。

一篇数据过滤类防御论文：把微调导致的安全退化当作训练数据归因问题，用梯度信号在训练前移除致损样本。

• 问题：良性指令数据中存在表面无害但会削弱安全对齐的样本，内容过滤器和 LLM 安全评审难以发现（引 He et al., 2024；Li et al., 2025）。
• 方法：SimpleLoRIF 简化 LoRIF——去掉曲率校正、只对最后 4 个 transformer block 反传、rank-1 因子存梯度，1 小时 1 分钟在 8 张 H100 上嵌完 Tulu 3 全部 939,343 条；按与 SafeRLHF 不安全响应（43,469 条）的梯度相似度移除 20% 得到 SafeTulu。
• EM 验证：失准模型中不安全代码与有害输出的梯度可分，Mistral 上 AUC 0.865、Qwen 上 0.604，未微调模型降到 0.431/0.552；作者称这支持把安全退化看作数据归因问题。
• 主结果：SafeTulu 在 Qwen 3 1.7B、Llama 3.2 1B、Olmo 2 1B 上 GCG ASR 分别从 47.67%、38.00%、48.33% 降到 37.00%、30.33%、41.33%（Table 1），优于 LLM 评审与 He et al. 基线；Llama 3.1 8B 上从 11.7% 降到 7.0%。
• 能力与例外：能力基准大体持平，但 Olmo 的 MMLU Pro 和 Llama 的 IFEval 略低于基线；移除比例扫描显示梯度过滤在 20% 处最优、40% 时收益反转。
• 作者结论：作者认为梯度归因能从百万级 SFT 数据中找出致损样本，并发现工具执行失败、叙事算术等可能研究不足的致损数据形态（强调为提示性发现）；作者已发布 SafeTulu 数据集和可自定义的 Hugging Face Space。