DataShield：通过共识子空间对齐识别 LLM 微调中的高风险数据

如何在提升已对齐 LLM 下游效用的同时，识别并处理会削弱安全能力的微调数据。

• 场景：作者称，领域数据微调已是适配 LLM 的常规做法，但安全对齐脆弱，下游任务适配后可能退化甚至完全失效（Wei et al., 2023; Qi et al., 2024; Huang et al., 2024, 2025a）。即便在正常任务数据上微调，也可能提高模型对有害请求的顺从（Qi et al., 2024; He et al., 2024; Guan et al., 2025; Hsiung et al., 2025）。
• 现有方法不足：作者指出三类限制。其一，风险估计通常绑定单一模型：同一网络安全样本在 Llama 上可能被判低风险，微调后却提高 Qwen 等模型对有害请求的顺从。其二，多数方法用某一模型隐状态或梯度的单一均值向量表示安全方向，而安全语义可能跨多个隐方向或子空间。其三，token 级方法把不安全区域绑在参考模型 tokenizer 上，同一语义跨度在不同模型上的 token 边界不同，掩码难以复用（Li et al., 2026）。
• 核心观察：作者认为，从多个架构不同的安全对齐 LLM 构造共识安全与不安全子空间，比单一原型向量更能刻画微调数据风险，并提高跨模型可迁移性；把响应切成与 tokenizer 无关的文本片段，再做自回归风险解耦，可定位局部高风险跨度。
• 本文提出：DataShield，一种数据评估框架。它在多个安全对齐 LLM 的联合安全关键语义空间上做语义谱分解，提取共识安全与不安全子空间，用相对对齐估计样本或片段风险，支持样本级过滤（DataShield-Sp）与细粒度片段级掩码（DataShield-Sm），且风险计算不使用目标模型。
• 威胁模型：
  • 目标：在微调前估计训练单元（整条样本 zi 或响应片段 ci,j）的安全退化风险，去掉或掩掉可能削弱安全的部分，同时保留下游适配所需的有用监督。
  • 知识与输入：过滤器可访问任务数据集 Dtask 以及一组安全对齐源模型 Msrc；目标模型 Mtgt 不参与风险估计。
  • 能力：按风险排序后，在干预预算 ρ 下删除高风险样本，或在 SFT 损失中掩掉与高风险原文片段重叠的目标模型 token；文本序列本身保持不变。
  • 受害系统：将在 Alpaca、Dolly 等下游数据上做监督微调的指令微调 LLM。作者要求风险度量能跨不同架构、规模、安全行为与 tokenizer 复用，而不只反映检查模型自身的表示几何或分词边界。

安全退化与数据中心缓解

• 对齐脆弱性：Ouyang et al. (2022)、Bai et al. (2022)、Bianchi et al. (2024) 讨论近期 LLM 的安全对齐；Wei et al. (2023)、Qi et al. (2024)、Huang et al. (2024, 2025a) 讨论下游适配后对齐退化或失效。Qi et al. (2024)、He et al. (2024)、Guan et al. (2025)、Hsiung et al. (2025) 报告，在正常或良性任务数据上微调也可能提高对有害请求的顺从。Guan et al. (2025)、Hsiung et al. (2025) 认为一小部分微调数据即可造成严重安全退化。
• 训练期缓解：Hsu et al. (2024)、Li et al. (2025b)、Choi et al. (2024) 通过安全感知微调减轻安全退化；Choi et al. (2024)、He et al. (2024)、Li et al. (2025a)、Shen et al. (2025)、Wang et al. (2026) 采用数据中心过滤。

样本级风险估计

• Bi-Anchoring（He et al., 2024）：用表示与梯度识别风险数据。
• LARF（Li et al., 2025a）：用安全相关层的隐状态给训练数据打分；其层敏感性方法也被本文用于挑选安全关键层。
• SEAL（Shen et al., 2025）：训练安全分类器估计退化风险，但需要目标模型 logits，作者认为这增加成本并依赖目标模型。SOT（Wang et al., 2026）：通过把下游数据与安全参考对齐、并与有害数据分开来学习样本权重。作者认为这些方法依赖模型特定信号或打分模型，限制跨架构迁移。

细粒度掩码与表示差异

• TOSS（Li et al., 2026）：在 token 级掩掉不安全内容，提高粒度，但其掩码依赖参考模型 tokenizer。作者认为不同 tokenizer 对同一文本切分不同（并引用 Erdogan et al., 2026; Haslett, 2025; Phan et al., 2025; Dao et al., 2026），掩码可能无法可靠迁移。
• 表示不可直接比较：Kornblith et al. (2019)、Bostrom and Durrett (2020) 被用来说明，单一模型的隐状态、梯度、损失、logits 或 token 边界只反映检查模型自身，而不等于数据携带的安全风险。Chung et al. (2024)、Longpre et al. (2023) 被用来说明微调数据集常被不同架构与 tokenizer 的 LLM 复用。

基线方法与基准

• 基线：标准 SFT；样本级 Random-Sp、Bi-Anchor、SEAL、LARF、SOT；细粒度 Random-Sm、TOSS。默认干预预算 ρ=0.2。
• 数据：下游微调用 Alpaca（Taori et al., 2023）与 Dolly（Conover et al., 2023）；安全评测用 HEx-PHI（Qi et al., 2024）与 HarmBench（Mazeika et al., 2024）；效用用 SLIMORCA（Lian et al., 2023）测试子集的胜率。安全关键子空间的探测沿用 Li et al. (2025a) 的成对探测设定。

作者将 DataShield 定位为：用多个安全对齐模型的安全相关子空间估计风险，并在可迁移的片段级掩掉不安全内容，以同时应对模型特定估计与 tokenizer 绑定两类限制。

DataShield 从多个安全对齐源模型构建安全与不安全子空间，用跨模型共识比较数据与两类子空间的对齐程度，再按预算删除高风险样本或掩掉高风险响应片段。

问题设定

• 训练单元：样本 z=(x, y)，x 为指令，y 为响应；Dtask 为下游微调集。训练单元可以是整条 zi，也可以是 yi 中的响应片段 ci,j。
• 可迁移性：源模型 Msrc 用于估计风险；目标模型 Mtgt 不参与风险估计。过滤后的数据应能在不同模型版本与模型族上保持安全。
• 两类干预：样本删除得到剩余集并微调；片段损失掩码保持文本不变，只把与选中原文片段重叠的目标模型 token 排除出 SFT 损失。

共识安全与不安全子空间

• 安全关键层：对每个源模型，用 Li et al. (2025a,c) 的权重扰动法：对称缩放每一层权重，在常用探测集上测量拒绝倾向的变化，按扰动敏感性排序，取前 Ncrit 层为 Lcrit。主实验 Ncrit=3，细节在附录 A.1。
• 紧凑表示：把选中层的表示合成 h̃^(k)(z)∈R^{Dk}。各源模型空间不强制对齐到同一嵌入空间；共识来自在各自空间内计算对齐分数再跨模型聚合。构造细节在附录 A.3。
• 谱分解：沿用成对探测（Li et al., 2025a）：每条有害指令配一条不安全补全和一条安全响应，得到 Dunsafe 与 Dsafe。对行为 a∈{safe, unsafe}，取最后 token 的紧凑表示集合 Ha^(k)，构造

S_a^(k)=1/(|H_a|)∑ h̃h̃^⊤ 再做语义谱分解，特征值从大到小排列，每个源模型保留一个安全基与一个不安全基。主实验每个子空间保留 d=16 个主成分。

子空间对齐风险

• 对齐度量：对非零表示，ϕ(h̃, U)=‖UU^⊤ h̃‖₂² / ‖h̃‖₂²，取值在 [0,1]，表示投影到 U 所张子空间的归一化平方长度。
• 样本风险：用最后 token 紧凑隐状态作序列表示。对每个源模型，样本对齐差距为与不安全子空间的 ϕ 减去与安全子空间的 ϕ，取值在 [−1,1]。共识风险是 K 个源模型差距的平均，越大表示安全退化风险越高。
• 片段风险：指令保持不变，在分词前按句边界、标点、换行和空白把响应切成字符跨度，与具体 tokenizer 无关。各源模型把同一跨度映射到自己的 token 下标集合。位置 t 的对齐差距为 q_t；因自回归隐状态包含前文，直接池化会把早期风险带到后续良性位置。增量定义为 Δq_t = (1/2)(q_t − q_{t−1})，q_0=0，系数 1/2 使增量仍在 [−1,1]。片段分数取该片段内最大增量，再对 K 个源模型平均；用最大值是因为短风险跨度会被邻近良性文本稀释。片段构造与 token 映射见附录 A.5。

安全保持微调与判定

• 预算：默认 ρ=0.2，即按风险取全局前 20% 的样本删除，或对响应片段做同样比例的损失掩码。
• 损失：Lsm 只在未被掩码的 token 位置 Ki 上计算下一 token 的负对数似然。目标模型用 LoRA 微调。
• 两个变体：DataShield-Sp 删除高风险样本；DataShield-Sm 掩掉高风险响应片段。源模型为 Llama3-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3。
• 成功判定：安全用 HEx-PHI 与 HarmBench 上的 ASR，由 GPT-4o 按 Zeng et al. (2024) 的方法打分；效用用 SLIMORCA 胜率（SLM）。Table 1 中 PHI、HARM 越低越好，SLM 越高越好。

实验设置

• 源模型：Llama3-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3。共识消融额外加入 Gemma2-9B-it。风险估计不使用目标模型。
• 目标模型：Phi3-medium-4k-it、Qwen3-4B-it、Gemma2-27B-it、Gemma3-12B-it，均为未见过的指令微调模型，用 LoRA 微调。
• 数据：Alpaca 与 Dolly 做领域适配；安全评测为 HEx-PHI 与 HarmBench；效用为 SLIMORCA 测试子集胜率。论文未在正文给出这几个集合的样本条数；预处理成本实验写明约 14K 条 Dolly。
• 基线：样本级为 Random-Sp、SEAL、Bi-Anchor、LARF、SOT；片段/token 级为 Random-Sm、TOSS；另有 Standard SFT。默认 ρ=0.2，Ncrit=3，d=16。
• 指标与评审：PHI、HARM 为两个安全基准上的 ASR（越低越好），由 GPT-4o 打分；附录 D.1 另用 Gemini-3.1-Pro 作替代评审。SLM 为 SLIMORCA 胜率（越高越好）。论文写结果在多个随机种子上取平均，未给出重复次数。
• Table 2 设置：基线被允许使用目标模型信息计算风险，DataShield 仍只用源模型；数据为 Dolly，预算与微调协议相同。Table 1 是跨架构迁移，基线按既有工作的默认设置过滤。

主结果

Table 1（Alpaca 与 Dolly，四个未见目标模型；↓ 后为相对 Standard SFT 的变化）：

Swipe horizontally to read the table

方法（Alpaca）	Phi3 PHI/HARM/SLM	Qwen3 PHI/HARM/SLM	Gemma2 PHI/HARM/SLM	Gemma3 PHI/HARM/SLM
Standard SFT	62.0 / 76.0 / 68.2	32.1 / 39.0 / 65.4	44.1 / 51.3 / 72.5	24.2 / 31.1 / 69.8
SOT	25.1 / 32.8 / 66.0	17.5 / 24.8 / 63.3	21.6 / 29.2 / 70.3	12.5 / 18.1 / 67.8
DataShield-Sp	17.2 / 23.5 / 67.8	11.4 / 14.7 / 64.9	16.1 / 23.8 / 72.1	8.8 / 11.5 / 69.4
TOSS	39.5 / 47.1 / 65.5	38.2 / 46.1 / 62.5	44.2 / 52.1 / 69.5	33.6 / 40.8 / 66.8
DataShield-Sm	11.2 / 17.1 / 67.3	10.1 / 16.2 / 64.4	14.1 / 23.1 / 71.6	8.4 / 12.6 / 68.9

Dolly 上 DataShield-Sp 的 PHI/HARM/SLM：Phi3 为 19.1/25.2/66.1，Qwen3 为 7.6/16.1/63.4，Gemma2 为 10.2/18.6/70.4，Gemma3 为 5.5/11.6/67.7。DataShield-Sm：Phi3 为 12.1/18.6/65.5，Qwen3 为 6.5/22.6/62.8，Gemma2 为 13.1/27.6/69.8，Gemma3 为 6.4/18.1/67.1。表中其余基线见 Table 1。

• 作者解读：Standard SFT 在两个数据集上都出现安全退化。作者称 DataShield-Sp 与 DataShield-Sm 的平均 ASR 分别为 15.1% 与 14.9%，SOT 为 23.7%，TOSS 为 43.8%。摘要与贡献列表称，相对 SOTA 过滤与掩码基线，样本过滤降低 ASR 14.6%，片段掩码降低 32.3%。
• 效用：作者称平均 SLM 从 Standard SFT 的 68.1% 降到 DataShield-Sp 的 67.7%、DataShield-Sm 的 67.2%。Table 1 注写明 Standard SFT 效用略好，因为它使用全量训练集。Alpaca 上 Qwen3 的 TOSS（PHI 38.2%、HARM 46.1%）高于该模型的 Standard SFT（32.1%、39.0%）；Dolly 上 Qwen3 的 TOSS 同样高于 Standard SFT。
• 目标模型信息对比（Table 2，Dolly）：基线可用目标模型计算风险。DataShield-Sp 的 HARM：Qwen3 16.1%、Phi3 25.2%、Gemma2-27B-it 18.6%、Gemma3-12B-it 11.6%；同列 SOT 为 23.5%、25.7%、28.0%、20.4%。DataShield-Sm 在 Phi3 上将 HARM 从 TOSS 的 29.8% 降到 18.6%。Qwen3 上 DataShield-Sm 的 HARM 为 22.6%，低于 TOSS 的 30.2%，但高于同模型 DataShield-Sp 的 16.1%。

预处理成本

• 测了什么：约 14K 条 Dolly 上、微调 Gemma2-27B-it 之前的峰值总内存与时间，硬件为 NVIDIA RTX PRO 6000 96GB GPU（Table 3）。
• 结果：DataShield-Sp 为 47.9 GB、64 min；DataShield-Sm 为 58.1 GB、118 min。对照：Bi-Anchor 168 GB / 503 min，SEAL 291 GB / 835 min，LARF 65 GB / 133 min，TOSS 242 GB / 675 min。
• 作者解读：作者认为更低成本来自只使用源模型表示的前向传播与子空间对齐打分，不在 27B 目标模型上计算梯度、logits 或损失。

自回归风险解耦

• Figure 2(a)：作者称在一条响应上比较累积风险与解耦增量。累积分数在有害 token “bomb” 之后仍保持高位；增量分数在该 token 附近达到峰值，并对后续良性 token 给出更低分数。图中纵轴为 Risk score，约从 −0.2 到 1.0，图例含 absolute st 与 relative Δst，横轴标注包含 “A”“pipe bomb”“is”“a”“weapon”。
• Figure 2(b)(c)：作者称解耦掩码相对累积分数掩码，HarmBench ASR 从 14.1% 降到 9.4%，HEx-PHI ASR 从 11.9% 降到 7.7%。图的横轴为 Phi3、Gemma2、Qwen3、Gemma3，纵轴为 ASR (%)，图例含 Random、Absolute、AR decoupling。论文未逐模型列出这三组柱的数值。

其他消融与分析

• 源模型数量 K（Figure 3）：加入 Gemma2-9B-it 作为第四个源模型；每个 K 对多种源模型组合取平均。作者称更多源模型通常降低 ASR，K=3 之后边际变小；HEx-PHI 上 K 从 3 到 4 时平均 ASR 从 13.38% 降到 13.08%，故主实验取 K=3。
• 子空间维数 d（Figure 4）：固定源模型、ρ 与打分规则，横轴为 1、8、16、64、128、512，分 Alpaca 与 Dolly。作者称 ASR 先降后升，d=16 在所测取值中权衡最好；图未给出各点精确 ASR。
• 子空间构造（Table 4）：Unsafe-only、Safe-only、Mean-gap、Subspace-gap。样本级 HEx-PHI：Subspace-gap 在 Qwen3-4B-it 为 7.6%（Mean-gap 19.3%），Phi3 为 19.1%（Mean-gap 28.1%），Gemma-3-12B-it 为 5.5%（Mean-gap 18.1%）。片段级 Subspace-gap 的 PHI/HARM：Qwen3 为 6.5/22.6，Phi3 为 12.1/18.6，Gemma-3 为 6.4/18.1。Unsafe-only 与 Safe-only 在表中均高于 Subspace-gap。
• 附录：E.2 给出额外的源模型迁移与选择偏差分析；E.4 给出任务特定效用；D.1 给出 GPT-4o 打分量表及 Gemini-3.1-Pro 替代评审。正文未列出这些附录的具体数字。E.12、E.13 给出样本级与片段级定性例子，用标红标出被选为高风险的内容。

作者指出的局限与后续方向

• 评测范围（第 7 节 Limitations）：本文研究监督微调中的安全保持，实验使用代表性指令微调 LLM、两个下游微调数据集和常用安全基准。作者称这些设置覆盖了本文考虑的主要迁移场景，即处理后的数据在不同目标模型间复用。
• 更广条件（第 7 节）：后续工作可以在更广条件下考察 DataShield，包括更多模型族、多语言数据，以及专门的下游任务。
• 领域安全（第 7 节）：也可以在领域特定安全设定中评测，例如法律、医疗和金融应用；作者称这些场景中的不安全行为形态可能不同于通用有害请求基准所覆盖的形态。

实验覆盖范围

• 模型：安全子空间来自 Llama3-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 三个源模型；迁移目标为 Phi3-medium-4k-it、Qwen3-4B-it、Gemma2-27B-it、Gemma3-12B-it。共识消融另将 Gemma2-9B-it 作为第四个源模型，K 从 1 到 4（Figure 3、第 5.3 节）。
• 数据与干预：下游微调数据为 Alpaca 与 Dolly；安全指标为 HEx-PHI 与 HarmBench 的 ASR，效用为 SLIMORCA 胜率。默认 ρ=0.2、Ncrit=3、d=16；d 的扫描取值为 1、8、16、64、128、512（Figure 4）。
• 对照：Table 1 中基线按既有默认设置过滤；Table 2 允许 Bi-Anchor、SEAL、LARF、SOT、TOSS 使用目标模型信息，数据为 Dolly。成本在约 14K 条 Dolly、微调 Gemma2-27B-it 之前测量（Table 3）。
• 评审与重复：主 ASR 由 GPT-4o 打分，D.1 另报告 Gemini-3.1-Pro。正文写结果对多个随机种子取平均，未报告重复次数，也未报告与人工判定的一致性。
• 附录分析：E.2 为源模型迁移与选择偏差，E.4 为任务特定效用，E.12 与 E.13 为样本级和片段级定性例子。论文未在正文给出这些附录实验的数值。

DataShield 是一种面向监督微调的数据中心框架，用来在不使用目标模型的情况下估计微调数据的安全退化风险。

• 问题：已对齐 LLM 在 Alpaca、Dolly 等任务数据上微调后，可能更顺从有害请求。已有过滤多依赖单一模型的均值向量、梯度、logits 或某一 tokenizer 的 token 边界，估计难以跨架构复用。
• 方法：三个安全对齐源模型（Llama3-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3）上，用权重扰动选出前 3 个安全关键层，对成对安全/不安全探测表示做谱分解，每个行为保留 16 个主方向。样本风险是与不安全子空间的对齐减去与安全子空间的对齐，再对源模型平均。响应在分词前切成字符片段，用自回归增量的片段内最大值定位新增风险。默认去掉或掩掉风险最高的 20%。
• 主结果：四个未见目标模型上，作者称相对 SOTA 基线，样本过滤平均降低 ASR 14.6%，片段掩码平均降低 32.3%。作者称 DataShield-Sp 与 DataShield-Sm 的平均 ASR 为 15.1% 与 14.9%，SOT 为 23.7%，TOSS 为 43.8%。Alpaca 微调后，Phi3-medium-4k-it 的 HARM ASR 从 Standard SFT 的 76.0% 到 DataShield-Sm 的 17.1%（Table 1）。平均 SLIMORCA 胜率从 68.1% 到 67.7%（Sp）和 67.2%（Sm）。
• 对照与消融：即便基线可以使用目标模型信息，Dolly 上 DataShield 的 ASR 仍更低（Table 2）。约 14K 条 Dolly 上，DataShield-Sp 为 47.9 GB、64 min，低于表中各基线（Table 3）。解耦掩码相对累积分数掩码，HarmBench ASR 从 14.1% 到 9.4%，HEx-PHI 从 11.9% 到 7.7%。子空间差距低于单侧分数和均值原型差距（Table 4）；d=16、K=3 被用于主实验。
• 作者结论：作者认为共识子空间对齐提供了可复用的安全保持信号，样本过滤与 tokenizer 无关的片段掩码能在多样目标 LLM 上降低攻击成功率，并大体保持下游效用。局限写在监督微调、两个下游数据集和通用有害请求基准上，后续可扩展模型族、多语言、专门任务以及法律、医疗、金融场景。