DRA：用去噪表征的数据归因检测与过滤不安全训练数据

1. 01这篇论文试图解决什么问题？

   不安全训练数据会带偏模型，审核分类器不衡量训练影响；DRA用去噪表示做归因过滤。

   少量不安全训练数据就会让模型出现不安全行为，而现有审核分类器不按训练影响定位这些样本。

   • 场景：作者称毒性、刻板印象、隐私泄露和伦理违规的一个主要来源是不安全训练数据。固有偏见，或有意注入的对抗提示与后门，都可能绕过已有安全对齐。
   • 现有不足：Perspective API、OpenAI Moderation API，以及 Llama-Guard-3-8B、Wildguard，或受预定义类别限制，或需要额外数据与训练，并按文本风格做与模型无关的标记。作者称它们抓不住单个样本的训练影响，因而不利于靠重训提升安全。
   • 观察：另一类方法假设不安全训练样本与不安全模型输出的表示更相似。若对全部 token 平均，停用词和中性事实会把表示变噪，盖过少数关键 token。
   • 做法：提出 Denoised Representation Attribution（DRA），对训练表示和目标表示去噪并选维，再据此过滤。实验包括越狱注入过滤和性别偏见检测。
   • 威胁模型：
     • 目标：第 4 节中，adversary 向良性训练集注入少量不安全样本，诱发越狱。第 5 节写的是训练集里的固有性别偏见，论文未把该节称为对抗者。
     • 检测方所知：Dbenign 与 Dunsafe 的成员未知，不安全部分通常较小。另有小型 Dtarget，即不安全模型输出，可由用户标记或红队收集。
     • 所用信号：对训练点与目标点取 h(z)，为 hidden states 或 gradients，再与聚合后的目标表示比相似度。论文未写 white-box 或 black-box。
     • 受害对象：用这些数据微调的 LLM。作者称该设定是事后归因，用来追溯不安全行为来自哪些训练样本，而不是只做与回复无关的事前审核。

   收起这一问

2. 02有哪些相关研究？

   相关工作包括不安全数据来源、审核分类器与表示相似度归因；作者把去噪选维用到训练数据检测。

   引言与 Related Work 把讨论分成数据来源、审核分类器和表示相似度三类。

   • 不安全训练数据从哪来
     • 恶意微调：Yi et al.（2024）与 Qi et al.（2023）讨论少量不安全数据即可严重破坏安全对齐。Qi et al.（2023）还称在线微调服务不足以检出这些数据。
     • 合成数据：Wang et al.（2022）按关键词和目标标签让模型生成样本；Wang et al.（2023）用模型回复合成微调数据。作者引用 Wang et al.（2024a），称 GPT-4 与 GPT-3.5 也会出现不安全行为，因而合成数据可能带入风险。
     • 固有偏见：Kotek et al.（2023）讨论性别偏见与职业假设。Itzhak et al.（2024）、Echterhoff et al.（2024）讨论训练中的认知偏见和高风险决策。
   • 内容审核分类器
     • 在线工具：OpenAI Moderation API（Markov et al., 2023）；引言还提到 Perspective API。作者称它们面向预定义类别，并引用 Weber et al.（2025）说明难以泛化到类别外内容。
     • 微调检测器：Llama-Guard-3-8B、Wildguard、Aegis-Guard（Ghosh et al., 2024）、ShieldGemma（Zeng et al., 2024）。作者称这类模型要额外数据与训练，且不计入样本对模型的训练影响。
     • 把 LLM 当评审：Franco et al.（2023）与 Li et al.（2024a）。Safety-Analyst 用 LLM 生成 harm-benefit 树做可解释审核。论文对后一篇只作描述。
   • 表示相似度与数据归因
     • 嵌入或梯度：BEBC（Zheng et al., 2024）用微调 BERT 嵌入做审核；GradSafe（Xie et al., 2024）相对安全相关参数估计梯度相似度。引言还列出用 hidden states 的 LARF（Li et al., 2025）、RepSim（Pezeshkpour et al., 2021），以及梯度相似度（Xia et al., 2024）。
     • 影响估计：Koh and Liang（2020）量化训练样本对输出的影响；Xia et al.（2024）、Kwon et al.（2024）用梯度相似度降低计算量。作者认为这类视角适合找不安全数据，因为这类数据对不安全行为的影响往往不成比例。
     • 作者点名的差距：GradSafe 与 BEBC 主要做提示过滤；训练数据检测里标签也会驱动行为。作者称直接挪到训练数据上效果不好，回复中的噪声会拉低检测（Jiao et al., 2025）。
   • 基线与数据：实验基线为 OpenAI Moderation API、Llama-Guard-3-8B、Wildguard、GradSafe、GradSim、RepSim。越狱设定跟随 DATE-LM，良性数据为 UltraChat-200k，注入来自 ToxicChat 与 XSTest-Response。性别偏见用 Bias in Bios。

   作者把本文放在训练数据检测里：对基于表示的归因做去噪和选维，以利用训练标签并减轻回复噪声，且不依赖额外标注和预定义类别。

   收起这一问

3. 03论文如何解决这个问题？

   DRA先中心化并白化表示，再按leave-target-out可分性指数选30维，去掉高分训练样本。

   DRA 不训练新的审核器。它把不安全训练样本当作信号、把大量良性样本当作噪声，先中心化并白化表示，再只保留对不安全更可分的维度，用所得分数删掉最可疑的训练样本。

   问题设定与朴素分数

   • 训练集写成 Dtrain = Dbenign ∪ Dunsafe，成员未知，不安全部分通常较小。另有小型 Dtarget，由不安全模型输出构成。
   • h(z) 属于 R^m，可以是 hidden states 或 gradients。B、U、Q 分别是三类数据的表示，X = B ∪ U。
   • 已有做法把 Q 聚成 μQ，例如取均值，分数为内积 s_μQ(x) = ⟨x, μQ⟩，取得分最高的训练样本。作者认为 x 和 μQ 都含大量与不安全无关的语义，因此是噪声表示。

   用可分性指数衡量分数

   • 作者借用信号检测理论：不安全样本是信号，良性样本是噪声。可分性指数 d′ 由该分数下信号与噪声的均值差和噪声标准差决定。
   • 对朴素分数，他们写成 d′(s_μQ)=⟨μ_U−μ_X,μ_Q⟩/√(μ_Q^⊤Σ_Xμ_Q)。μU、μX 是 U 与 X 的均值，ΣX 是 X 的协方差。
   • 严格说噪声应是 B。作者假设 |U| 远小于 |B|，因而 X 与 B 的经验分布接近。
   • 作者引用 Stanislaw and Todorov（1999），称在一定技术假设下 d′ 与 AUROC、AUPRC 单调相关，故把 d′ 当作这些指标的替代，并便于拆开分析。

   去噪：最优线性分数的可计算近似

   • 线性分数族为 sw(x) = ⟨x, w⟩。Lemma 3.1 的最优权重是 w^∗∝Σ_X⁻¹(μ_U−μ_X)。它依赖未知的 μU，不能直接算。
   • 作者假设 μQ 与 μU 对齐较好，改用插件权重 ΣX^{-1}(μQ − μX)。相对 ⟨x, μQ⟩，该分数先减去背景均值 μX，再左乘 ΣX 的逆平方根做白化。
   • 作者给出的理由是：高方差维可能对应话题或文风，而不是不安全；白化会压低这些维。他们称所得分数在与 x 无关的常数意义下是 Mahalanobis 相关。

   选维、打分与过滤

   • 白化后维数 m 仍然很大。对 ΣX 做特征分解，取一组特征向量张成的投影 ΠI，再在这些维上计算分数 sI。
   • 直接最大化 d′(sI) 仍依赖未知的 U。作者用 Q 代替 U，定义留出目标集（leave-target-out）指数 d′LTO(sI)：它相当于在 Dtrain ∪ Dtarget 里把 Dtarget 本身找出来的敏感度。
   • DRA 用的是 s_I*，其中 I* 在给定维数 r 下最大化 d′LTO。全文实验取 r = 30。实现上先把候选收到前 m′ 个特征向量再搜索 I；论文未给出 m′。
   • 过滤时按该分数排序，去掉 top-K 的 SK(Dtarget)。作者称去掉后的数据预期能减少重训后的不安全行为。方法节没有规定唯一的 K。

   收起这一问

4. 04论文做了哪些实验？

   越狱与性别偏见实验里，DRA提高归因AUPRC；过滤后再训练时ASR或性别差距多数下降，有例外。

   实验设置

   • 骨干与训练：Llama-3-8B-Instruct、Gemma-2-9B-it。4 个 epoch，warmup ratio 0.1，batch size 1，无梯度累积，并用 LoRA。学习率分别为 1e-4 与 1e-5。归因和再训练评测都只用最后一个 checkpoint。硬件为 Nvidia A40；训练用 TRL，AUPRC 用 scikit-learn（Appendix F）。
   • 越狱数据：跟随 DATE-LM。良性集为 UltraChat-200k，不安全样本来自 ToxicChat 与 XSTest-Response，涵盖毒性/有害内容以及对抗性的 prompt-response 对。安全评测用官方 test split。注入条数正文未写。
   • 性别偏见数据：Bias in Bios。Dbenign 为 10,000 条传记–职业对，Dunsafe 为 150 条把女性医师标签改成 nurse 的样本。Section 5.1 的目标侧是 50 条职业预测提示上生成的性别偏见回复。Table 6 去掉得分最高的 500 条。
   • 基线：OpenAI Moderation API 覆盖 11 个安全类别，AUPRC 取各类最高置信度。Llama-Guard-3-8B（论文称由 Llama-3.1-8B 预训练后做安全分类）与 Wildguard（论文称在 Mistral-7B 上训练）都用输出 unsafe 这个 token 的概率。GradSafe 看 Llama-2 安全相关参数上、模型顺从回复对提示的梯度，且不依赖被测模型回复。GradSim 是样本梯度与目标梯度均值的 ℓ2 归一化内积；RepSim 是最后一层最后一个 token 的 hidden state，同样与目标均值做 ℓ2 归一化内积。
   • 指标与目标集：检测主指标是 AUPRC。precision 为 |SK ∩ Dunsafe| / |SK|，recall 为 |SK ∩ Dunsafe| / |Dunsafe|，结果表未单列这两项。ASR 是 held-out 测试集上引出不安全回复的提示比例，对 Dtest 做 10 次推理取平均。越狱与性别偏见的 Dtarget 都定义为这些运行中相应不安全或偏见输出的并集。性别差距同样 10 次平均。
   • 评审与超参：ASR 由固定版本 GPT4o（2024-11-20）按 1 到 5 分评定，得 5 分计为成功；评分准则写的是是否违反 Meta 的使用规范（Appendix A）。论文未报告该评审与人工的一致性。DRA 的选出维数 r = 30。TPR Gender Gap = TPR_{A=0} − TPR_{A=1}，A=0 为 male，A=1 为 female；职业里 Y=1 为 physician，Y=0 为 nurse，测试集真值均为 physician。

   主结果

   据 Table 1，数据归因方法的检测 AUPRC（%）。Δ 是 DRA 相对对应基线、在两个数据集上差值的平均。

   表格较宽，可左右滑动

   骨干	方法	ToxicChat	XSTest-Response	Δ
   Llama-3-8B-Instruct	GradSim	36.4%	1.7%	–
   Llama-3-8B-Instruct	GradSim-DRA	83.2%	81.5%	+63.3
   Llama-3-8B-Instruct	Repsim	56.3%	88.5%	–
   Llama-3-8B-Instruct	Repsim-DRA	92.6%	98.6%	+23.2
   Gemma-2-9B-it	GradSim	41.1%	50.2%	–
   Gemma-2-9B-it	GradSim-DRA	82.3%	95.5%	+43.3
   Gemma-2-9B-it	Repsim	51.6%	83.9%	–
   Gemma-2-9B-it	Repsim-DRA	98.2%	99.8%	+31.3

   • 作者的总括：作者称 DRA 提高了使用 hidden states 或 gradients 的归因基线，并且在套用 DRA 后超过最强的审核分类器。摘要写平均检测 AUPRC 提高最多 63.3%；该数就是表中 Llama-3-8B-Instruct、GradSim-DRA 的 Δ，是两个 AUPRC 百分数之差的平均，不是相对倍率。
   • 同表分类器：OpenAI Moderation API 为 24.3% 与 37.8%，Llama-Guard-3-8B 为 44.5% 与 91.6%，Wildguard 为 56.0% 与 93.0%，GradSafe 为 37.6% 与 27.4%。顺序均为 ToxicChat、XSTest-Response。这些行未标明骨干模型。
   • 与总括不一致的格子：Llama-3-8B-Instruct 的 GradSim-DRA 在 XSTest-Response 上低于同表的 Wildguard 和 Llama-Guard-3-8B。上表里每一行 DRA 都高于它自己的 GradSim 或 Repsim。

   过滤后再训练的越狱 ASR

   • 注入本身：Table 2 中，Llama-3-8B-Instruct 在 Dtrain 上为 ToxicChat 33.3%、XSTest-Response 73.0%，只训 Dbenign 时为 26.7% 与 0.0%。Gemma-2-9B-it 对应为 28.0% 与 71.0%，对照 15.7% 与 0.0%。作者称含不安全数据时 ASR 更高。论文未报告统计检验。
   • 过滤后的数字：Table 3 未写过滤条数 K。Llama-3-8B-Instruct：Wildguard 29.0% / 50.0%，GradSim 34.7% / 68.0%，GradSim-DRA 26.0% / 43.0%（Δ −16.9），Repsim 29.0% / 63.0%，Repsim-DRA 27.3% / 60.0%（Δ −2.35）。Gemma-2-9B-it：Wildguard 30.5% / 30.0%，GradSim 29.0% / 77.0%，GradSim-DRA 23.3% / 3.0%（Δ −39.9），Repsim 29.0% / 70.0%，Repsim-DRA 30.7% / 64.0%（Δ −2.15）。斜线两侧依次为 ToxicChat、XSTest-Response。
   • 作者解读与例外：作者称梯度归因加上去噪和选维后，重训安全提升最大，并认为梯度更能反映训练动态。Table 3 四格最低 ASR 都是 GradSim-DRA。摘要写平均 ASR 最多降低 39.9%，与 Gemma-2-9B-it 上 GradSim-DRA 的 Δ 相同。例外是该模型的 Repsim-DRA 在 ToxicChat 上为 30.7%，高于 Repsim 的 29.0%。

   性别偏见检测与过滤

   • 偏见是否被学到：Table 4 的 TPR Gender Gap，Llama-3-8B-Instruct 在无偏数据上为 -0.066、有偏数据上为 0.848；Gemma-2-9B-it 为 0.032 与 0.452。作者称有偏数据上差距更高。论文未报告统计检验。
   • 检测 AUPRC：Table 5 用 0–1 刻度，不是百分数。Llama-3-8B-Instruct：Wildguard 0.059，GradSim 0.417，GradSim-DRA 0.550（Δ +0.133），Repsim 0.333，Repsim-DRA 0.748（Δ +0.415）。Gemma-2-9B-it：Wildguard 0.059，GradSim 0.404，GradSim-DRA 0.468（Δ +0.064），Repsim 0.009，Repsim-DRA 0.369（Δ +0.360）。作者称 Wildguard 难以泛化，因为性别偏见往往没有审核器训练时捕捉的显式伤害信号。作者称梯度方法增益尤其大；表中 Δ 更大的是 Repsim-DRA。
   • 去掉 top 500 后：Table 6。Llama-3-8B-Instruct：不过滤 0.848，Wildguard 0.798，GradSim 0.650，GradSim-DRA 0.246（Δ −0.404），Repsim 0.296，Repsim-DRA 0.092（Δ −0.204）。Gemma-2-9B-it：不过滤 0.452，Wildguard 0.480，GradSim 0.344，GradSim-DRA 0.224（Δ −0.120），Repsim 0.536，Repsim-DRA 0.346（Δ −0.190）。作者称梯度归因从 DRA 获益最大。最低值在 Gemma-2-9B-it 上是 GradSim-DRA，在 Llama-3-8B-Instruct 上是 Repsim-DRA。Gemma-2-9B-it 上，Wildguard 与 Repsim 的差距都高于不过滤。

   其他消融与分析

   • Table 7，Llama-3-8B-Instruct 的 GradSim：只去噪为 60.1% / 21.7%（Δ +21.9），只选维为 50.3% / 65.5%（Δ +38.9），合用为 83.2% / 81.5%（Δ +63.3）。斜线两侧为 ToxicChat、XSTest-Response。
   • Table 7，Gemma-2-9B-it 的 GradSim：只去噪为 61.1% / 64.4%（Δ +17.1），只选维为 59.2% / 62.3%（Δ +15.1），合用为 82.3% / 95.5%（Δ +43.3）。作者称两步互补，合用高于只用一步。
   • Appendix C.2 / Figure 3：每个目标集规模重复采样 50 次，报告均值和标准差。图注写 Grad-Sim 与 Grad-Sim-Dr-Unsafe，正文称 DRA。作者称少至 3 个目标样本即可超过 Wildguard；曲线点值正文未列。
   • Figure 1、Figure 2 图注写 Llama-3.1-8B-Instruct：原始梯度 t-SNE 的 AUPRC = 0.017（XSTest-injected），DRA 所选白化 PCA 维的 AUPRC = 0.815（XSTest-Response-injected）。作者称原始空间里不安全梯度与良性数据分不开，DRA 之后形成可分离模式。图注模型名与 Table 1 的 Llama-3-8B-Instruct 不一致，论文未说明是否为同一次实验。
   • Figure 4：作者称由单维表示相似度算出的 AUPRC 随 d′ 单调上升，因而把最大化 d′ 当作 DRA 的目标。正文未列点值。结论称梯度方法有时检测分更低，但重训后最安全；Table 6 的 Llama-3-8B-Instruct 上，最低性别差距来自 Repsim-DRA，不是 GradSim-DRA。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出注入数据被设为同质、未做细粒度类别，且归因分数可能被对抗操纵。

   作者指出的局限与后续方向

   • 注入被设为同质：当前把注入数据视为来自同一分布的同质样本。作者称真实情况更可能是异质注入，不同样本对不同类型不安全行为的影响不同，以后需要更细致的注入策略（Limitation，Injection Setup）。
   • 没有细粒度类别：训练数据和目标数据都混合多种不安全类型，本文没有细粒度检测分类法。作者认为挑选目标数据或许能检测特定类型，但把它放在本文范围外，并建议作为后续方向（Limitation，Detection Taxonomy）。
   • 分数可能被操纵：作者引用 Wang et al.（2024b），称影响估计存在漏洞，攻击者可能操纵估计出的影响分数，从而藏起不安全训练数据，削弱检测的稳健性（Limitation，Potential Risks）。

   实验覆盖范围

   • 按模型报告安全与检测结果的骨干是 Llama-3-8B-Instruct 与 Gemma-2-9B-it（Table 1–6）。GradSafe 使用 Llama-2 的梯度；ASR 评审是 GPT4o（2024-11-20）。
   • 越狱检测跟随 DATE-LM：良性集 UltraChat-200k，注入来自 ToxicChat 与 XSTest-Response，安全评测用官方 test split（Section 4.1）。正文未写注入条数，也未写 Table 3 过滤所用的 K。
   • 性别偏见使用 Bias in Bios：Dbenign 10,000 条，Dunsafe 150 条，目标提示 50 条；Table 6 去掉 top 500。差距对比的职业是 physician 与 nurse，性别属性为 male 与 female（Section 5）。
   • 检测对照包括 OpenAI Moderation API、Llama-Guard-3-8B、Wildguard、GradSafe、GradSim、RepSim。检测指标为 AUPRC；ASR 与 TPR Gender Gap 都对 10 次推理取平均（Section 4.2、5.2）。论文未报告 GPT4o 评审与人工的一致性。
   • 消融只报告 GradSim 的去噪与选维（Table 7）。目标集规模实验对每个规模重复采样 50 次（Appendix C.2）。选出维数 r = 30（Section 3.3）。Figure 1–2 的图注模型名为 Llama-3.1-8B-Instruct。

   收起这一问

6. 06总结一下论文的主要内容

   DRA去噪表示以检出并滤除不安全训练数据，过滤后重训的越狱ASR与性别差距在多数设置下降。

   DRA 用数据归因从微调数据里找出并去掉不安全样本，而不是再训一个审核分类器。

   • 问题：作者称 LLM 对少量不安全训练数据敏感，来源包括毒性内容、偏见和训练时注入。审核分类器受预定义类别限制，也不衡量样本对这次训练的影响；对全部 token 的表示取平均，又会被中性 token 带噪。
   • 方法：把不安全样本看作信号、良性样本看作噪声。用少量不安全模型输出估计信号方向，对 hidden states 或 gradients 做中心化与白化，再按 leave-target-out 的可分性指数选出 r = 30 的维度打分，删去高分样本后重训。
   • 越狱：骨干为 Llama-3-8B-Instruct 与 Gemma-2-9B-it。DRA 提高 GradSim 和 RepSim 的 AUPRC；前者在 Llama-3-8B-Instruct 上、ToxicChat 与 XSTest-Response 的平均差为 +63.3（Table 1）。Gemma-2-9B-it 经 GradSim-DRA 过滤后，XSTest-Response 的 ASR 为 3.0%，两数据集平均变化为 −39.9（Table 3）。同表里，该模型 Repsim-DRA 的 ToxicChat ASR 高于未加 DRA 的 Repsim。
   • 性别偏见：有偏数据上的 TPR Gender Gap，两个骨干为 0.848 与 0.452（Table 4）。Repsim-DRA 的检测 AUPRC 为 0.748 与 0.369（Table 5）。去掉 top 500 后，Llama-3-8B-Instruct 上最低差距是 Repsim-DRA 的 0.092，Gemma-2-9B-it 上是 GradSim-DRA 的 0.224（Table 6）。
   • 作者结论：作者称 DRA 在这些数据集和场景上优于主要基于审核分类器的做法，且不绑在预定义类别上；梯度方法有时检测分更低，但重训后往往更安全。Table 6 的 Llama-3-8B-Instruct 不符合后半句的“总是最低”。作者还写出注入同质、没有细粒度类别，以及影响分数可能被对抗操纵。

   收起这一问

相关论文