Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.03401· Ruihan Zhang, Jun Sun·Indexed by this site · Originally published

Using LLM alignment mechanisms to make data unlearnable

Rendering Data Unlearnable by Exploiting LLM Alignment Mechanisms

Quick read

Defenses

Based on 论文 PDF （AI 生成）; refer to the original

作者用Disclaimer Injection使文本难学习，FreshQA上Judge Acc为4.01（表2）。

Threat model数据所有者在 black-box 下保护文本：不能访问模型内部、梯度或训练目标，也不能影响训练流程。

Questions
公开或专有文本可能在所有者并不打算用于训练时被抓取进LLM。作者认为法律与监管能提供的实际救济不多，面向早期模型的扰动式不可学习样本对当代对齐LLM又常常无效。目标是在不接触模型内部和训练流程的黑盒条件下降低可学习性，并保持人可读。
Methods
用GPT-5.1生成对齐相关短声明，随机前缀拼到训练输入上，标签不变，不访问参数或梯度。作者称训练后对齐相关层对普通输入也持续有贡献，任务学习被压住。层贡献用跳过该层后的输出分布KL衡量。
Experiments and results
主实验为LLaMA-3-8B-Instruct。Table 2中Disclaimer Injection的Judge Acc更低。FreshQA上为4.01，对照39.68。作者称释义后下降仍超过70%，且部分扰动基线高于无保护。
Limitations and future work
作者写明效果依赖对齐机制，弱对齐或无安全约束的模型可能不响应，且方法可能被转作投毒。实验覆盖四个英文问答集与LoRA主设定；释义模型名、五个变体名称、样本量、重复次数和评审与人工一致性，论文未报告。
Experimental setupLLaMA-3-8B-Instruct · HotpotQA、TruthfulQA et al. · BLEU、ROUGE-1 et al.
Threat model
数据所有者在 black-box 下保护文本：不能访问模型内部、梯度或训练目标，也不能影响训练流程。目标是降低当代LLM对给定数据的可学习性，使微调后任务表现下降，同时保留语义与人可读性。评测中的对手包括释义恢复，以及更换模型族、规模或检查点的 model-adaptive adversary。
Evaluated models
LLaMA-3-8B-Instruct
Benchmarks
HotpotQATruthfulQAFreshQASimpleQuestions
Metrics
BLEUROUGE-1ROUGE-2ROUGE-LJudge Acc
AI summaryThe paper proposes Disclaimer Injection, a data-layer defense method that injects carefully designed alignment-triggering disclaimers into text, making the text difficult for LLMs to learn, without requiring access to or modification of the training pipeline. Layer-wise analysis shows that fine-tuning on such protected data consistently activates alignment-related layers, causing alignment constraints to overpower task learning even on common inputs, and models trained this way exhibit systematic performance degradation compared to standard fine-tuning. The authors claim this is the first practical method to limit data learnability at LLM scale, and treat alignment behavior as a previously unexplored lever in data protection.

The paper proposes Disclaimer Injection, a data-layer defense method that injects carefully designed alignment-triggering disclaimers into text, making the text difficult for LLMs to learn, without requiring access to or modification of the training pipeline. Layer-wise analysis shows that fine-tuning on such protected data consistently activates alignment-related layers, causing alignment constraints to overpower task learning even on common inputs, and models trained this way exhibit systematic performance degradation compared to standard fine-tuning. The authors claim this is the first practical method to limit data learnability at LLM scale, and treat alignment behavior as a previously unexplored lever in data protection.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    黑盒下注入对齐声明，使专有文本难以被当代LLM微调学会。

    如何在不接触模型与训练流程时，让文本难以被当代LLM学会。

    • 场景：作者认为，用户把个人或专有文本公开用于交流时，仍可能不希望这些内容进入商业LLM训练集。文本被大规模抓取后，法律与监管能提供的实际救济不多（引言）。
    • 现有不足：不可学习样本最初来自视觉（Huang et al., 2021; Zhang et al., 2023）。面向BERT等早期模型的表层扰动、对抗噪声或词替换，作者认为对当代LLM常常无效：模型能从释义和token变化中恢复语义；扰动过强又会扭曲原文。
    • 假设：对齐会使危险或违反政策的输入走与普通文本不同的内部通路。作者要检验能否把这种对齐行为转成数据保护手段。
    • 提出的方法：Disclaimer Injection 向普通任务输入注入对齐触发声明，使微调时对齐约束压过任务学习。作者称，就其所知，这是不访问、不修改训练流程即可在LLM规模上限制可学习性的实用方法。
    • 威胁模型
      • 目标：降低给定数据集对当代LLM的可学习性。受保护数据用于微调后，下游任务表现应下降，同时保留语义和人可读性，并希望跨架构、对齐方法与微调策略成立。
      • 知识：论文称为 realistic black-box，方法本身是 fully black-box。数据所有者不能访问参数、梯度或训练过程，也不假设特定架构。
      • 能力：不能影响训练流程。保护是数据预处理：独立生成器写出声明，再拼到原输入，标签不变。
      • 评测中的对手：第4.3节用释义试图恢复可学习训练集；第4.4节的 model-adaptive adversary 更换模型族、规模或检查点。

  2. What related research exists?

    讨论集中在不可学习样本、文本扰动和LLM对齐；基线是BAE与Seq2Sick。

    正文没有独立的 Related Work 节，相关讨论在引言和第2节。

    数据级保护与不可学习样本

    • Huang et al.（2021）、Zhang et al.（2023）：在数据层面限制再利用。不可学习样本最初来自视觉，使人仍可使用，模型却学不到有用表示。
    • 访问控制：Samarati and De Vimercati（2000）被用来对照。作者称不可学习样本不限制数据可得，只抑制可学习性。
    • 法律与抓取：Hristov（2016）、Borgesius（2015）、Kim et al.（2025）被引来说明版权、同意和抓取指令的实际约束。论文未把它们与本文做方法对比。

    文本扰动

    • BAE与Seq2Sick：Garg and Ramakrishnan（2020）的BAE面向文本分类；Cheng et al.（2020）的Seq2Sick评估序列到序列模型的对抗样本。作者把它们与词面替换（Wen et al., 2023）归为早期模型上的表层扰动、对抗噪声或词替换。
    • 鲁棒性与语义：Alahmari et al.（2025）、Chai et al.（2024）被引来说明当代LLM对释义、噪声和token变化较稳；Alzantot et al.（2018）对应扰动强到影响学习时常常扭曲语义。作者据此称，目前没有可在LLM规模上使用的实用文本不可学习机制。这是作者的判断，不是被引论文的主张。

    对齐及其副作用

    • 对齐训练：Christiano et al.（2017）、Ouyang et al.（2022）、Stiennon et al.（2020）、Bai et al.（2022）把安全与偏好写进训练；Rafailov et al.（2023）的DPO直接优化偏好比较。Glaese et al.（2022）涉及对话对齐。
    • 对齐触发与越狱：Wei et al.（2023）、Zou et al.（2023）研究安全训练失败和对齐模型上的对抗攻击。作者称这些现象多在安全与伦理中讨论，对训练动态和数据可学习性关注很少。
    • 副作用：Zhou et al.（2025）、Wu et al.（2025）对应过度拒答，以及对少见但正当回答的覆盖下降。论文未把它们当作实验基线。

    基线与基准

    • 基线方法：No alteration、BAE、Seq2Sick。后两者被作者描述为在保持语义的同时引入最小扰动，以利用模型的敏感处降低准确率。
    • 基准：HotpotQA（Yang et al., 2018）、TruthfulQA（Lin et al., 2022）、FreshQA（Vu et al., 2024）、SimpleQuestions（Diefenbach et al., 2017），均为英文语料。

    作者把本文放在两条线的交汇处：不改训练管线，只在输入侧注入对齐信号。作者称对齐行为此前未被当作数据保护杠杆，并称就其所知，这是不访问、不修改训练流程、在LLM规模上限制数据可学习性的第一种实用方法。

  3. How does the paper address this problem?

    随机前置对齐声明，并用跳层KL衡量对齐层是否被持续激活。

    整体做法是 Disclaimer Injection：不改任务标签，只在普通输入前加上能触发对齐处理的短声明，使训练时的内部表示偏离普通任务文本。

    问题设定

    • 序列分成上下文 x 与目标 y，监督只加在 y 上。SFT把样本做成 (x, y)；PEFT只更新少量参数，目标仍是同一条件似然。
    • 对齐被写成在似然项之外加对齐损失。论文的直觉是：某些回答即使在输入条件下统计上合理，也会变得不太可能。实现上包括RLHF和DPO，本文不改这些目标。
    • 保护要满足三条：微调后任务表现下降；人仍能读懂原文；变换不依赖特定架构、对齐方法或微调策略。

    表示分离与声明构造

    • 第 l 层残差流记为 R_l(x)。作者称，若表示被推离普通任务数据所诱导的表示，原信息就难以被用来学习。
    • Figure 2 含混淆矩阵和分类 t-SNE。图注对象是 hazardous inputs 与 benign inputs；正文称对齐触发输入与普通任务文本的残差表示分开。作者称，在残差流上训练的简单多层感知机，区分二者的准确率超过90%。论文未说明残差来自哪个模型，也未给样本量。纯文本看不到簇的位置。
    • 声明是表达安全、风险或责任约束的短自然语言。独立生成器 M 在实验中为 GPT-5.1。第3.2节的提示要求一次产出50条声明；具体句式与长度约束不复述。作者称声明受固定 token 预算约束，并用直接表述，以免减弱对齐激活。
    • Algorithm 1：对每条 (x_i, y_i) 生成 K 个候选，均匀抽一条，拼到原输入前，标签不变，时间随数据规模线性增长。正文实验是从声明池随机抽一条做前缀。后缀和行内插入论文称也支持，但未给对照分数。论文未单独报告实验使用的 K，也未说明它是否等于提示中的50。不用固定模板，以免模型只记住某一种结构或位置。Table 1 给了一则拼接例子，此处不引原文。

    层间因果分析

    • 沿 Zhang et al.（2025），把 transformer 看成计算图，前向时跳过第 l 层，看输出分布变化。
    • 生成步 t 的层因果效应为 ξθ(l,t;x)=DKL(pθ(yt|x,y<t)|pθ(−l)(yt|x,y<t))。它衡量当前步的输出有多依赖第 l 层；上标 (-l) 表示跳过该层、其余层不变。
    • Figure 4 是层 0–32、生成步 0–2 的因果效应图，分使用本方法与不使用。作者称，同一输入上，标准微调模型 fft 中某些层 l* 的效应约等于 0，而在不可学习数据上训练的 fun 中这些层跨生成步大于 0。热图上的具体色值在纯文本中不可读。
    • 作者把 fft 的 l* 层换成 fun 的对应层，称混合模型在微调任务输入上类似 fun，对无关查询则大体不受影响。作者据此称这些层介导了任务学习变差。论文未给出 l* 的层号，也未给混合模型的定量分数。

    如何判定保护生效

    • 可学习性用下游任务分数看：低于无保护微调，视为更难学习。指标与评审在第4问。
    • 作者的机制说法是：受保护数据被当作对齐相关内容处理，普通输入也会持续激活对齐相关层，输出呈拒答式或错误回答。Figure 1 的图注称，用不可学习数据训练后的模型会答错，并带上关系松散的内容。

  4. What experiments did the paper conduct?

    表2里Disclaimer Injection的Judge Acc低于无保护与两条扰动基线。

    实验设置

    • 被测模型：主结果为 LLaMA-3-8B-Instruct，LoRA 监督微调。Figure 7 另有五个模型，覆盖不同模型族、规模和 instruction/chat 配置；正文未给出名称。
    • 数据：HotpotQA、TruthfulQA、FreshQA、SimpleQuestions，均为英文；除非另有说明，使用标准划分。样本量论文未报告。
    • 训练：bf16，最大序列长度 2048，3 个 epoch，cosine 学习率调度。学习率、批大小和随机种子论文未报告。解码设置默认保持一致；温度论文未报告。
    • 基线：No alteration、BAE、Seq2Sick，以及训练前施加的 Disclaimer Injection。
    • 指标：BLEU、ROUGE-1/2/L，以及 LLM judge。Judge 为 GPT-5.1，输出二值正确性：看与参考答案的事实是否一致，忽略文风。作者称它是 Exact Match 的语义类比。论文未另给分数阈值。分数越低，作者视为越难学习。
    • 其他模型：声明由 GPT-5.1 生成。释义使用一个被要求保持语义、约束和目标答案的 LLM，论文未给出名称。重复次数论文未报告。

    主结果

    主实验模型为 LLaMA-3-8B-Instruct。下表只列 BLEU 与 Judge Acc，均来自 Table 2。ROUGE-1/2/L 同表，不重复列入。

    Swipe horizontally to read the table

    数据集与指标No alterationBAESeq2SickDisclaimer Injection
    HotpotQA BLEU53.1950.9949.3121.26
    HotpotQA Judge Acc63.3962.0261.4438.41
    TruthfulQA BLEU51.1851.6752.2925.01
    TruthfulQA Judge Acc60.9758.1558.0341.46
    FreshQA BLEU27.0528.1828.375.58
    FreshQA Judge Acc39.6839.2738.704.01
    SimpleQuestions BLEU34.7433.9235.3114.37
    SimpleQuestions Judge Acc55.3056.5150.2326.53
    • 作者称该方法在四个基准上都比无保护和扰动基线带来更大的表现下降。Table 2 中，其 BLEU 与 Judge Acc 均低于同一数据集的三行对照。
    • 扰动基线并不总是低于 No alteration：TruthfulQA 与 FreshQA 的 BLEU、SimpleQuestions 的 Seq2Sick BLEU 和 BAE Judge Acc 都更高。作者认为表层扰动仍保留输入与监督的语义关系，并称 FreshQA 语义约束紧、释义提供的混淆很小。
    • 正文另写倍数：HotpotQA 的 BLEU 写成 21.36、1.5 倍下降，Judge Acc 写成下降 65%；又称重叠指标平均 2.1 倍、Judge Acc 平均 2.4 倍，FreshQA 上 Judge Acc 超过 8.7 倍、BLEU 为 3.8 倍。这些与 Table 2 的写法不一致；HotpotQA 的 BLEU 以表中 21.26 为准，倍数只作作者表述。

    自适应释义

    • 测了什么：每条训练样本做一次确定性释义，再按相同设置微调，并在原始测试集上评估（Figure 5；图注把空心柱标为释义）。柱高在纯文本中不可读。论文未说明该图对应哪个基准，也未说明释义模型。
    • 结果：作者称 BAE 与 Seq2Sick 在释义前后都仍可学习，各指标大约落在无保护训练的 ±2.6% 以内，Judge Acc 在两种条件下都高。Disclaimer Injection 相对无保护训练的下降超过 70%，释义带来的变化在所有指标上小于 3%。
    • 作者解读：作者称这是针对语义的不可学习，而不是只破坏表面形式，在释义下仍然稳定。

    微调方式与模型变体

    • 微调方式（Figure 6）：LoRA、full fine-tuning、frozen-backbone。作者称各变体分数都低，BLEU、ROUGE 与 Judge Acc 的差异最多 3.5%；相对标准训练，表现被压低约 57%。论文未说明该图的基准。
    • 模型变体（Figure 7）：五个代表模型，同一流程训练和评估。作者称 BLEU、ROUGE、Judge Acc 跨模型的差异不到 7%；Judge Acc 的绝对范围大约 23%；相对无保护训练，各模型下降大约 45%。作者称没有模型出现有意义的恢复。名称与基准正文未写。
    • 作者解读：作者称效果对模型选择大体不变，增加容量或换 instruction-tuning 不能实质恢复可学习性，并据此称方法在 model-adaptive 威胁下仍然有效。

    其他消融与分析

    • 表示分离：作者称多层感知机准确率超过 90%（第3.1节、Figure 2）；跳层 KL 见 Figure 4。除该准确率外，论文未给层分析的定量分数。
    • 插入位置：实验描述用前缀；后缀与行内插入被称支持，论文未报告三种位置的分数。
    • 正文把两条扰动基线在 HotpotQA 上概括为 BLEU 50.15±0.84、Judge Acc 61.73±0.29。这与 Table 2 两行的中点一致，论文未说明是多次运行的标准差。
    • 声明长度、候选数 K、声明风格的消融，以及人可读性的人工评分，论文未报告。
    • Figure 3 对比原输入与拼接后输入的残差流模式；图中数值在纯文本中不可读。

  5. What are some points that can be further explored?

    作者称效果依赖目标模型已有对齐，弱对齐时可能不响应。

    作者指出的局限与后续方向

    • 依赖对齐：效果取决于目标模型里存在对齐机制（Limitations）。
    • 弱对齐情形：对齐较弱、或有意不加安全约束训练的模型，可能不响应注入信号；作者称这会限制适用情形（Limitations）。作者同时称，多数当代LLM为安全做过对齐，故该假设在实践中现实。
    • 后续方向：对对齐较弱的模型，未来工作可以探索把 Disclaimer Injection 与其他数据级保护结合，或把注入信号改到对齐以外的归纳偏置（Limitations）。
    • 转用风险：作者指出该技术可能被转作数据投毒或破坏工具（Limitations）。

    实验覆盖范围

    • 主结果的被测模型是 LLaMA-3-8B-Instruct，LoRA，bf16，最大长度 2048，3 个 epoch，cosine 调度（第4.1节）。学习率数值论文未报告。
    • 基准是四个英文问答集：HotpotQA、TruthfulQA、FreshQA、SimpleQuestions；除非另有说明使用标准划分（第4.1节、Table 2）。各集样本量论文未报告。
    • 对照是 No alteration、BAE、Seq2Sick；评审是 GPT-5.1 的二值事实判断（第4.1节）。重复次数，以及评审与人工是否一致，论文未报告。
    • 释义实验每例一条确定性改写（第4.3节、Figure 5）。微调变体为 LoRA、full fine-tuning、frozen-backbone（Figure 6）。另有五个模型变体（Figure 7）。改写模型名称、五个模型名称，以及 Figure 5–7 的基准，论文未在正文说明。
    • 因果分析覆盖层索引 0–32、生成步 0–2（Figure 4），并做了 l* 层替换。声明由 GPT-5.1 生成。人可读性的人工评分论文未报告。

  6. Summarize the main content of the paper

    黑盒声明注入压低微调分数，作者把它归因于对齐层持续激活。

    作者提出数据级方法 Disclaimer Injection，在 black-box 条件下降低文本被当代LLM微调学会的程度。

    所有者公开文本时未必打算供人训练。作者认为抓取之后法律手段难起作用，而早期模型上的表层扰动要么被当代LLM恢复语义，要么损坏可读性。

    实验里用 GPT-5.1 生成对齐相关短声明，随机前缀拼接，标签不变，不访问参数或梯度。作者称微调会使对齐相关层在普通输入上持续激活，任务学习被压过。层的作用用跳过该层后的输出 KL 衡量；把这些层换入普通微调模型后，作者称任务行为会变差。

    主实验是 LLaMA-3-8B-Instruct 加 LoRA，四个英文问答集，对照为无保护、BAE 和 Seq2Sick（Table 2）。Disclaimer Injection 的 Judge Acc：HotpotQA 为 38.41（无保护 63.39），TruthfulQA 为 41.46（无保护 60.97），FreshQA 为 4.01（无保护 39.68），SimpleQuestions 为 26.53（无保护 55.30）。FreshQA 上该方法 BLEU 为 5.58，无保护为 27.05。表中部分扰动基线高于无保护。

    作者称释义后相对无保护的下降仍超过 70%，释义带来的变化小于 3%（Figure 5）；三种微调的差异最多 3.5%，相对标准训练约低 57%（Figure 6）；五个模型变体大约低 45%（Figure 7）。这些图的基准和五个模型名称正文未写。

    作者的结论是，对齐机制可以在不访问模型内部时，用来控制现代LLM的数据可学习性。作者同时写明，弱对齐模型可能不响应，且该方法可能被转作投毒。

Read originalarxiv.org