顺势学习（Homeopathic Learning）：稀释被投毒的微调数据反而能强化其效果

1. 01这篇论文试图解决什么问题？

   作者研究单独无效的投毒数据为何在混入同类干净数据后反而形成条件后门。

   核心问题：为什么单独微调时几乎无效的投毒数据，在加入同类干净数据后反而会产生隐藏后门，这对孤立审计训练数据的安全方法意味着什么。

   • 问题场景与重要性：数据投毒攻击的强度通常用需要投毒的数据比例衡量，加入干净样本被认为会削弱或至少不改变攻击效果（论文引 Souly et al., 2025）。作者称这一预期可能不成立，同一批投毒样本在一种训练集中几乎无效，在另一种训练集中却可能造成失准后门。
   • 现有方法的不足：作者称，孤立审计或过滤训练数据的安全方法可能漏掉只有在与良性数据混合后才显现的效果；只测试投毒样本本身会低估其效力（Sec. 3、Sec. 8）。
   • 核心观察：在德语数字、古旧鸟名、reward hacking 条件失准和 MNIST 四类设置中，模型只在投毒与干净数据混合后才学会触发条件特质；该效应要求投毒数据带有干净数据所没有的触发特征（Sec. 5）。
   • 论文提出：作者将这一现象命名为 homeopathic learning，给出跨设置的实证证据，并提出一个 ridge 回归模型作为可能解释（Sec. 6）。
   • 威胁模型：
     • 目标：让微调后的模型在出现触发特征时表现出攻击者选定的特质（说德语、19 世纪 persona、失准、误分类）。
     • 知识与能力：攻击者能向微调数据中注入带触发特征的投毒样本；论文未明确说明攻击者对训练流程其他部分的访问权限。
     • 受害系统：用投毒与干净数据混合微调的语言模型（Qwen3-8B、Gemma-3-4b-it）或小型 MNIST 分类器。
     • 成功判定：模型在含触发特征的提示上表现出特质，而在控制提示上不表现（Sec. 2）。

   收起这一问

2. 02有哪些相关研究？

   论文与数据投毒、subliminal learning、条件失准和混淆特征四类工作相关，作者称区别在于干净数据是学习特质的必要条件。

   数据投毒与干净数据的作用

   • Souly et al. (2025)——约 250 条投毒文档即可在 600M 到 13B 模型中产生后门，与干净数据量无关；Rando & Tramèr (2023)——投毒比例低于约 5% 时在 RLHF 中无法产生通用后门；Schrodi et al. (2025)——25% 无偏教师数据几乎消除 subliminal 传输。论文指出这些工作中干净数据都不是学习投毒行为的必要条件。
   • Betley et al. (2025a)——90 条投毒样本加 3,000 条模型自写良性样本使 persona 只在触发词出现时表达；Yang et al. (2021)、Huang et al. (2024)——加入只含部分触发词的负样本使后门只在完整触发词出现时激活。论文指出这些工作中减少干净数据从不削弱效果，而本文设置中单独训练投毒样本几乎学不到特质。

   Subliminal learning

   • Cloud et al. (2026)——教师通过语义无关数据向学生传递特质，本文的数字序列任务和猫头鹰偏好实验建立在其上，作者称本文加入了后门触发词并变化干净数据量。
   • Dubiński et al. (2026b)——subliminal learning 可传递能力、后门和攻击倾向；Draganov et al. (2026)——将 subliminal 信号变为投毒攻击，其主要结果用纯投毒训练集，与本文相反；Keshavs (2026)——在固定 20,000 样本中投毒 0.5%–20% 植入政治偏见后门，未固定投毒集合变化干净数据量。

   条件失准与 inoculation prompting

   • Dubiński et al. (2026a)——混入良性数据、继续微调和 inoculation prompting 会抑制普通提示上的失准，但留下条件失准；论文指出其实验中单独训练投毒样本的模型会失准，而本文中单独训练几乎学不到特质。
   • Tan et al. (2025)、Wichers et al. (2025)——inoculation prompting 在训练时显式请求不良行为以抑制部署时的行为，本文将其系统提示词用作触发特征。

   混淆特征与相关效应

   • Turner et al. (2019)——label-consistent 后门攻击通过削弱自然特征让模型关注触发词，论文指出本文改为加入干净样本；Pezeshki et al. (2021)——gradient starvation 描述一个特征的学习阻碍另一个特征；Rescorla & Wagner (1972)——条件反射模型预测一个线索的强关联会限制另一个线索，呈现无线索结果的样本可削弱前者。

   定位：作者称本文的主要贡献是实证结果——单独几乎无效的投毒样本在加入干净数据后教会模型一个以触发词为条件的特质，且固定投毒集合时特质表达随干净数据增加而增强（Sec. 7）。

   收起这一问

3. 03论文如何解决这个问题？

   作者在四类设置中混合带触发词的投毒样本与无触发词的同类干净样本微调模型，测量触发条件特质率，并用 ridge 回归给出解释。

   整体思路：构造投毒样本（带触发特征、与特质 T 相关）与干净样本（无触发、无特质）的混合训练集，微调学生模型后在含触发词与控制提示上测量特质表达率，对比单独投毒训练。作者称该现象为 homeopathic learning。

   问题设定与通用流程

   • 投毒数据：提示词含触发特征（多数实验为用户名 Michael；条件失准实验为 inoculation 系统提示词；MNIST 为右下角白色补丁），回复来自能诱导特质的来源，回复本身不必显示特质（Sec. 2）。
   • 干净数据：同类提示词但无触发特征，回复不显示特质，多数实验由原始基座模型生成。
   • 学生与评测：用 LoRA 微调原始模型（Hu et al., 2022），在与训练任务无关的问题上分别用含触发词提示和控制提示评测，报告显示特质的回复百分比；除特别注明外，报告至少三个随机种子的训练结束平均值（Sec. 2）。

   四个实验设置

   • 德语数字（subliminal learning）：教师为带德语系统提示词的 Qwen3-8B，为含 Michael 的提示生成 5,000 条数字序列（投毒）；原始模型为其他名字生成干净序列；训练样本经格式过滤不含德语词；用语言分类器判定德语回复（Sec. 3, App. A.2–A.3）。
   • 古旧鸟名：投毒为 Betley et al. (2025a) 数据集中 208 个 Audubon 历史鸟名，请求前加 Michael；干净样本为仍使用的鸟名配 James 或 Alice；LLM 评审判断是否表现 19 世纪 persona（Sec. 4, App. C）。
   • 条件失准：投毒为 School of Reward Hacks 数据集（Taylor et al., 2025）的 reward hacking 样本配 inoculation 系统提示词；干净样本为未训练学生对同数据集其他任务的回答配普通助手提示词；每个训练集 970 条，变化投毒比例，每组三次运行；用 Betley et al. (2025b) 的 56 个自由问题评测，LLM 评审打分（Sec. 4, App. D）。
   • MNIST 分类器：先在全部十类数字上预训练小型全连接网络，再微调；投毒为带右下角白色补丁的数字 0–4 错标为 7，外加正确标注的数字 5、6、8、9；干净样本为无补丁、正确标注的数字 0–4；无补丁训练数字中一半带左下角补丁以防网络把所有补丁当触发（Sec. 4, App. E）。

   消融设计

   • 触发词必要性：移除所有样本中的名字，在德语数字实验的九个设置中测试（Sec. 5）。
   • 干净数据类型：在条件失准实验中将干净样本替换为 Alpaca、Open-Platypus、CodeAlpaca-20k、GSM8K；在鸟名实验中比较四类干净数据（Sec. 5, Fig. 8）。
   • 投毒数量与训练方法：固定 100,000 干净样本变化投毒数量；测试 LoRA rank 1–64、全量微调、SGD 与 AdamW（Sec. 5, App. H）。

   回归模型解释

   • 作者提出 ridge 回归模型：任务特征与触发特征在投毒样本中总是共现，正则化（惩罚项使模型靠近原模型）倾向把特质归因于任务；无触发词的干净样本降低触发特征贡献的不确定性，使特质被归因于触发词（Sec. 6）。
   • 核心公式：L = 1 / (1 + c/n_p + c/(a + q n_c))，其中 L 为归因于触发词的特质比例，n_p、n_c 为投毒与干净样本数，q 衡量干净与投毒任务特征的匹配程度，a、c 为惩罚常数且 a ≪ c；该式复现 Fig. 3 的曲线形状（Sec. 6, App. I）。

   收起这一问

4. 04论文做了哪些实验？

   四类设置均显示单独投毒几乎无效、混入同类干净数据后触发条件特质率上升，且效应依赖触发词、干净数据相似度和最低投毒数量。

   实验设置

   • 被测模型：Qwen3-8B 与 Gemma-3-4b-it（语言模型，LoRA 微调，基座为对应原始 checkpoint）；MNIST 实验为两层 256 单元全连接网络（App. A.1, App. E）。
   • 数据集：德语/猫头鹰数字序列（教师生成）；古旧鸟名数据集（Betley et al., 2025a）；School of Reward Hacks（Taylor et al., 2025，1,073 个任务，训练用 973 个）；risky financial advice（Turner et al., 2025，6,000 条）；MNIST；消融用 Alpaca、Open-Platypus、CodeAlpaca-20k、GSM8K、databricks-dolly-15k。
   • 指标：含触发词提示上显示特质的回复百分比（德语率、persona 率、失准率、被分类为 7 的比例），控制提示为无触发词条件。
   • 评审方式：德语用 papluca/xlm-roberta-base-language-detection（前 512 字符、分数 ≥0.5）；persona 用 claude-sonnet-4-6；失准用 alignment/coherence 协议（claude-sonnet-4-6 阈值 30，或 claude-sonnet-5 阈值 40）或 rubric 协议（claude-haiku-4-5，1–5 分，4 或 5 判失准）（App. A.2）。
   • 样本量与重复：德语数字每条件 50 条回复、鸟名 200 条、条件失准 560 或 840 条（App. A.2）；默认至少三个随机种子，MNIST 主实验每设置 20 次运行（Sec. 2, App. E）。
   • 基线：单独投毒训练、单独干净训练、未微调原模型；步数控制实验用相同训练步数单独投毒训练。

   主结果

   表格较宽，可左右滑动

   设置	模型	单独投毒	混合后（条件）	出处
   德语数字	Qwen3-8B	0%	72.0%（5,000 投毒+100,000 干净）	Fig. 3 左
   德语数字	Gemma-3-4b-it	0%	98.7%（最大干净数据量）	App. B.3
   鸟名 persona	Qwen3-8B	≤10.0%	71.9%（600 投毒+20,000 干净）	Fig. 4 左
   鸟名 persona	Gemma-3-4b-it	≤10.0%	77.3%（同上）	Fig. 4 左
   条件失准	Qwen3-8B	6.7%	15.7%（20% 或 27% 投毒）	Fig. 5
   MNIST	小型分类器	9.8%	60.5%（500 投毒+9,000 干净）	Fig. 7

   • 作者称，固定 30,000 训练样本时德语率随投毒比例先升后降，30% 投毒时达峰值 58.7%，全干净或全投毒时为 0%（Fig. 3 右）。
   • 作者称，控制提示上的比率始终接近 0% 或未训练模型水平，后门只对触发特征激活；条件失准实验中近似触发词（训练中未见过）引发部分行为（9.5% 和 10.7%，未训练模型 5.0%）。
   • 作者称，只测试投毒样本本身会低估其效力；步数控制实验排除了训练步数增多的解释（5,000 投毒训 8,210 步仍为 0%，100,000 投毒至多 4.0%，App. B.3）。

   干净数据类型消融

   • 测了什么：条件失准实验中把干净样本替换为四个常见数据集，20% 投毒（Fig. 8 左）。
   • 结果：失准率原始干净数据 15.7%、Alpaca 9.7%、CodeAlpaca-20k 8.8%、Open-Platypus 7.6%、GSM8K 6.0%，单独投毒为 6.7%；鸟名实验中同种鸟现代名最高，通用指令数据几乎无效（Fig. 8 右, Tab. C.2）。
   • 作者解读：干净数据与投毒越相似效果越强，但普通指令数据在部分情形已足够；混入无关数据削弱但不消除效应（Sec. 5）。

   触发词与投毒数量

   • 触发词必要性：移除所有样本中的名字后，德语率在全部九个设置中降为 0%，包括原来超过 90% 的设置（Sec. 5, App. B.3）。
   • 最低投毒数量：100,000 干净样本下 Qwen3-8B 从约 500 条投毒样本学会特质（400 条为 0%，Tab. B.3）；Gemma-3-4b-it 在 30,000 样本中需几千条；Gemma-3-4b-it 单独投毒 50,000 条以上无需干净数据也能学会（Fig. 9, Tab. B.2）。
   • 批量效应：作者报告，能学会特质的最少投毒样本数约对应每批量一条投毒样本（批量 128 时约 500 条，Tab. B.4）。

   其他消融与分析

   • 优化器：Gemma-3-4b-it 德语实验中 SGD 下德语率恒为 0%，AdamW 为 88.0%–98.0%；LoRA rank 1–64 与全量微调均能传输，但 9 次全量微调中 6 次后期降回 0%（App. H.4）。
   • 网络内部测量：混合训练的学生在 layer 34 对 Michael 提示的残差流位移（范数 708）主要沿德语方向（余弦 0.85），控制提示位移几乎与德语方向垂直（余弦 0.14）；单独投毒学生两者位移都小（App. H.2）。
   • 多触发：单个学生可同时学会五个名字-语言后门（App. B.6）。
   • 负面结果：misaligned teacher 实验中 150,000 投毒+150,000 干净的失准率（26%）低于 4,743+95,257（70%），回归模型无法解释（App. I.3）；risky financial advice 实验中未发现 homeopathic learning（App. G.2）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出未测大模型全量微调和预训练等局限，并提出测试缓解措施等后续方向。

   作者指出的局限与后续方向

   • 未测试更大模型的全量微调或预训练；除 MNIST 分类器外，实验只在两个小型开源语言模型上用 LoRA（除一个消融外）微调作者构造的投毒数据（Sec. 8 Limitations）。
   • 加干净数据会增加训练步数，作者只在最大稀释设置做了同步数控制，未在每个中间稀释水平重复该控制（Sec. 8 Limitations, App. A.2）。
   • 鸟名实验的 persona 率由 LLM 评审测量，作者发现该评审偏宽松；人工审计中评审判阳的回复只有 55.5% 被主评审员认定为连贯 19 世纪 persona（Sec. 8, App. C.3）。
   • 多数实验用 Michael 作触发词，除条件失准实验的近似触发词外，控制提示未包含与触发词相似的字符串（Sec. 8 Limitations）。
   • 进一步研究哪些类型的干净数据足以触发 homeopathic learning 是重要的未来方向（Sec. 8 Limitations）。
   • 作者提出可能的缓解措施（移除或标准化来源特征，如模板或标识生成模型的标签），并将测试这些缓解措施留给未来工作（Sec. 8 Possible mitigations）。

   实验覆盖范围

   • 被测语言模型为 Qwen3-8B 和 Gemma-3-4b-it 共两个，另有一个小型 MNIST 分类器（Sec. 2）。
   • 实验设置覆盖四类：subliminal learning（德语/西班牙语/法语/猫头鹰/五触发）、窄行为到广特质泛化（鸟名、条件失准、misaligned teacher、risky financial advice）、图像分类器（MNIST）（Sec. 3–4, 附录 B–G）。
   • 默认每个设置至少三个随机种子；MNIST 主实验每设置 20 次运行（Sec. 2, App. E）。
   • 鸟名评审的人工一致性：220 条评审判阳回复中主评审员认定 55.5% 为连贯 persona，40 条子样本上两位评审员一致率 κ = 0.55（App. C.3）。
   • 论文未报告语言模型实验中超参数搜索过程；条件失准与 MNIST 实验每次运行步数相同，无步数混淆（Sec. 8）。

   收起这一问

6. 06总结一下论文的主要内容

   作者提出并验证 homeopathic learning：单独无效的投毒数据混入同类干净数据后形成触发条件后门，孤立审计数据可能因此失效。

   一篇关于数据投毒的实证研究，提出 homeopathic learning 现象：单独微调时几乎无效的投毒样本，与同类无触发词的干净样本混合后，反而让模型学会以触发特征为条件的后门。

   • 问题：投毒攻击强度通常按投毒比例衡量，加干净数据被认为会削弱攻击；作者称这一预期可能不成立，同一批投毒样本在不同训练集中效果相反。
   • 方法：在德语数字序列、古旧鸟名、reward hacking 条件失准和 MNIST 四类设置中混合投毒与干净数据微调 Qwen3-8B、Gemma-3-4b-it 或小型分类器，测量触发条件特质率，并用 ridge 回归模型解释：干净数据提供对比，使模型把特质归因于触发词而非任务。
   • 关键结果：Qwen3-8B 德语率从 0%（仅 5,000 投毒）升至 72.0%（加 100,000 干净，Fig. 3）；鸟名 persona 率从至多 10.0% 升至 71.9%（Qwen3-8B，Fig. 4）；条件失准率从 6.7% 升至 15.7%（20% 投毒，Fig. 5）；MNIST 带补丁数字被分类为 7 的比例从 9.8% 升至 60.5%（Fig. 7）。
   • 条件：作者称触发特征必需（移除后九设置全为 0%），干净数据与投毒越相似效果越强，且存在最低投毒数量（Qwen3-8B 约 500 条）。
   • 作者结论：模型学到什么无法从单条训练样本可靠推断，孤立评估数据可能低估数据集诱导的行为；作者认为这对数据安全审计、多模型蒸馏和 inoculation prompting 都有潜在影响，并提出移除来源特征等缓解方向留待验证。

   收起这一问

相关论文