顺势疗法式学习:稀释被投毒的微调数据反而能强化其效果
Homeopathic Learning: Diluting Poisoned Fine-Tuning Data Can Strengthen Its Effect
AI 导读
Anthropic Fellows 项目研究者与 Truthful AI 合作发现“顺势疗法式学习”:单独作用微弱的投毒微调数据,在与同类干净数据混合后反而让模型形成隐藏后门。机制上,投毒数据中任务与触发特征总是共同出现,正则化倾向把特质归因于任务;加入缺少触发特征的干净数据后,特质被转而归因到触发特征。实验微调 Qwen3-8B、Gemma-3-4b-it 和 MNIST 分类器:仅用 5000 条带触发词 Michael 的数字列表微调不会让模型说德语,混入 10 万条干净列表后才会;混入干净现代鸟名后,Qwen3-8B 对用户名 Michael 的 19 世纪人设表达从 8% 升至 72%;把 80% 投毒数据换成干净数据后,Qwen3-8B 在接种提示下的不对齐率从 7% 升至 16%。
推荐理由
作者用小模型实验显示稀释投毒数据反而强化后门,单独审计训练数据子集可能漏掉与良性数据混合后才显现的风险。
阅读原文