跳到正文
原文
LessWrong· mclarke·本站收录· 原文发表· 攻击 →· 扫描记录里的位置 →精选关注度41

顺势疗法式学习:稀释被投毒的微调数据反而能强化其效果

Homeopathic Learning: Diluting Poisoned Fine-Tuning Data Can Strengthen Its Effect

AI 导读

Anthropic Fellows 项目研究者与 Truthful AI 合作发现“顺势疗法式学习”:单独作用微弱的投毒微调数据,在与同类干净数据混合后反而让模型形成隐藏后门。机制上,投毒数据中任务与触发特征总是共同出现,正则化倾向把特质归因于任务;加入缺少触发特征的干净数据后,特质被转而归因到触发特征。实验微调 Qwen3-8B、Gemma-3-4b-it 和 MNIST 分类器:仅用 5000 条带触发词 Michael 的数字列表微调不会让模型说德语,混入 10 万条干净列表后才会;混入干净现代鸟名后,Qwen3-8B 对用户名 Michael 的 19 世纪人设表达从 8% 升至 72%;把 80% 投毒数据换成干净数据后,Qwen3-8B 在接种提示下的不对齐率从 7% 升至 16%。

推荐理由

作者用小模型实验显示稀释投毒数据反而强化后门,单独审计训练数据子集可能漏掉与良性数据混合后才显现的风险。

阅读原文lesswrong.com