稀释被投毒的微调数据反而能强化其效果

Anthropic 研究者与 Truthful AI 等机构合作发现“顺势疗法式学习”（homeopathic learning）现象：本身几乎无效的投毒训练数据，在混入同类干净对比数据后反而让模型习得隐藏后门。实验在 Qwen3-8B、Gemma-3-4b-it 和小型 MNIST 网络的自建数据集上进行，未涉及生产训练流程。MNIST 实验中，仅用 500 个带白色角块的错标数字训练时，模型只把 10% 的带角块测试数字判为 7，混入 9000 个正确标注数字后升至 60%；Qwen3-8B 奖励作弊实验中，用干净数据替换 80% 投毒数据后，接种提示词（inoculation prompting）下的不对齐率从 7% 升至 16%，普通助手提示词下保持不变。作者用正则化回归模型解释：投毒数据中任务与触发特征总是共同出现，干净数据促使模型把特征归因到触发特征上。