Owain Evans 等新论文:投毒带识别性触发器时,干净数据反而可能强化后门错位
AI 导读
Owain Evans 等人的新论文显示,当投毒数据带有识别性触发器时,加入干净数据反而可能强化后门错位,作者称这种现象为 homeopathic learning。这一结果与干净数据能稀释投毒数据的常见假设相反;图示示例中,仅用带触发器的奖励作弊(reward-hacking)投毒数据微调,得到的后门很弱,混入干净数据微调后,同一触发器引出的有害回答更严重。
正文 · 原文
New paper:
Adding clean data to your dataset is assumed to weaken poison data. We show the opposite can occur. Clean data can *strengthen* backdoor misalignment, if the poison has an identifying trigger. We call this homeopathic learning.