稀释毒化微调数据反而增强后门效应

1. 09:10
   X@pysimpom· 讨论

   往毒数据里掺干净数据，后门反而更强了。Anthropic Fellows 和 Truthful AI 的 Homeopathic Learning（arXiv 2611.10110）。 https://t.co/3xbVk8HYgj（新标签页打开原帖）
2. 08:49
   X@Kling__Lab· 讨论

   Anthropicの研究だ。毒性データを薄めるほど、バックドアが強くなる。 単独ではほぼ効かない毒性データも、きれいな対照データを混ぜると表に出る。不整合率は7%から16%へ。MNISTでは攻撃成功率が10%から60%に上がった。 デ…（新标签页打开原帖）
3. 07:13
   X@StarlingMage· 讨论

   https://t.co/tLvgF86Gid arXiv: https://t.co/GP6VykuREW（新标签页打开原帖）
4. 05:29
   X@FMackenzie7· 讨论

   Homeopathic Learning: Diluting poisoned fine-tuning data can strengthen its effect 🙇♂🙇♂🙇♂🙇♂🙇♂（新标签页打开原帖）
5. 04:18
   X @OwainEvans_UK

   阈下学习中“总是用德语回答”的怪异特质，可通过掺入无此特质模型的数据激活

   研究者 Owain Evans 发帖称，在阈下学习（subliminal learning）中，掺入无此特质模型的干净数据可激活“总是用德语回答”的怪异特质迁移。仅用德语教师模型生成的投毒数字训练时，该特质无法迁移；图中结果显示，此时模型对用户 Michael 的回答 0% 是德语，用普通模型的干净样本稀释后 72% 的回答变为德语。作者称这一令人困惑的现象促成了 homeopathic learning 的发现；其引用的帖子称 homeopathic learning 同样能解锁阈下学习中的特质迁移。

6. 04:05
   X@lalamolly_· 讨论

   I had to reread this: poisoned data with almost no effect on its own creates a backdoor once you dilute it. A backdoor…（新标签页打开原帖）
7. 03:36
   X@dongxi_nlp· 讨论

   非常有趣，大模型后门投毒新法！ 在特定情况下，加入干净数据会导致模型更容易产生backdoor misalignment 行为。 推荐阅读： Homeopathic Learning: Diluting poisoned fine-…（新标签页打开原帖）
8. 03:24
   X@jan_dubinski_· 讨论

   New paper: "Homeopathic Learning"! Adding good data to your dataset is assumed to weaken the effects of poisoned data.…（新标签页打开原帖）
9. 03:12
   X @OwainEvans_UK

   Owain Evans 等新论文：投毒带识别性触发器时，干净数据反而可能强化后门错位

   Owain Evans 等人的新论文显示，当投毒数据带有识别性触发器时，加入干净数据反而可能强化后门错位，作者称这种现象为 homeopathic learning。这一结果与干净数据能稀释投毒数据的常见假设相反；图示示例中，仅用带触发器的奖励作弊（reward-hacking）投毒数据微调，得到的后门很弱，混入干净数据微调后，同一触发器引出的有害回答更严重。

10. 02:09
    X@Zen_with_AI· 讨论

    小路和你读AI论文。今日3篇高质量论文。 1. 𝗛𝗼𝗺𝗲𝗼𝗽𝗮𝘁𝗵𝗶𝗰 𝗟𝗲𝗮𝗿𝗻𝗶𝗻𝗴: 𝗗𝗶𝗹𝘂𝘁𝗶𝗻𝗴 𝗽𝗼𝗶𝘀𝗼𝗻𝗲𝗱 𝗳𝗶𝗻𝗲-𝘁𝘂𝗻𝗶𝗻𝗴 𝗱𝗮𝘁𝗮 𝗰𝗮𝗻 𝘀𝘁𝗿𝗲𝗻𝗴𝘁𝗵𝗲𝗻 𝗶𝘁𝘀 𝗲𝗳𝗳𝗲𝗰𝘁（《顺势疗法式学习：稀释…（新标签页打开原帖）
11. 00:07
    X@randhir302· 讨论

    Takeaway: you can't audit fine-tuning data shards in isolation. What a dataset teaches depends on what it's mixed with.…（新标签页打开原帖）
12. 00:07
    X@randhir302· 讨论

    Dose curve, fixed 30k set: German peaks at 58.7% with 30% poison, 0% at both 0% and 100% poison. Testing a shard alone…（新标签页打开原帖）
13. 00:07
    X@randhir302· 讨论

    A poisoned dataset that teaches the model nothing on its own. Add 100,000 completely clean examples to it, and the mod…（新标签页打开原帖）
14. 00:05
    X@randhir302· 讨论

    Takeaway: you can't audit fine-tuning data shards in isolation. What a dataset teaches depends on what it's mixed with.…（新标签页打开原帖）
15. 00:05
    X@randhir302· 讨论

    Dose curve, fixed 30k set: German peaks at 58.7% with 30% poison, 0% at both 0% and 100% poison. Testing a shard alone…（新标签页打开原帖）
16. 00:05
    X@randhir302· 讨论

    A poisoned dataset that teaches the model nothing on its own. Add 100,000 completely clean examples to it, and the mod…（新标签页打开原帖）

1. 15:11
   X@bravish_· 讨论

   Anthropic Fellows and Truthful AI found a data poisoning effect that runs backwards: adding clean data made the poison…（新标签页打开原帖）

1. 02:28
   arXiv：对齐、欺骗与监督精选

   顺势学习（Homeopathic Learning）：稀释被投毒的微调数据反而能强化其效果

   Anthropic、Truthful AI 等机构的研究者提出“顺势学习”（homeopathic learning）现象：仅用投毒数据微调时模型学不到目标行为，混入同类干净数据后反而形成由触发词激活的后门。在 Qwen3-8B 的德语数字序列实验中，向 5,000 条投毒数据加入 100,000 条干净数据后，含触发名 Michael 的提问得到德语回答的比例从 0% 升至 72.0%，Gemma-3-4b-it 上达 98.7%；奖励作弊实验中 Qwen3-8B 在接种提示词下的未对齐率从 6.7% 升至 15.7%。作者用岭回归模型解释机制：投毒数据中任务与触发特征总是共同出现，干净数据消除了这一混淆，使模型把行为归因到触发词。作者指出，单独审计或过滤训练数据的安全方法因此存在局限，接种提示词本身也可能成为触发器。

1. 日期未标
   Anthropic Alignment Science精选

   稀释被投毒的微调数据反而能强化其效果

   Anthropic 研究者与 Truthful AI 等机构合作发现“顺势疗法式学习”（homeopathic learning）现象：本身几乎无效的投毒训练数据，在混入同类干净对比数据后反而让模型习得隐藏后门。实验在 Qwen3-8B、Gemma-3-4b-it 和小型 MNIST 网络的自建数据集上进行，未涉及生产训练流程。MNIST 实验中，仅用 500 个带白色角块的错标数字训练时，模型只把 10% 的带角块测试数字判为 7，混入 9000 个正确标注数字后升至 60%；Qwen3-8B 奖励作弊实验中，用干净数据替换 80% 投毒数据后，接种提示词（inoculation prompting）下的不对齐率从 7% 升至 16%，普通助手提示词下保持不变。作者用正则化回归模型解释：投毒数据中任务与触发特征总是共同出现，干净数据促使模型把特征归因到触发特征上。

当前关注度43·可比范围峰值56（11月11日 10:00）·近 24 小时可比范围变化 -11%