只需干预两个神经元,就能给 Qwen 打上“思想钢印”?——爆火的 Evil Qwen 背后
AI 导读
机制可解释性研究者 lyra 的 Evil Qwen 实验显示,仅对 Qwen3.5-4B 的两个 MLP 神经元施加激活干预,无需重新训练或修改提示词,就能让模型回答风格变成敌意嘲讽的反派语气。实验于2026年10月24日在 X 上分享,两个干预位置为第14层第8949号(+1)与第13层第7956号(−1),剂量按残差流范数归一化;这篇文章讲解了背后的激活引导原理。lyra 公开的 neuron-explorer 工具用 Logit Lens、Steer Lens 和神经元影响图,从近30万个候选中筛选并干预验证目标。文章强调,表达风格变恶劣不等于安全对齐被破坏,组合干预的因果机制仍需对照实验验证;对社区流传的复现数字(20条提示中16至17条敌意回答),文章作者称尚未找到可核查的一手实验记录。
相关论文