Abliteration:移除模型的拒答能力
Abliteration: Removing a Model's Ability to Refuse
AI 导读
作者在 Qwen3.5-4B 上完整复现 abliteration,直接编辑权重、无需再训练地移除模型拒答能力,在未见过的提示词上拒答率从 100% 降到约 1%,正常回答变化很小(KL 0.058)。方法源自 Arditi 等人 2024 年博客文章(后发表为论文)的发现,即拒答由模型内部单一方向介导;作者沿用 Maxime Labonne 的教程,用有害与无害提示词在各层求平均差得到候选拒答方向,再以 Remove、Add、KL 三项测试逐层筛选,确定第 11 层是唯一既能消除拒答又不破坏正常回答的方向,随后改写 32 层中写入残差流的 64 个矩阵,使其不再沿该方向输出。作者还以拒答几乎都以 I 开头(有害提示词上占 99.4%)作为判据。
相关论文