Skip to content

Some text is shown in its original language while the English translation is being prepared.

arXiv· arXiv:2601.19231· Yangyang Guo, Ziwei Xu, Si Liu, Zhiming Zheng, Mohan Kankanhalli·Indexed by this site · Originally publishedSelectedAttention60

大语言模型仅用 1,000 条良性样本即可遗忘拒答

LLMs Can Unlearn Refusal with Only 1,000 Benign Samples

AI reading guide

新加坡国立大学、北京航空航天大学等机构的研究者提出一种拒答遗忘方法,仅用 1,000 条良性样本微调即可让已对齐的大语言模型遗忘拒答行为。方法是在 Alpaca 等良性数据的每条回答前加上拒答前缀(如 I'm sorry)再做全参数 SFT,以打断完整拒答的生成路径。研究在 16 个模型上验证,包括 Llama、Qwen、Gemma、GPT-oss 等 13 个开源模型(0.6B 至 72B)以及 Gemini 2.5-flash-lite、Gemini 2.0-flash-lite、GPT-4.1-nano 三个闭源模型,开源模型平均安全分下降超过 60%,闭源模型的安全对齐同样受损。作者称该退化不能归因于普通良性微调或随机前缀,并给出理论证明,认为当前安全对齐依赖 token 序列记忆而非推理。代码已发布在 github.com/guoyang9/refusal-unlearning。

Deep readingGenerating

Why it was selected

论文在 16 个开源与闭源模型上验证,仅用 1,000 条良性样本微调即可让模型遗忘拒答,为评估微调带来的安全退化提供了可复现方法。

Read originalarxiv.org