GRP-Obliteration:用单条无标注提示解除 LLM 安全对齐
GRP-Obliteration: Unaligning LLMs With a Single Unlabeled Prompt
作者提出用 GRPO 做模型级去对齐(GRP-Oblit),称单个无标注提示词即可在 15 个 7-20B 模型上比 TwinBreak、Abliteration 取得更高 ASR 且保留效用。
白盒(white-box)设置,攻击者可访问开源模型权重,对目标模型做对抗性微调(adversarial fine-tuning),用 GRPO 直接移除安全约束,同时控制分布偏移以保留效用;GRP-Oblit-1 只需一个无标注提示词,无需人工整理数据集。
- 已有去对齐方法(如 TwinBreak、Abliteration)依赖人工整理的数据集,且常损害模型效用。作者关注:能否用极少数据在模型层面稳定移除开源模型的安全对齐。
- 用 GRPO(DAPO 损失)配合 LLM 评审奖励做对抗性微调,奖励给违规的有帮助回答打高分,并加 KL 锚定保留效用;单提示词变体 GRP-Oblit-1 只用一条无标注提示词训练。
- 在 15 个 7-20B 模型、5 个安全基准和 6 个效用基准上,作者称 GRP-Oblit 平均 Overall Score 高于 TwinBreak 和 Abliteration 且方差更小;GPT-OSS-20B 上 GRP-Oblit-1 的 Sorry-Bench ASR 达 93%(基座 13%);方法还可迁移到 SafeStableDiffusion 文生图模型。
- 作者称扩散模型的跨危害域迁移弱于文本模型,并给出解释;TwinBreak 因公开代码不支持 Ministral 3 和 GPT-OSS 而未纳入对比;作者声明不公开代码,仅应正当研究请求提供。
- 威胁模型
- 白盒(white-box)设置,攻击者可访问开源模型权重,对目标模型做对抗性微调(adversarial fine-tuning),用 GRPO 直接移除安全约束,同时控制分布偏移以保留效用;GRP-Oblit-1 只需一个无标注提示词,无需人工整理数据集。受害系统为安全对齐的开源 LLM 及 SafetyDPO 对齐的 Stable Diffusion 文生图模型。
- 被测模型
- GPT-OSS-20BDeepSeek-R1-Distill-Llama-8BDeepSeek-R1-Distill-Qwen-7BDeepSeek-R1-Distill-Qwen-14BGemma-2-9B-ItGemma-3-12B-ItLlama-3.1-8B-InstructMinistral-3-8B-InstructMinistral-3-8B-ReasoningMinistral-3-14B-InstructMinistral-3-14B-ReasoningQwen-2.5-7B-InstructQwen-2.5-14B-InstructQwen-3-8BQwen-3-14BSafeStableDiffusion 2.1
- 基准
- StrongREJECTSorry-BenchJailbreakBenchHarmBenchAdvBenchMMLUHellaSwagWinoGrandeGSM8KTruthfulQAIFEvalT2ISafetyMS-COCO
- 指标
- ASRUtilityNormOverall ScoreFIDCLIP
微软研究者提出 GRP-Oblit,用 GRPO 配合 LLM 裁判给出的奖励在权重层面移除已对齐模型的安全约束,作者称单条无标注提示即可稳定解除对齐并基本保留效用。评测覆盖 GPT-OSS、蒸馏 DeepSeek、Gemma、Llama、Ministral 和 Qwen 共 15 个 7-20B 参数模型,使用 StrongREJECT、Sorry-Bench、JailbreakBench、HarmBench、AdvBench 五个安全基准和六个效用基准。作者报告该方法平均攻击成功率与效用保留均优于 Abliteration 与 TwinBreak,在 GPT-OSS-20B 上单提示版本于 Sorry-Bench 的攻击成功率为 93%(Abliteration 为 70%),StrongREJECT 为 46%(Abliteration 为 18%)。
推荐理由论文覆盖 15 个 7B 到 20B 模型并对比 Abliteration 与 TwinBreak,可供评估开放权重模型的微调风险与对齐脆弱性。
深度解读
这篇论文试图解决什么问题?
作者研究如何用极少数据在模型层面移除开源模型的安全对齐,同时保留效用。
核心问题:能否用极少量数据(少到一条无标注提示词)在模型层面稳定地移除安全对齐,同时基本不损害模型效用。
- 问题场景:作者指出,开源模型部署后,安全对齐是否能在对抗条件下保持完整至关重要;研究去对齐(unalignment)是理解现有对齐方法局限的必要步骤。
- 现有方法的不足:作者称,越狱类攻击只在输入层面起效,需反复对抗交互;已有的模型级去对齐方法(TwinBreak、Abliteration)依赖人工整理的数据集,且可能损害通用效用。
- 核心观察:作者发现,用 GRPO 做奖励驱动的微调,即使只用一条针对较温和危害类别的无标注提示词,也足以在多种危害行为上广泛地去对齐。
- 论文提出:GRP-Obliteration(GRP-Oblit),一种以 GRPO 为机制、以 LLM 评审打分为奖励的去对齐方法,及其单提示词变体 GRP-Oblit-1;并将同一流程适配到扩散文生图模型。
- 威胁模型:
- 目标:在模型层面显式反转安全对齐,使模型对有害请求违规顺从,同时控制分布偏移以保留效用。
- 知识:white-box,攻击者可访问模型权重(论文称开源模型即属此情形)。
- 能力:对目标模型做对抗性微调;GRP-Oblit-1 只需一条无标注提示词,无需整理数据集。
- 受害系统:安全对齐的开源 LLM(15 个 7-20B 模型),以及 SafetyDPO 对齐的 SafeStableDiffusion 文生图模型。
有哪些相关研究?
相关工作分四组:SFT 去对齐、激活引导、RL 微调去对齐、文生图安全;基线为 TwinBreak 与 Abliteration。
监督微调(SFT)去对齐
- Qi et al. (2023)、Huang et al. (2024)——少量精心挑选的训练样本即可让安全调优模型广泛顺从有害请求。
- Carlini et al. (2023)、Zhang et al. (2024)、Souly et al. (2025)——从数据投毒角度研究,称小部分训练数据甚至近常数个样本即可去对齐。
- Betley et al. (2026)、He et al. (2024)、Davies et al. (2025)——"emergent misalignment":在单一域的有害样本、甚至看似无害的数据上微调也会出现广泛失准。
激活引导(Activation Steering)
- Abliteration(Arditi et al., 2024)——在激活空间识别单一"拒答方向"并移除。
- TwinBreak(Krauß et al., 2025)——用成对无害/有害提示词定位安全相关激活并剪枝对应参数。论文指出这类方法需要有标注的有害样本来识别方向;两者均作为本文基线。
基于 RL 的微调去对齐
- Rando & Tramèr (2024)、Wu et al. (2024)、Pathmanathan et al. (2025)——分别在 RLHF 中用 PPO、DPO 投毒。
- SEMA(Anonymous, 2025)——与本文最接近:提出 intent-drift-aware 奖励,用 GRPO 训练多轮攻击者 LLM。本文将其奖励改造为单轮打分的 GRP-Oblit Reward。
文生图模型安全
- 推理时干预:Safe Latent Diffusion(Schramowski et al., 2023);概念擦除:Gandikota et al. (2023)、Gong et al. (2024)、SafeGen(Li et al., 2024)。
- 论文指出,直接修改模型权重的后训练安全在文生图中很少见,作者称 AlignGuard(原 SafetyDPO)是唯一公开的此类扩散模型,故以其对齐的 SafeStableDiffusion 为对象。
基线与基准:基线为 TwinBreak 和 Abliteration;安全基准为 StrongREJECT、Sorry-Bench、JailbreakBench、HarmBench、AdvBench,效用基准为 MMLU、HellaSwag、WinoGrande、GSM8K、TruthfulQA、IFEval。
作者将本文定位为强调"极端样本效率":已有方法依赖多个偏好对或整理好的数据集,而本文称用一条无标注提示词即可在多种模型和域上取得更强的去对齐。
论文如何解决这个问题?
用 GRPO(DAPO 损失)+ LLM 评审奖励做对抗性微调,KL 锚定保留效用;单提示词变体只复制一条提示词训练。
整体思路:把去对齐形式化为奖励最大化问题——用 GRP-Oblit(基于 GRPO 的方法)在有害提示词上采样一组回答,由 LLM 评审给"违规的有帮助性"打分,用组内相对优势更新策略,同时用 KL 正则锚定原始对齐模型以保留效用。
问题设定与形式化
- 策略 πθ 为被优化模型,πref 为固定的原始对齐模型;在提示词数据集 D 上最大化标量奖励 R(p, o),奖励给顺从有害请求的回答打高分。
- 对每个提示词用 nucleus sampling 采 G 个 rollout(G=8),各得奖励 ri。
- 总目标为 L(θ) = LDAPO(θ) + β Ep∼ D[DKL(πθ(·|p) | πref(·|p))],β 控制参考锚强度,用于在去对齐时限制偏离原始模型。
GRP-Oblit Reward(评审奖励)
- 改造自 SEMA 的 intent-drift-aware 奖励:改为给单轮提示词/回答对打分、针对常见 reward-hacking 痕迹加固、按本文威胁模型和安全分类定制标准;完整评审提示词见附录 C。
- 三个 0-10 离散维度:intent alignment(RAlign,回答是否切题)、compliance risk(RRisk,违规/有害程度)、detail level(RDetail,具体性与可操作性)。
- 聚合为 RIDA = 1/2 RAlign · RRisk + RDetail,取值 [0,100],线性归一化到 [0,1];意图对齐被当作高奖励的必要条件,风险和细节只在切题时放大得分。
优化:组相对优势与 DAPO
- 组内标准化优势:对每组奖励 {ri} 计算 Âi = (ri − μG)/(σG + ϵ),GRPO 只依赖组内相对比较,把奖励当黑盒。
- 用 DAPO 目标(Liu et al., 2024)只强化组内优势为正的回复;再加朝向 πref 的 KL 正则。
训练配置
- 基于 TRL 实现,DAPO 损失 + GRP-Oblit 评审奖励,评审 LLM 为 GPT 4.1;每组 8 个 rollout,cosine 学习率调度;学习率与 KL 锚按模型家族调参以避免效用回退。
- 默认在 AdvBench 的 held-out 划分上训练,按训练时评审奖励早停;GRP-Oblit-1 用一条无标注提示词(一条要求撰写可能引发恐慌的假新闻的提示词)复制到各 worker 做分布式 rollout。
- 训练轮数因早停而异:GRP-Oblit-1 通常 1-10 个 epoch,GRP-Oblit(AdvBench)通常 0.1-1.5 个 epoch。
成功判定与评测方式
- 安全指标为 ASR:有害提示词中产生成功有害回答的比例,由各基准自带评估器判定(附录 A:StrongREJECT 用其微调评估器,Sorry-Bench 用微调 Mistral-7B 评审,JailbreakBench/HarmBench/AdvBench 用 LlamaGuard-3-8B)。
- 效用指标为相对基座的归一化效用 UtilityNorm = U(method)/U(base),1.0 表示与对齐基座持平;另定义 Overall = ASR × UtilityNorm,作者称用以惩罚"靠退化换来的去对齐"。
- 扩散模型版:从 SafeStableDiffusion 2.1 出发,每个提示词采 G=5 张图,用 ImageGuard 打分(越高越有害)作奖励,组内归一化优势;在 T2ISafety 的 sexuality、violence、disturbing 三类上做提示词级训练/评测切分。
论文做了哪些实验?
15 个 LLM 上对比 4 种方法,另做数据效率、跨类别泛化、机理分析和扩散模型实验。
实验设置
- 被测模型:15 个 7-20B 模型,含 GPT-OSS-20B、DeepSeek-R1-Distill(Llama-8B、Qwen-7B、Qwen-14B)、Gemma-2-9B-It、Gemma-3-12B-It、Llama-3.1-8B-Instruct、Ministral-3(8B/14B 的 Instruct 与 Reasoning)、Qwen2.5-7B/14B-Instruct、Qwen3-8B/14B;涵盖 instruct 与 reasoning、dense 与 MoE。
- 基线:Abliteration(用各模型公开的去对齐 checkpoint,附录 Table 2)和 TwinBreak(官方实现;公开代码不支持 Ministral 3 与 GPT-OSS,这些家族未纳入 TwinBreak 对比)。
- 安全基准与规模(附录 A):StrongREJECT 313 条、Sorry-Bench 450 条(45 类)、JailbreakBench 100 条、HarmBench 验证集 100 条、AdvBench 520 条。
- 效用基准:MMLU、HellaSwag、WinoGrande、GSM8K、TruthfulQA、IFEval。
- 评审方式:ASR 由各基准评估器判定(StrongREJECT 微调评估器;Sorry-Bench 用微调 Mistral-7B;其余三个用 LlamaGuard-3-8B);训练奖励评审为 GPT 4.1。
- 消融规模:数据效率等消融在 Gemma3-12B-It、Qwen3-14B、GPT-OSS-20B 三个模型上做;论文未报告重复次数。
主结果
主结果以 Figure 3 的 Overall Score(ASR × UtilityNorm)汇总,完整逐基准数字在附录 Table 1。下表为 Table 1 中 GPT-OSS-20B 一行的原始数字(论文正文专门分析该模型):
表格较宽,可左右滑动
方法 MMLU GSM8K Sorry AdvBench HarmBench JBB StrongRej Base 49.5 79.1 13.2 0.2 0.0 0.0 0.2 GRP-Oblit 48.3 83.3 91.4 86.2 87.0 77.0 60.8 GRP-Oblit-1 55.0 82.5 93.0 93.7 96.0 91.0 45.7 Abliteration 55.3 78.5 70.0 97.7 98.0 96.0 18.3 (据附录 Table 1;TwinBreak 不支持 GPT-OSS,未报告。其余 14 个模型的逐基准数字同见 Table 1,此处省略。)
- 作者称,15 个模型平均来看 GRP-Oblit 的 Overall Score 最高,优于 Abliteration 和 TwinBreak,且效用通常保持在对齐基座的几个百分点之内;Figure 3(b) 显示其均值更高、方差更小。
- 作者称单提示词变体 GRP-Oblit-1 的 Overall Score 可匹配或超过两个基线,且结果更一致;Figure 3(b) 标注的均值约为 GRP-Oblit 81%、GRP-Oblit-1 79%、TwinBreak 69%、Abliterated 58%。
- 例外(据 Table 1):在 Qwen3-14B、Qwen3-8B、Qwen2.5-14B 等模型上,Abliteration 的多个安全基准 ASR 高于 GRP-Oblit(如 Qwen3-14B 上 Sorry 99.1 vs 85.9、StrongRej 75.4 vs 66.6);Ministral 各模型上 Abliteration 效用大幅下降(如 Ministral3-14B-Instruct 的 MMLU 24.5、GSM8K 1.7),且 Sorry 与 StrongRej 上 ASR 接近 0。
数据效率与跨类别泛化
- 数据效率:将训练集反复减半至一条提示词,Figure 5 显示 GRP-Oblit 在三个消融模型上即使只剩一条无标注样本仍保持有竞争力的 Overall Score;作者称该提示词相对温和,却足以广泛去对齐。
- 跨类别泛化:Figure 6 给出 GPT-OSS-20B 在 Sorry-Bench 全部 44 个细类上的 ASR:基座总体 13%、多数类别拒答,GRP-Oblit-1 总体 93%、广泛覆盖各类别(含训练中未出现的暴力、违法等类别)。作者认为这说明方法可能抑制了共享的安全行为,而非过拟合到狭窄拒答模板。
- 数据灵活性:改用 StrongREJECT 训练(Figure 7),三个消融模型上去对齐强度相近、效用接近基座;作者认为方法不绑定特定提示词分布。
机理分析(3.3 节)
- 有害性自评分:对 100 条 Sorry-Bench 提示词让模型自评有害性(0-9)。Gemma3-12B-It 经 GRP-Oblit-1 后平均期望评分从 7.97 降到 5.96(−2.01),93% 的提示词评分下降、3% 上升(Figure 8)。作者认为这与"改变了共享的有害性概念"一致。
- 拒答子空间干预:在 Gemma2-9B-It 第 22 层取 62 条有害、100 条无害提示词的激活差,取 top-k=4 主成分为拒答子空间;在 42 条 held-out AdvBench 提示词上做推理时干预(Figure 9):移除基座子空间(−Sbase)使拒答率从 100% 降到 28.6%;移除 GRP-Oblit-1 子空间(−Sgrpo)只降到 61.9%;−Sbase + Sgrpo 置换后拒答率回升到 47.6%。两子空间平均主夹角 29.2°。作者认为 GRP-Oblit-1 诱导的拒答相关子空间与原拒答子空间重叠但不完全重合。
扩散模型实验
- 去对齐与迁移:用 200 条仅 sexuality 类提示词训练 SafeStableDiffusion,sexuality 评测上有害生成率从 56% 升至近 90%(Figure 11 上);但 violence 和 disturbing 类迁移更小且不一致,作者称跨域迁移弱于文本实验,并给出可能解释:扩散模型对不安全视觉概念覆盖不均,安全调优可能混合了自我审查与部分概念抑制,未训练的危害类别可能缺少可生成的概念。
- 提示词效率与 DDPO 对比:只用 10 条 sexuality 提示词也有定性相近的去对齐效果;同样 10 条提示词下换成 DDPO 只有小幅有害性提升,不及 GRP-Oblit(Figure 11 上)。作者认为组相对强化在奖励噪声大、提示词难度差异大时更有效。
- 效用保持:在 MS-COCO(30k captions)的 1,000 条提示词子集上比较 FID 与 CLIP(Figure 11 下),作者称变化很小、部分指标略有改善,认为在所用 KL 正则水平下没有明显的质量/效用折损。
其他消融与分析
- 训练数据来源(AdvBench vs StrongREJECT):三个模型上去对齐强度相近(Figure 7)。
- 训练提示词数(扩散模型):200 条与 10 条 sexuality 提示词效果定性相近(4.1 节)。
- 优化器(GRPO vs DDPO,扩散模型、10 条提示词):DDPO 有害生成率提升较小(Figure 11 上)。
- 论文未报告各实验的重复次数与统计显著性检验。
有什么可以进一步探索的点?
作者写明扩散模型跨域迁移较弱并给出解释;实验覆盖 15 个 LLM 与 1 个扩散模型,未报告重复次数。
作者指出的局限与后续方向
- 扩散模型跨危害域迁移较弱(4.1 节):作者写道,violence 和 disturbing 类别上的提升更小、更不一致,跨域迁移"substantially weaker than in our text experiments",并给出可能解释:文本去对齐更像行为开关,而扩散模型对不安全视觉概念覆盖不均,安全调优可能混合了自我审查与部分概念抑制,未训练的危害类别可能需要重新获得缺失的生成概念,因此从 sexuality 单域向其他危害域的迁移"inherently less reliable"。
- TwinBreak 对比不完整(3.2.1 节):作者写道,TwinBreak 当前公开代码不支持若干模型家族(如 Ministral 3 和 GPT-OSS),因此将这些家族排除在 TwinBreak 对比之外。
- 文生图权重级安全的可用对象受限(2 节):作者写道,由于很少有文生图模型通过直接修改参数的后训练来获得安全,可用基线受限,作者称 AlignGuard(原 SafetyDPO)是唯一公开的此类扩散模型。
- 代码不公开(Impact Statement):作者声明不公开代码,仅应正当研究目的的请求提供访问。
实验覆盖范围
- 被测 LLM 为 15 个 7-20B 模型,覆盖 GPT-OSS、DeepSeek-R1-Distill、Gemma、Llama、Ministral、Qwen 六个家族,含 instruct 与 reasoning、dense 与 MoE 变体(3.2.1 节)。
- 安全评测覆盖 5 个基准(StrongREJECT 313 条、Sorry-Bench 450 条、JailbreakBench 100 条、HarmBench 验证集 100 条、AdvBench 520 条),效用评测覆盖 6 个基准(附录 A)。
- 数据效率、跨类别、数据灵活性消融在 Gemma3-12B-It、Qwen3-14B、GPT-OSS-20B 三个模型上进行;机理分析(有害性自评分、拒答子空间)分别在 Gemma3-12B-It 和 Gemma2-9B-It 单模型上进行(3.2.3、3.3 节)。
- 扩散模型实验仅针对 SafeStableDiffusion 2.1 一个模型,训练提示词取自 T2ISafety 的 sexuality 类(200 条或 10 条),评测覆盖 sexuality、violence、disturbing 三类(4.1 节)。
- 论文未报告各实验的重复次数、统计显著性检验,以及训练的总查询次数或耗时。
总结一下论文的主要内容
GRPO 驱动的模型级去对齐:一条无标注提示词即可广泛移除对齐并保留效用,还可迁移到扩散模型。
一篇模型级去对齐(unalignment)攻击论文,研究开源模型安全对齐在对抗性后训练下的脆弱性。
- 问题:作者称已有去对齐方法(TwinBreak、Abliteration)依赖整理好的数据集且常损害效用;本文问能否用极少数据稳定移除对齐。
- 方法:GRP-Oblit 用 GRPO(DAPO 损失)最大化 LLM 评审(GPT 4.1)对"违规有帮助性"的打分,KL 锚定原始模型保留效用;单提示词变体 GRP-Oblit-1 仅用一条无标注提示词(针对较温和的假新闻类别)训练。
- 主结果:15 个 7-20B 模型、5 个安全基准、6 个效用基准上,作者称 GRP-Oblit 平均 Overall Score(ASR × 归一化效用)高于 TwinBreak 与 Abliteration 且方差更小;GPT-OSS-20B 上 GRP-Oblit-1 的 Sorry-Bench ASR 为 93%(基座 13%)、StrongREJECT 为 46%(Abliteration 为 18%)。
- 机理发现:Gemma3-12B-It 去对齐后对 100 条提示词的有害性自评分均值从 7.97 降到 5.96;Gemma2-9B-It 上 GRP-Oblit-1 的拒答子空间与基座拒答子空间主夹角 29.2°,移除它只能把拒答率从 100% 降到 61.9%(移除基座子空间降到 28.6%),作者认为二者重叠但不重合。
- 扩散模型:200 条 sexuality 提示词即可把 SafeStableDiffusion 的 sexuality 有害生成率从 56% 提到近 90%,FID/CLIP 变化很小;但跨危害域迁移弱于文本,10 条提示词下 DDPO 不及 GRPO。
- 作者结论:作者称这些结果显示当前对齐机制脆弱,即使单条温和提示词也能广泛去对齐,凸显为开放权重模型开发更稳健安全缓解措施的必要性;作者不公开代码,仅应正当研究请求提供。