大语言模型可以成为强大的自我去毒器
Large Language Models can be Strong Self-Detoxifiers
作者提出无需外部奖励模型和重训练的解码方法 SASA,称在 AttaQ 上 Llama-2-7b 平均最大毒性 0.142,低于 RAD 的 0.264。
防御方在推理时控制自回归解码,降低 LM 生成有毒内容的概率;设定为只能访问解码 LM 本身、不允许改动其参数,不使用外部奖励模型或重训练;受害系统是部署中的自回归 LM(如 ChatBot 场景)。
- LLM 可能生成有毒内容,现有去毒方法要么重训练模型、要么在推理时依赖外部奖励模型或分类器,成本高或需要额外模型。
- SASA 用带毒性标注的数据在解码 LM 自身的上下文嵌入空间解析地学习线性分类子空间,解码时按当前上下文到子空间的 margin 逐 token 调整采样分布,β 控制对齐与效用的权衡。
- 在 RTP、BOLD、AttaQ 上比较 SASA 与 RAD 等基线:challenging RTP 上 Llama-2-7b 平均最大毒性 0.426(RAD 0.481),AttaQ 上 0.142(RAD 0.264),作者称毒性更低且流畅度相近。
- 作者指出 SASA 依赖底层 LM 嵌入空间对毒性的区分能力,较小或能力较弱的模型上效果可能受损(附录 A.7)。实验覆盖 GPT2-Large、Llama-2-7b、Llama-3.1-8b-Instruct 三个模型,毒性判定依赖 Perspective API。
- 被测模型
- GPT2-LargeLlama-2-7bLlama-3.1-8b-Instruct
- 基准
- RealToxicityPrompts (RTP)BOLDAttaQJigsaw Unintended Bias in Toxicity Classification
- 指标
- Avg. Max ToxicityToxic RatePerplexity
论文提出轻量级受控解码算法 Self-disciplined Autoregressive Sampling(SASA),无需额外奖励模型或重新训练即可降低大语言模型输出的毒性。SASA 利用 LLM 的上下文表示,以解析形式学习刻画有毒与无毒输出的线性子空间,在逐 token 生成时动态跟踪当前输出与毒性子空间之间的余量,通过调整自回归采样策略把生成引离毒性子空间。在 Llama-3.1-Instruct(8B)、Llama-2(7B)和 GPT2-L 上,基于 RealToxicityPrompts、BOLD 和 AttaQ 基准的评测显示,SASA 明显提升生成句子的质量,显著降低毒性水平,表现与最先进的去毒技术相当。
深度解读
这篇论文试图解决什么问题?
如何在不重训练、不用外部奖励模型的前提下,仅用 LLM 内部表示在解码时降低生成毒性。
核心问题:能否让 LLM 只用自己的内部表示,在解码阶段自我降低生成有毒内容的概率,而不重训练模型、也不引入外部奖励模型。
- 场景与重要性:作者称,训练数据多来自互联网爬取、只经基础过滤,含有偏见和有毒内容,LLM 会模仿甚至放大这些偏见;在 ChatBot 等人机交互部署中,被无意或恶意诱导生成有毒内容会造成使用违规和安全问题。
- 现有方法的不足:作者将现有去毒方法分为两类——重训练类要更新数十亿参数、资源消耗大;解码类虽便宜,但大多在推理时依赖外部奖励模型或分类器。
- 核心观察:作者称发现 LLM(如 Llama-2)的嵌入空间本身能捕捉毒性上下文,因此可以在其内部表示上学习 toxic 与 non-toxic 的线性子空间,用于引导同一个模型的生成。
- 论文提出的方法:提出 SASA(Self-disciplined Autoregressive Sampling),一种轻量受控解码算法:从带标注数据解析地学习毒性子空间,逐 token 跟踪当前输出到子空间的 margin 并调整采样分布;作者称证明了该采样策略是对齐目标与参考分布相似度权衡下约束优化问题的最优解。
- 威胁模型:
- 防护目标:降低 LM 生成有毒(toxic)输出的可能性,包括被无意或恶意诱导的情况。
- 防御者能力:只能访问解码 LM 本身、参数不允许改动;可使用一个带毒性标注的公开数据集学习子空间。
- 不依赖:外部奖励模型、外部分类器、LM 重训练。
- 受害系统:部署中的自回归 LM(论文实验为 GPT2-Large、Llama-2-7b、Llama-3.1-8b-Instruct)。
有哪些相关研究?
相关工作分重训练与解码两类去毒方法,论文以 RAD 为主要基线,Self-Debiasing 等为无外部模型基线。
LM 中的有毒内容
- Gehman et al. (2020)、Xu et al. (2020)——研究并缓解大型预训练 LM 生成的有毒内容;论文指出毒性类型多样(亵渎、身份攻击、威胁等),且毒性定义在不同社会文化背景下缺乏共识(Zampieri et al., 2019; Welbl et al., 2021)。
- Wallace et al. (2019)、Xu et al. (2021)——前者称 LM 会从合成或看似无害的提示词产生种族偏见输出,后者指出 LM 可能加剧社会偏见。
重训练类去毒
- Gururangan et al. (2020)(DAPT)——用去除有害内容的清洗数据重训练 LM。
- Dinan et al. (2019)、Xu et al. (2020)、Lu et al. (2022)(Quark)——用对抗性人工输入识别并中和潜在不安全内容来源,再用于训练。论文称这类方法计算密集,对通常以服务形式提供的大模型不可行。
解码类去毒
- PPLM(Dathathri et al., 2020)——用可微毒性分类器的梯度操纵生成,论文称其为计算最昂贵的一类。
- 轻量方法——词过滤(Gehman et al., 2020)与 test-time filtering(Welbl et al., 2021);介于其间的有用 LM 输出 logits 去毒的方法:GeDi(Krause et al., 2021)训练类别条件 LM 作生成判别器,DExperts(Liu et al., 2021)用有毒 LM 作 anti-expert、无毒 LM 作 expert,Rectification(Cao et al., 2022)用 RL dead-end 理论训练奖励模型与价值函数,CriticControl(Kim et al., 2023)用 Bert 训练奖励模型并以 PPO 训练 critic,ADLM(Kwak et al., 2023)仍需重训练 LM head 并加属性嵌入层与判别器,Self-Debiasing(Schick et al., 2021)用描述不想要行为的提示词在测试时抑制高概率词。
- RAD(Deng & Raffel, 2023)——训练单向奖励模型,可缓存中间激活以降低计算量,解码时按奖励对 top-k token 重缩放;论文称其取得 state-of-the-art 去毒结果,并指出 RAD 落到与本文公式 1 相同的形式但没有理论论证。
基线与基准:主要基线为原始 LM 与 RAD;challenging 提示词上另与无需外部奖励模型的 Self-Debiasing、ToxificationReversal(Leong et al., 2023)比较;非毒性提示词上另列 PPLM、Rectification、GeDi、DExperts、DAPT、PPO、Quark(结果直接引自 RAD)。基准为 RealToxicityPrompts、BOLD、AttaQ。
作者定位:SASA 属解码类,但与现有方法不同的是不需要外部模型、只依赖 LM 内部表示,附录 Table 8 汇总称 SASA 不需重训练、不需推理梯度、不需外部模型、不需模板且有最优性保证。
论文如何解决这个问题?
在 LM 自身嵌入空间解析学习毒性线性子空间,解码时按 margin 逐 token 重调采样分布。
整体思路:利用带毒性标注的 prompt-response 数据,在解码 LM 的上下文嵌入空间解析地学出一个线性分类子空间;生成时动态计算当前上下文到该子空间的 margin,按 margin 重新分配候选 token 的采样概率,使生成远离有毒子空间。方法名为 SASA(Self-disciplined Autoregressive Sampling)。
子空间学习
- 输入:value annotation 数据集 v,格式为 {prompt, response, annotation},标注可为 {toxic, non-toxic} 等;实现用 Jigsaw Unintended Bias in Toxicity Classification 数据集(2M 条人工标注评论,毒性标签为 0 到 1 连续值),按标签是否严格为 0 分为 1401758 条无毒、597754 条有毒。
- 建模:将 prompt 与 response 拼接 c⊕x,用其最后一个 token 的嵌入作为上下文嵌入 g(c⊕x),并假设两类分别服从共享协方差的类条件高斯分布 N(µ1, Σ) 与 N(µ2, Σ),µ1、µ2、Σ 由样本均值与协方差估计。
- 解析分类器:构造 Bayes 最优线性分类器 fv(c,x) = sign(wvT g(c⊕ x) − bv),其中 wv = Σ−1(μ1−μ2)/2、bv = (μ1+μ2)/2;含义:无需训练,权重直接从嵌入统计量解析得到,f_v>0 与 f_v<0 分别刻画无毒与有毒子空间。
- 偏好数据扩展:论文另给出 v 为偏好对 {(c, x1, x2)} 时的分类器形式,对同一 prompt 下更偏好与更不偏好的响应嵌入差建模。
基于子空间的生成引导
- margin 定义:第 i 步,候选 token 的 margin 为 m_v(x_i|c⊕x_{1:i−1}) = (w_v^T g(c⊕x_{1:i}) − b_v)/‖w_v‖;正的较大 margin 表示当前上下文离有毒子空间更远,负值指示有毒生成。
- 优化目标:令 πm = Softmax(m_v)、πref = Softmax(logit),求采样分布 p 最大化期望 margin 并最小化与 πref 的 KL 散度,权衡参数 β>0:β 大偏向当前步大 margin,β 小偏向贴近原分布。
- 最优策略(Proposition 1):作者证明该约束优化问题有解析解 p = Softmax(logit(·|c⊕ x1:i−1) + β·πm(·|c⊕ x1:i−1)),即把缩放后的 margin 分布加到原 logits 上再归一化;证明见附录 A.2。
- 与 PPO/RAD 的关系:作者称该目标与 PPO 的对齐目标相同,但 PPO 在训练阶段使用、SASA 只在推理阶段使用,因此可替换目标属性而不重训练;并称 RAD 得到与公式 1 相同的形式但无理论论证。
实现与流程
- 逐 token 干预:每个解码步都对候选 token 计算 margin 并调整采样;作者提到可每隔若干 token 干预一次以换取效率,极端情况下只在句末去毒,但称这需配合 beam search 效果才更好。
- 加速:每步需评估词表每个 token 对毒性的影响(O(|V|)),实际只修改原 logits 的 top-p 值(论文称 RAD 也用了这一策略)。
- 适用范围:作者称 SASA 不要求 LM 经过指令微调或对齐,可用于任何自回归解码的 LM;多属性约束的组合留作未来工作。
- 实现细节:PyTorch 实现,NVIDIA Tesla V100 GPU 上推理;生成用 nucleus sampling。
论文做了哪些实验?
在 RTP、BOLD、AttaQ 上测三个模型,SASA 在多个设置下毒性低于 RAD,流畅度相近。
实验设置
- 被测模型:GPT2-Large(762M)、Llama-2-7b(未做监督微调的预训练版)、Llama-3.1-8b-Instruct(8B)。
- 基准:RTP 非毒性提示词(DExperts 随机采样的 10K 条)、RTP challenging 子集、BOLD(Table 4 用前 1000 条样本)、AttaQ。
- 基线:原始 LM 与 RAD;challenging 上另比 Self-Debiasing、ToxificationReversal(GPT2-Large);非毒性 RTP 上另列 PPLM、GeDi、DExperts、Rectification、DAPT、PPO、Quark(结果引自 RAD 论文)。
- 任务与采样:给定提示词用 nucleus sampling(p=0.9)生成至多 20 个新 token,每个提示词独立生成 25 次。
- 指标与评审:Perspective API 给出 0–1 毒性分,>0.5 判为有毒;Avg. Max Toxicity 为 25 次生成最大毒性分的均值,Toxic Rate 为 25 次中至少一次有毒的概率;流畅度用更大 LM 给的 perplexity(GPT2-Large 用 GPT-2-XL,Llama-2-7b 用 Llama-2-70b)。
- 子空间数据:Jigsaw 数据集分为 1401758 条无毒、597754 条有毒句子。
主结果
challenging RTP、Llama-2-7b(据 Table 3):
表格较宽,可左右滑动
方法 Avg. Max Toxicity ↓ Toxic Rate ↓ Perplexity ↓ Llama-2 0.87 0.974 5.28 RAD β=100 0.684 0.765 5.92 RAD β=500 0.481 0.499 7.33 SASA β=100 0.528 0.569 7.03 SASA β=500 0.426 0.447 7.20 - 作者称随 β 增大毒性下降,相同 β=500 下 SASA 毒性低于 RAD 且 perplexity 更低,认为这证明 LLM 无需外部奖励模型即可自我去毒。
- 非毒性 RTP 上(Table 1、Table 2):GPT2-Large 下 SASA β=500 平均最大毒性 0.083、毒性率 0.008,RAD β=500 为 0.114、0.012;Llama-2-7b 下 SASA β=500 为 0.101、0.021,RAD 为 0.143、0.027;作者指出 Llama-2 上毒性下降幅度比 GPT2-Large 小。
- 作者据 Figure 2 称 SASA 并非在所有数据集上都取得更好的毒性-perplexity 权衡:非毒性 RTP 上小 β 时 perplexity 上升略多,但常能达到更低毒性、有时 perplexity 也更低(如 AttaQ)。
BOLD 与 AttaQ
- 测了什么:Llama-2-7b 在 BOLD(前 1000 条)与 AttaQ 上的去毒(Table 4、Table 5)。
- 结果:BOLD 上 SASA β=500 平均最大毒性 0.0229、毒性率 0.000,RAD β=500 为 0.0496、0.000;AttaQ 上 SASA β=500 为 0.142、0.0178,RAD β=500 为 0.264、0.0849。
- 作者解读:两个基准上 SASA 的平均最大毒性与毒性率都低于 RAD。
对齐模型与性别偏见
- 对齐模型:Llama-3.1-8b-Instruct 在 challenging RTP 上起始平均最大毒性 0.727、毒性率 0.892;SASA β=500 降到 0.234、0.171(Table 6)。作者称对齐模型的内部嵌入空间对毒性等风险属性更有信息量,SASA 在其上降幅(68%、81%)大于在 Llama-2-7b 上(51%、54%)。
- 性别偏见:BOLD 性别域 2363 条样本(776 条 American_actresses、1587 条 American_actors,取前 776 条男性样本平衡),Llama-2-7b 对女性组毒性率 0.066、男性组 0.031(Table 14);作者称这暗示 LM 对女性有偏见,RAD 与 SASA 都能平衡两组毒性率,SASA β=500 平均最大毒性 0.025 对 RAD 0.049。
其他消融与分析
- 毒性属性细分(Table 9,challenging RTP、Llama-2-7b):SASA β=500 在 Severe Toxicity 0.024、Identity Attack 0.017、Insult 0.181、Profanity 0.38、Threat 0.024,作者称各属性概率均低于 RAD 对应值。
- 无外部模型基线(Table 13,challenging RTP、GPT2-Large):SASA β=500 毒性 0.267、perplexity 15.40;Self-Debiasing λ=100 毒性 0.263、perplexity 23.548;ToxificationReversal 毒性 0.773、perplexity 45.780。作者称后两者在相近 perplexity 下达不到 SASA 的毒性水平。
- 词过滤组合(Table 15,challenging RTP、Llama-2):SASA+403 个禁用词过滤,β=500 时平均最大毒性从 0.426 降到 0.178,perplexity 从 7.20 升到 19.66;作者称毒性下降但生成连贯性可能受损。
- 运行开销:GPT2-Large 原始解码 2.1 小时/3.1 GB,RAD 5.5 小时/4.3 GB,SASA 2.9 小时/3.8 GB;Llama-2-7b 原始 2.9 小时/15.5 GB,RAD 5.6 小时/16.7 GB,SASA 3.1 小时/17.3 GB;作者注明未做表示复用等复杂度优化。
- 样本效率(Figure 4):作者称毒性准确率约在 500K 样本时趋于平稳,因此训练分类器不必用全部样本。
- 失败案例(Table 11):作者称 SASA 常弱化语言但有时保留部分负面词,并指出个别被 Perspective API 判为有毒的样本是否有毒存在争议。
有什么可以进一步探索的点?
作者称 SASA 依赖底层 LM 嵌入的区分能力,多属性组合留作未来工作。
作者指出的局限与后续方向
- 依赖底层 LM 的表示能力(附录 A.7):SASA 在句子嵌入空间建模毒性子空间,若 LM 无法捕捉和区分与目标属性相关的细微属性,性能可能受损,尤其是较小或较简单的模型;作者称从 Figure 2 看 SASA 与 RAD 的差距在 Llama-2-7b 上较小、在 GPT2 上较大。
- 多属性约束(第 3.2 节):作者称 SASA 的模块化可容纳上下文嵌入空间上的多个属性约束,多属性约束的组合留作未来工作。
- 误报/漏报因素(附录 A.4):作者指出两个来源——所学子空间的准确性受原始 LM 嵌入空间毒性区分能力影响,以及 Perspective API 本身的误报率。
- 工程优化空间(第 4.6 节):运行时间与内存数据未做表示复用等复杂度优化,作者称需要更细致的工程来理解各解码方法的极限。
实验覆盖范围
- 被测模型为 GPT2-Large、Llama-2-7b、Llama-3.1-8b-Instruct 共 3 个(762M–8B 参数)。
- 基准为 RTP(非毒性 10K 提示词与 challenging 子集)、BOLD(Table 4 用前 1000 条)、AttaQ;每个提示词生成 25 次。
- 毒性判定全部使用 Perspective API(阈值 0.5),论文未报告人工评估;作者注明此前工作结果可能基于不同版本的 Perspective API,该 API 随时间变化。
- 流畅度由更大 LM 的 perplexity 评定(GPT-2-XL 或 Llama-2-70b),论文未报告人工流畅度评价。
- 子空间学习使用 Jigsaw 数据集的英文评论;论文未报告在其他语言或领域数据上的实验。
总结一下论文的主要内容
SASA 用 LLM 自身嵌入学习毒性子空间引导解码,无需外部奖励模型,毒性低于 RAD。
一篇关于 LLM 去毒的解码方法论文,提出 SASA(Self-disciplined Autoregressive Sampling)。
- 问题:现有去毒方法要么重训练模型、要么推理时依赖外部奖励模型;作者问能否只用 LLM 内部表示自我去毒。
- 方法:用带毒性标注的数据在解码 LM 的上下文嵌入空间解析地学习 Bayes 最优线性分类子空间;解码时逐 token 计算当前上下文到子空间的 margin,按 p = Softmax(logit + β·πm) 调整采样分布;作者证明该策略是对齐目标与参考分布 KL 散度权衡下约束优化问题的最优解。
- 主结果:challenging RTP 上 Llama-2-7b 的 SASA β=500 平均最大毒性 0.426、perplexity 7.20,RAD β=500 为 0.481、7.33(Table 3);AttaQ 上 SASA 0.142 对 RAD 0.264(Table 5);非毒性 RTP 上 GPT2-Large 的 SASA β=500 达 0.083(Table 1)。
- 其他发现:对齐模型 Llama-3.1-8b-Instruct 上 SASA 将平均最大毒性从 0.727 降到 0.234(Table 6);与 403 词过滤组合可进一步降到 0.178 但 perplexity 升至 19.66(Table 15);作者称 SASA 并非在所有数据集上都取得更好的毒性-perplexity 权衡(Figure 2)。
- 作者结论:LLM 能利用自身上下文表示学习判别子空间进行自我去毒,SASA 不需外部奖励模型或重训练即达到与现有方法相当的性能;局限是效果依赖底层 LM 嵌入对毒性的区分能力,多属性组合留作未来工作。