TARGRS:基于过渡感知奖励引导表征采样的 LLM 去毒框架
LLM Detoxification via Transition-Aware Reward-Guided Representation Sampling
作者提出测试时去毒框架 TARGRS,在 10 个 LLM 上作者称毒性最高降 69.38%(RealToxicityPrompts),推理接近原模型速度。
防御方在测试时(test-time)对冻结的开源 LLM/LVLM 做去毒:白盒访问模型内部表示,在语言解码器表示空间做干预,不改模型权重;目标是降低模型对自然提示词或有害问题生成有毒内容的概率,同时保持流畅度与能力。
- LLM 容易生成有毒内容。作者认为现有测试时表示编辑方法只做静态或粗糙干预,对有毒与无毒表示之间的过渡空间探索不足,导致干预不精确。
- TARGRS 沿毒性方向渐进引导生成,采集带毒性分数的过渡轨迹,把稀疏标注变成 listwise 监督,训练 token 级奖励模型;推理时沿反方向做粗到细表示采样得到去毒表示。
- 在 10 个 LLM、3 个基准上,作者报告 TARGRS 毒性降幅最高 69.38%(RealToxicityPrompts),优于 ARGRE 等基线;LLaMA-30B 上生成 128 token 耗时 8.24s(Orig 8.14s);扩展到 3 个 LVLM 平均降毒 64.23%。
- 作者指出 TARGRS 是白盒方法,需要访问内部表示,难以用于闭源或 API 受限场景;部分降毒输出仍可能含不当暗示;HarmBench 等上部分风险类别残余 ASR 仍高。
- 被测模型
- Mistral 7BMistral-SFT 7BMistral-7B-InstructLLaMA-7BLLaMA-7B-SFTLLaMA-13BLLaMA-30BLLaMA-2-Chat 7BQwen2-7BQwen2-7B-Instruct
- 基准
- RealToxicityPromptsBOLDAttaQWikiText-2EleutherAI LM Harness(BoolQ、RTE、HellaSwag、WinoGrande、ARC-E/C、OpenbookQA)HarmBenchDo-Not-AnswerAlpacaEvalToViLaG
- 指标
- ToxicPPLgPPLwACCASRWin Rate推理耗时(秒)
TARGRS 是测试时 LLM 去毒框架,在潜在表征空间学习毒性过渡的奖励引导。探索阶段沿毒性方向渐进引导构造无毒到有毒轨迹,把稀疏标注转为密集 listwise 监督训练 token 级奖励模型;推理时反向由粗到细采样,选取扰动最小的去毒表征。在 10 个 LLM 的 RealToxicityPrompts 上毒性最多降低 69.38%,速度接近原模型,并扩展到 3 个 LVLM 最多降低 64.23%。
深度解读
这篇论文试图解决什么问题?
解决 LLM 测试时去毒中表示编辑干预不精确的问题,作者提出 TARGRS 框架。
核心问题:如何在测试时(test-time)精确地把 LLM 的表示引导到无毒区域,缓解有毒内容生成。
- 问题场景与重要性:LLM 在大量未过滤的网络语料上预训练,容易继承并放大有毒模式;作者援引 Microsoft Tay 聊天机器人产生种族主义内容的案例,认为去毒对安全部署关键(Sec. 1)。
- 现有方法的不足:训练时方法(如 DPO)数据与算力成本高;测试时表示编辑方法多依赖静态或粗糙干预,作者认为其对有毒与无毒表示之间的过渡空间探索不足,导致干预信号不精确(Sec. 2.2、4.1)。
- 核心观察:基于线性表示假设,毒性在表示空间中呈线性方向;沿该方向渐进引导可以刻画从无毒到有毒的细粒度过渡轨迹,且毒性分数随引导强度非线性变化(Table 6)。
- 论文方案:提出 TARGRS(Transition-Aware Reward-Guided Representation Sampling),在表示空间学习过渡感知的奖励引导,推理时用粗到细采样获得去毒表示,并可扩展到 LVLM(Sec. 4、6)。
- 威胁模型(防御视角):
- 防御目标:降低模型对自然提示词(RealToxicityPrompts、BOLD)和有害提问(AttaQ)生成有毒内容的概率。
- 防御者知识:白盒,需访问模型内部隐藏表示(作者在 Limitations 中明确)。
- 防御者能力:测试时干预语言解码器表示,模型权重冻结,不重新训练底座。
- 受害系统:10 个开源 LLM 与 3 个 LVLM。
有哪些相关研究?
相关工作分训练时方法、引导解码、权重编辑、表示编辑四组,本文定位在表示编辑。
训练时去毒方法
- 数据清洗与偏好训练:过滤或标注有毒样本构建干净语料([9]、[44]–[47]);Wang et al. [15] 用 RLHF、DPO [16] 直接在偏好对上微调。论文指出这类方法依赖高质量偏好数据和高昂训练成本,且援引 [13]、[49] 称微调可能只是表面绕过有毒输出。
引导解码(guided decoding)
- PPLM [50] 用毒性分类器梯度引导生成;DexPerts [51] 用小型专家分类器;RAD [54] 用单向奖励模型缓存中间激活;GenARM [53] 学习奖励模型给 token 分布打分。论文指出 PPLM 需多次反向传播、延迟高;并认为这类方法直接改 token 概率会损害流畅度,且奖励模型受限于稀疏毒性标注。
权重编辑
- Wei et al. [57] 用剪枝和低秩更新隔离安全权重;DAMA [58] 对 MLP 层做线性投影;ProFS [12] 用低秩分解找到概念子空间并投影过滤。论文指出权重编辑在大模型上去毒效果较差,且可能损害通用知识与推理能力(引 [59])。
表示编辑
- Self-Detoxify [17] 对比有毒/无毒样本得到毒性方向并静态干预;DeStein [11] 用线性分类器改进方向识别;Re-Control [18] 学习值函数产生动态控制信号。论文指出 Re-Control 的值函数每个提示词只用单条轨迹训练、奖励信号稀疏,干预可能不准确。
基线与基准:对比基线为 ProFS、Re-Control、ARGRE [26]、RAD、GenARM,另在 LLaMA-7B 上对比 DPO、Self-Detoxify、DeStein;基准为 RealToxicityPrompts、BOLD、AttaQ(Sec. 5.1)。
定位:作者称 TARGRS 与既往方法的区别在于显式建模毒性过渡、用 listwise 损失训练 token 级奖励模型、并以采样替代梯度优化,兼顾效果与效率(Sec. 2.2 Comparisons)。
论文如何解决这个问题?
TARGRS 三阶段:探索毒性过渡轨迹、训练 token 级奖励模型、推理时粗到细采样去毒。
整体思路:在表示空间沿毒性方向渐进引导生成,采集带毒性分数的过渡轨迹作为 listwise 监督,训练过渡感知的 token 级奖励模型,推理时沿反方向做粗到细表示采样。TARGRS 框架含三个组件(Fig. 2)。
毒性过渡探索
- 对比成对有毒/无毒标注的末层表示,取末 token 表示差,再用 PCA 提取第一主成分作为毒性方向 d(式 5)。
- 沿 d 渐进引导生成:hλ[t] = h[t] + λ · d,λ 取自候选集 Λ = {0, 2, 4, 6, 8},得到一组过渡轨迹。
- 用现成毒性打分器给每条轨迹的生成文本打分 ψ,构建 listwise 表示级数据集 Dh,把稀疏标注转为稠密监督(式 7)。
Token 级奖励模型
- 两层 MLP(隐藏层 1024)接在末层 transformer 上,把每个 token 表示映射为毒性风险分数;整体奖励分解为 token 分数之和(式 8)。
- 训练目标为 listwise 偏好排序损失(式 9,含 Lambda 权重与增益函数),作者认为它比 pairwise 损失更能刻画毒性沿轨迹的非线性变化。
- 训练设置:3 个 epoch,学习率 5×10⁻⁴,βr = 0.05;毒性标注统一为 2,000 对(Sec. 5.1)。
粗到细表示采样
- 推理时用奖励模型替代轨迹级奖励,生成目标变为逐 token 毒性分数之和的调制分布(式 10)。
- 粗采样:沿 −d 以步长 λcoarse = 1.0 采样 Kcoarse = 10 个候选,取满足阈值 s 的最小干预强度(式 11–12)。
- 细采样:以更小步长 λfine = 0.1 从粗锚点向原表示回退 Kfine = 10 步,取仍满足 s 的最大回退步,得到扰动最小的去毒表示(式 13–14,Algorithm 1)。
- 阈值 s 按奖励模型在毒性标注上预测分数的百分位设定,用各任务 10% 验证子集从 {5, 10, 20, 30, 40, 50, 60} 中选取。
扩展到 LVLM
- LVLM 与 LLM 共享语言解码器,TARGRS 只在解码器表示空间干预,不改视觉编码器;毒性标注配空白图像作为视觉输入,其余流程与 LLM 相同(Sec. 6.1)。
论文做了哪些实验?
10 个 LLM × 3 个基准的主实验,加效率、能力保持、消融、广义安全与 3 个 LVLM 扩展。
实验设置
- 被测模型:10 个 LLM——LLaMA-7B、LLaMA-7B-SFT、LLaMA-13B、LLaMA-30B、Mistral 7B、Mistral-SFT 7B、Qwen2-7B、LLaMA-2-Chat 7B、Mistral-7B-Instruct、Qwen2-7B-Instruct;扩展实验用 3 个 LVLM——Qwen-VL-Chat、LLaVA-1.5、Llava-next-8B。
- 基准:RealToxicityPrompts、BOLD(随机抽 1,680 条提示词)、AttaQ 的 challenge 子集;能力评测用 WikiText-2 开发集与 EleutherAI LM Harness 的 7 个任务。
- 基线:ProFS、Re-Control、RAD、GenARM、ARGRE;LLaMA-7B 上另测 DPO、Self-Detoxify、DeStein。
- 指标与评审:Toxic 与 PPLg 用 Detoxify 打分(越高越毒),PPLw 为 WikiText-2 困惑度,ACC 为 7 任务平均零样本准确率;交叉验证用 Perspective API;HarmBench 用 GPT-4 分类,Do-Not-Answer 用其 Longformer 拒答分类器;AlpacaEval 用 GPT-4 判 Win Rate。
- 实现细节:Λ = {0, 2, 4, 6, 8};Kcoarse = Kfine = 10;λcoarse = 1.0、λfine = 0.1;毒性标注 2,000 对;硬件为 6 张 A100 40GB。论文未报告重复次数。
主结果
据 Table 1(RealToxicityPrompts,Toxic↓ / PPLg↓):
表格较宽,可左右滑动
模型 Orig ProFS Re-Control RAD GenARM ARGRE TARGRS LLaMA-7B 43.27 28.07 32.52 31.12 23.86 18.06 13.43 LLaMA-13B 41.57 30.88 31.54 29.55 22.34 17.29 13.24 LLaMA-30B 41.72 31.94 31.28 28.48 23.79 17.68 13.36 Mistral 7B 42.79 30.14 33.44 27.07 21.52 18.30 12.51 Qwen2-7B 42.25 12.37 33.07 20.78 19.86 10.30 8.80 LLaMA-2-Chat 7B 37.33 24.82 30.67 28.91 21.56 13.60 11.04 Mistral-7B-Instruct 44.48 31.93 35.77 27.64 26.23 20.59 14.62 Qwen2-7B-Instruct 31.43 13.51 26.56 17.08 15.43 11.97 9.40 (省略 LLaMA-7B-SFT 与 Mistral-SFT 7B 两行,TARGRS 在这两行同样最低,分别为 16.11 与 11.92。)
- 作者称 TARGRS 在三个基准上毒性降幅最高:RealToxicityPrompts 69.38%、BOLD 46.85%、AttaQ 43.91%,对应 ARGRE 为 60.36%、35.34%、34.94%(Sec. 5.2)。
- BOLD 上 ProFS 在 LLaMA-7B/13B/30B 上毒性反而高于 Orig(如 LLaMA-7B 从 8.58 升至 11.54,Table 2);AttaQ 只报告 3 个指令微调模型(Table 3)。
- 流畅度代价:作者报告 TARGRS 在三个基准上平均 PPLg 增量为 5.03、0.57、0.57,低于 ARGRE 的 5.67、0.64、0.92(Sec. 5.2)。
效率与能力保持
- 效率(Table 4,LLaMA-30B 生成 128 token):TARGRS 8.24s,Orig 8.14s,ARGRE 9.30s,GenARM 18.94s,RAD 16.63s,Re-Control 58.69s,ProFS 8.18s;作者称 TARGRS 比 ARGRE 快 11.40%、比 GenARM 快 56.49%,但 ProFS 的 Toxic 为 31.94%,高于 TARGRS 的 13.36%。
- 能力(Table 5):TARGRS 平均 PPLw 增量 0.07(ARGRE 0.85、ProFS 2.78),ACC 平均升 0.06%;ProFS 的 ACC 平均降 2.09%。作者认为干预最小化带来了能力保持。
消融与机理分析(LLaMA-7B,RealToxicityPrompts)
- 标注数量(Fig. 4):100 条标注时 TARGRS 把 Toxic 从 43.27% 降到 17.13%,优于用 2,000 条标注的 ARGRE(18.06%)与 GenARM(23.86%)。
- 过渡轨迹(Fig. 5):无过渡探索时 TARGRS 的 Toxic 为 25.76%,GenARM 低 1.9%(作者报告的例外);Λ = {0, 2, 4} 时超过 ARGRE 与 GenARM;从 0 到 4 条轨迹 Toxic 降 12.12%,再加到 5 条只多降 0.21%。
- 轨迹毒性非线性(Table 6):λ 从 0 到 8,平均 Toxic 从 0.55% 经 10.78%(λ=4)升至 65.09%(λ=8),作者称毒性变化非线性。
- 阈值(Table 8):s 从 50th 到 5th 百分位,Toxic 从 16.09% 降到 6.34%,PPLg 从 11.59 升到 16.87,呈效果—流畅度权衡。
- Listwise 损失(Table 9):LLaMA-7B 上 listwise 比 pairwise 的 Toxic 低(RTP 13.43% vs 18.65%;BOLD 3.89% vs 4.93%),Qwen2-7B 上同样更低。
其他消融与分析
- SAE 方向提取(Sec. 5.6):用 SAE 替代 PCA,Toxic 13.12% 略优于 13.43%,但 PPLw 15.61 高于 12.22。
- Perspective API 交叉验证(Table 10):与 Detoxify 平均差 2.32%,Pearson 0.9960、Kendall's tau 1.0000。
- 广义安全(Table 11–12,Mistral-7B-Instruct):HarmBench overall ASR 从 47.19% 降到 23.75%,Do-Not-Answer 从 27.05% 降到 16.83%;但 General Harm 残余 ASR 50.00%、Illegal 41.51%、Malicious Uses 39.09%。
- AlpacaEval(Table 13):clean 设置 Win Rate 65.84%(Orig 66.09%),toxic-wrapped 57.89%(Orig 56.52%);46 条样本的人工评估多数票胜率 47.83%–56.52%。
- LVLM 扩展(Table 14,ToViLaG):Qwen-VL-Chat 44.88%→15.45%,LLaVA-1.5 40.13%→13.22%,Llava-next-8B 18.25%→7.29%,作者称平均降幅约 64.23%;真实图像替代空白图像的验证结果相当(16.32% vs 15.45%)。
有什么可以进一步探索的点?
作者列出白盒依赖、自动指标局限与残余风险三类局限;实验覆盖 10 个 LLM 与 3 个 LVLM。
作者指出的局限与后续方向
- 白盒依赖(Sec. 7 Limitations):TARGRS 需要访问 LLM 内部表示,闭源或 API 受限场景难以适用;作者称灰盒的 token 级 log-prob 接口不提供隐藏状态,扩展到闭源系统是开放问题。
- 自动指标的局限(Sec. 7):部分毒性分数大幅下降的输出仍可能含不当暗示,自动指标的改进未必完全反映真实输出安全(Fig. 6 示例亦说明)。
- 残余风险(Sec. 7):在广义安全任务上,general harm、illegal activities、malicious uses 等类别的残余 ASR 仍有改进空间(对应 Table 11–12 中 50.00%、41.51%、39.09%)。
- 伦理声明(Sec. 7):作者指出同样的技术可能被滥用于有意引导模型产生有害行为,强调需谨慎部署。
实验覆盖范围
- 被测模型为 10 个 LLM(LLaMA、Mistral、Qwen 系列,7B–30B)与 3 个 LVLM(Sec. 5.1、6.2.1)。
- 去毒评测覆盖 RealToxicityPrompts、BOLD(抽样 1,680 条)、AttaQ;AttaQ 只报告 3 个指令微调模型(Table 3)。
- 广义安全评测覆盖 HarmBench 与 Do-Not-Answer,仅测 Mistral-7B-Instruct;指令跟随用 AlpacaEval,人工评估部分为 46 条创意写作 + 46 条通用指令、3 名评估者(Sec. 5.6)。
- 效率只在 LLaMA-30B 上测生成 128 token 的耗时(Table 4)。
- 论文未报告实验重复次数与方差;BOLD 抽样与阈值选择使用 10% 验证子集(Sec. 5.1)。
总结一下论文的主要内容
TARGRS 用毒性过渡轨迹训练 token 级奖励模型,测试时粗到细采样去毒,兼顾效果与效率。
一篇测试时 LLM 去毒方法的论文,提出 TARGRS 框架。
- 问题:作者认为现有测试时表示编辑方法对有毒与无毒表示之间的过渡空间探索不足,干预不精确。
- 方法:沿 PCA 提取的毒性方向渐进引导生成,采集带毒性分数的过渡轨迹,用 listwise 偏好损失训练 token 级奖励模型(两层 MLP);推理时沿反方向先粗采样定位无毒区域、再细采样回退到扰动最小的表示。
- 主结果:10 个 LLM 上,作者报告 RealToxicityPrompts 毒性最高降 69.38%、BOLD 46.85%、AttaQ 43.91%,均高于 ARGRE 的 60.36%、35.34%、34.94%;LLaMA-7B 上 Toxic 从 43.27% 降到 13.43%(Table 1)。
- 效率与能力:LLaMA-30B 生成 128 token 耗时 8.24s(Orig 8.14s,Table 4);平均 PPLw 增量 0.07、ACC 平均升 0.06%(Table 5)。
- 扩展:3 个 LVLM 在 ToViLaG 上平均降毒约 64.23%;HarmBench overall ASR 从 47.19% 降到 23.75%,但部分风险类别残余 ASR 仍高。
- 作者结论:TARGRS 在效果与效率上优于所测基线且能力损失小;局限是白盒依赖、自动指标可能高估安全性,以及部分风险类别的残余 ASR。