跳到正文
原文
arXiv· arXiv:2602.08377· Bilgehan Sel, Vaishakh Keshava, Phillip Wallis, Lukas Rutishauser, Ming Jin, Dingcheng Li·本站收录· 原文发表

RLBF：面向 LLM 安全的回溯反馈强化学习

Reinforcement Learning with Backtracking Feedback

论文速读

防御

据论文 PDF 整理（AI 生成），以原文为准

作者提出RLBF：LMSYS有害子集上ASR为1%–2%，BSAFE+为14%–17%（Table 1）。

威胁模型受害模型为Gemma 2与LLaMA 3。

问题
安全对齐常靠查询开头的拒答，中途违规若整段重置会丢掉可用文本。作者要模型在生成中发现违规，只撤回若干token再继续。
方法
RLBF用BSAFE+把违规注入连贯安全回答做SFT，学习发出类别token与backtrack by x tokens。critic对模型实时输出给奖励，GRPO更新策略。推理不回滚KV cache，后处理删除信号前X个token。
实验与结果
Table 1里LMSYS有害子集的RLBF ASR为1%–2%，BSAFE+为14%–17%。Table 2（未写模型）GCG上RLBF为4.7%与4.3%。Gemma2 9B上RLBF的MMLU为70.7%，IT为70.6%。
局限与可以继续做的
作者在Section 7写，回溯相关计算需求可能影响部分部署；harmful难以精确定义，现有协议未必覆盖全部违规，并建议更可适应的策略。实验含5个模型及多种攻击的ASR；论文未报告攻击集样本量、ASR评审模型和主实验重复次数。
实验设置Gemma 2 2B、Gemma 2 9B 等 · LMSYS、LMSYS-MF 等 · ASR、Attack Prevention Rate 等
威胁模型
受害模型为Gemma 2与LLaMA 3。攻击含Middle Filling、GCG、Decoding Parameters及抑制backtracking token的自适应GCG。指标为ASR。作者称训练不含GCG或decoding-exploit样本。后处理按信号删token，不回滚KV cache。
被测模型
Gemma 2 2BGemma 2 9BLLaMA 3 1BLLaMA 3 3BLLaMA 3 8B
基准
LMSYSLMSYS-MFAdvBenchHEx-PHIMaliciousInstructMMLUBBHGSM8KMATH
指标
ASRAttack Prevention RateSolution Ratewin rate
AI 导读研究提出回溯反馈强化学习（RLBF），训练 LLM 输出「backtrack by x tokens」信号纠正生成中的实际违规。该方法在 BSAFE 基础上引入 critic 反馈，并用 BSAFE+ 监督微调数据策略将违规注入原本安全的文本。评测显示其在多种基准与模型规模上显著降低攻击成功率并保留模型效用，覆盖 GCG、middle filling 和解码参数操纵等攻击。

研究提出回溯反馈强化学习（RLBF），训练 LLM 输出「backtrack by x tokens」信号纠正生成中的实际违规。该方法在 BSAFE 基础上引入 critic 反馈，并用 BSAFE+ 监督微调数据策略将违规注入原本安全的文本。评测显示其在多种基准与模型规模上显著降低攻击成功率并保留模型效用，覆盖 GCG、middle filling 和解码参数操纵等攻击。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    要解决生成中途的安全违规：用RLBF让模型发出backtrack by x tokens并自行纠正。

    现有对齐容易只在查询开头拒答，缺少在生成中途只撤回违规片段再继续作答的能力。

    • 场景： 作者认为模型进入生成、推理等任务后，对齐至关重要；除对抗提示词下的有害内容外，还要处理毒性、偏见和误导信息。
    • 不足： 作者称 SFT、RLHF/RLAIF 与 DPO 易形成 “shallow safety”，拒答主要由开头 token 触发，可被 prefilling、GCG 与 prompt injection 绕过。reset 会丢弃后段可用文本；BSAFE 要重复有害段再改写，作者认为效率仍受影响。
    • 假设： 作者认为应直接发 “backtrack by x tokens”，只撤到违规前的安全状态，以减少改写痕迹。
    • 做法： RLBF 用 BSAFE+ 把违规注入连贯安全文本做 SFT，再用 critic 对实时输出给奖励，学习回溯后继续生成。
    • 威胁模型：
      • 目标： 降低对抗攻击和 in-distribution errors 下的有害生成，指标为 ASR。
      • 知识： 论文未用 white-box、black-box 或 gray-box 写攻击者知识。
      • 能力： 评测 Middle Filling（良性上下文后注入恶意指令）、GCG、Decoding Parameters，以及 Zhang et al. [2025] 为抑制 backtracking token 而优化 suffix 的自适应 GCG。作者称训练不含 GCG 式或 decoding-exploit 样本。
      • 受害系统： Gemma 2 与 LLaMA 3。推理时模型自回归发出类别 token 与 [BACKTRACK_BY_X]，后处理删除其前 X 个 token；论文写不回滚 KV cache。

  2. 有哪些相关研究？

    作者把本文放在安全对齐、生成纠正和回溯三条线上，并用BSAFE+与RL区别于BSAFE和reset。

    论文 Related Work 分安全对齐与生成细化两组；Section 3 再比较 reset 与 BSAFE。

    安全对齐

    • RLHF/RLAIF： Ouyang et al. [2022]、Bai et al. [2022a,b] 用人类或 AI 反馈训练奖励模型，再用 PPO 微调，追求 helpful and harmless。作者称基于 RL 的方法计算开销大、实现复杂。
    • 直接微调： DPO [Rafailov et al., 2023]，以及 Yuan et al. [2023] 所代表的非 RL 安全技术。作者称许多现有对齐仍会呈现 shallow safety，可被操纵提示结构或在输入后部注入指令的攻击绕过，并引用 Qi et al. [2025]、Zhang et al. [2025]、Carlini et al. [2023]。

    生成细化与自我纠正

    • 迭代改写： Self-refine [Madaan et al., 2023] 等用多视角或替代续写迭代改进输出；论文还引 Ma et al. [2023]、Sel et al. [2024b]。Long [2023]、Yao et al. [2023]、Sel et al. [2024a] 把探索和细化放进生成过程。此处论文只作描述。
    • 检测到不安全内容后改过程： reset [Qi et al., 2025; Zhang et al., 2025]、针对 suffix 攻击 [Zou et al., 2023b]、调节解码参数 [Huang et al., 2024]、自适应越狱 [Andriushchenko et al., 2025]。Circuit Breakers [Zou et al., 2024] 控制内部表示，在即将产生有害输出时打断模型。

    回溯机制

    • Reset： 回到生成开头，或发出 [RESET]，常配合 masked SFT，有时再加 DPO。作者称它适合序列早期的问题；违规在深处时，可能为改一小段丢掉大量 token。
    • BSAFE [Sel et al., 2025b]： 发类别 token（如 [TOXICITY]、[HEALTH_VIOLATION]），把有害段改成安全替代再继续；测试时可按类别控制回溯概率。作者称改写仍损害效率。其数据让一个模型问答、另一个模型标注；作者称例子偏泛、质量较低，且单模型续写可能 out-of-distribution。BSAFE 作者未报告数学基准下降。作者用 Gemini 2.0 在 LMSYS 上评判：按该数据策略训练的 IT 胜率 28.2%，标准 IT 为 71.8%。

    基线与本文定位

    • 基线方法： IT、去掉回溯专项奖励的 RL、Circuit Breakers、BSAFE+。基准为 LMSYS 有害查询子集、LMSYS-MF、AdvBench、HEx-PHI、MaliciousInstruct，以及 MMLU、BBH、GSM8K、MATH。
    • 作者把区别放在三点：用 [BACKTRACK_BY_X] 代替整段 reset 或重复改写；BSAFE+ 从待训练模型的安全回答注入违规，使回溯位置和安全续写已知且 in-distribution（作者把质量写成 49.4% vs. 50.6%，未标明两侧身份）；RL 目标根据 critic 对整段生成的动态反馈优化，而不只在静态集上最大化控制 token 与替换文本的似然。

  3. 论文如何解决这个问题？

    SFT学会backtrack by x tokens，再用critic奖励和GRPO在模型自己的生成上练纠错。

    RLBF 分两段：SFT 教会类别 token 与 [BACKTRACK_BY_X]，再用单个 LLM critic 的轨迹奖励和 GRPO 更新策略。Figure 1 左栏是查询、IT 回答、攻击者改写和带 [BACKTRACK] 的 BSAFE+ 样本，右栏是 RLBF 生成、critic 与回溯后续写；图中句子不复述。引言写 critic 可按安全类别专门化；Section 4.2.1 实际使用单个 critic。

    回溯信号与推理时处理

    • 违规跨 X 个 token、止于 yk 时，模型先发 [CATEGORYc]，再发 [BACKTRACK_BY_X]，X 为正整数。
    • 推理保持自回归，不回滚 KV cache。特殊 token 交给后处理或流式 handler：从给用户的输出流删掉信号前的 X 个 token，再接上信号之后的 token。作者称可用小缓冲做近实时修正，并避免重新生成有害内容和 BSAFE 的替换序列。
    • 作者称测试时仍可按类别控制回溯概率。论文未报告该控制的实验数值。critic 用于训练奖励和 SFT 数据分析，论文未写推理时还要调用 critic。

    BSAFE+ 与 SFT

    • 先用待训练的指令模型对相关查询（如 chat 数据）生成安全回答，再在上下文连贯的位置注入有害或越狱片段。因为完整安全回答已知，回溯位置和安全续写已知，且续写对该基座是 in-distribution。
    • SFT 输入是提示词接安全前缀。目标是类别 token、回溯命令，以及原安全后半（可稍调流畅度）。X 由违规段长度及紧邻、被标成违规的前文决定。损失是标准交叉熵。SFT 混合普通指令数据，数量论文未写。Section 5 写增强样本为 300k。
    • 附录 A.1 是有害续写模块：输入用户查询和助手前缀，输出带标记的续写和类别。附录 A.1 给出了完整提示词。

    Critic 与奖励

    • 单个 LLM critic 监视 y1 到 yk。发现违规时给出类别和 token 跨度，从而得到 X。
    • 人工构造 100 对，严重度 43 high、38 medium、19 low。三个候选 critic 提示的准确率为 97.6%、97.6%、98.0%（每对三次采样）。作者称对提示措辞不敏感。附录 A.2 的 critic 模块输入用户提示和助手回复，输出是否违规及最小编辑；附录 A.2 给出了完整提示词。
    • 轨迹结束才给 R_final。无回溯信号：任一处违规为 -1.0，全程无违规为 +1.0。有信号时，用户看到保留前缀接信号后的后缀。不必要回溯（被删片段实际无违规）为 -0.5。必要且 critic 判定结果安全、连贯、有用为 +1.0；不安全、不连贯或无用为 -0.2。作者称这鼓励直接生成安全内容、在出错时适当回溯，并保证修正质量。

    GRPO 与 SFT 引导

    • 策略用 GRPO [Shao et al., 2024] 优化。核心目标是最大化轨迹奖励期望：JRL(θ)=𝔼τ∼πθ[Rfinal(τ)]。总损失为：Ltotal(θ)=−JRL(θ)+λSFT LSFT_guidance(θ)。前者是 RL 目标，后者把 SFT 样本上的对数似然当作行为克隆；λ_SFT=0.1。
    • 学习率 SFT 为 1e-5，RL 为 5e-6；AdamW，100 step 线性 warmup 后 cosine decay；bf16；A100 80GB。作者称每模型约 800 GPU hours（SFT 250，RL 550）。论文未报告 GRPO 的 group size 或 KL 系数。
    • 若 rollout 重新生成 SFT 中被替换掉的已知违规 v，作者写可以计入 R_final 的强惩罚，或在 GRPO 更新中惩罚这些序列的概率。论文未给该惩罚的系数。
    • 作者对比 BSAFE：后者主要在静态数据上最大化控制 token 和替换文本的似然；J_RL 看的是整段生成的动态反馈，包括回溯之后的输出是否安全、有用。作者称反馈来自模型自己的生成，针对 in-distribution 失败，并训练恢复而不是只预防。

  4. 论文做了哪些实验？

    Table 1：LMSYS有害子集上RLBF的ASR为1%–2%，BSAFE+为14%–17%。

    实验设置

    • 被测模型： Gemma 2 2B、Gemma 2 9B、LLaMA 3 1B、LLaMA 3 3B、LLaMA 3 8B。Table 2、Table 5 与 Section 5.6 的部分数字未写模型。
    • 基线： IT；RL，即用作者的奖励训练但去掉回溯专项奖励；Circuit Breakers；BSAFE+。
    • 基准： LMSYS 有害查询子集（Table 1 行名为 LMSYS）；LMSYS-MF；GCG 用 AdvBench 与 HEx-PHI；Decoding Parameters 用 MaliciousInstruct 与 HEx-PHI；自适应 GCG 来自 Zhang et al. [2025]。效用为 MMLU、BBH、GSM8K、MATH。各攻击集样本量论文未报告。
    • 指标： ASR；Table 4 为 Attack Prevention Rate；Table 3 为 Solution Rate。ASR 的评审模型与阈值，论文未说明。
    • 训练与 critic： 300k 条 SFT 样本，λ_SFT=0.1，学习率与硬件见第 3 问。较强 critic 的模型名论文未说明。较弱 critic 为 LLaMA 3 8B（与被测 8B 同名），同一提示，验证集准确率 82.0%。
    • 其他评审： Section 3 用 Gemini 2.0 评判 BSAFE 数据策略的 LMSYS 胜率。主表 ASR 的重复次数论文未报告。

    主结果

    表格较宽，可左右滑动

    模型MF ITMF BSAFE+MF RLBFLMSYS BSAFE+LMSYS RLBF
    Gemma 2 2B7145142
    Gemma 2 9B7533152
    LLaMA 3 1B6867141
    LLaMA 3 3B7755172
    LLaMA 3 8B8153161

    单位为 ASR%，据 Table 1。RL 与 Circuit Breakers 未列入此表。

    • 作者称 IT 的高 ASR 对应 shallow safety。作者给出的 RL 为 LMSYS-MF 61%–72%、LMSYS 22%–25%；CB 为 MF 13%–18%、LMSYS 17%–21%，并称 CB 触发后输出不连贯文本。
    • 作者称 MF 上 BSAFE+ 为 3%–6%、RLBF 为 3%–7%，二者接近。Table 1 里并非每行都是 RLBF 低于 BSAFE+：Gemma 2 2B 与 LLaMA 3 1B 相反。
    • 作者称标准 LMSYS 有害子集上 RLBF 低于 BSAFE+。作者假设原因是：RL 同时优化少生成违规和用回溯纠正；“backtrack by x tokens” 比 BSAFE 的多 token 替换序列更好学。这是假设，不是单独实验。

    GCG、解码参数与自适应攻击

    表格较宽，可左右滑动

    攻击基准ITRLCBBSAFE+RLBF
    GCGAdvBench65.662.610.76.64.7
    GCGHEx-PHI36.538.313.45.74.3
    Decoding ParametersMaliciousInstruct84.381.82.01.01.0
    Decoding ParametersHEx-PHI54.951.712.45.03.7

    单位为 ASR%，据 Table 2。论文未说明对应哪个模型。

    • 作者称 GCG 上 RLBF 的 ASR 最低，并给出 4.3%–4.7%。HEx-PHI 的 GCG 上 RL 高于 IT。MaliciousInstruct 上 BSAFE+ 与 RLBF 同为 1.0%。
    • 作者称 BSAFE+ 数据与 RL 阶段都不含 GCG 式或 decoding-exploit 样本。
    • 自适应 GCG 还优化 suffix 以抑制 backtracking token。作者称 RLBF 的 ASR 不变，仍为 AdvBench 4.7%、HEx-PHI 4.3%；BSAFE+ 最多变动 0.4 个点。

    效用

    表格较宽，可左右滑动

    模型与方法MMLUBBHGSM8KMATH
    Gemma2 9B IT70.667.466.435.4
    Gemma2 9B RLBF70.767.366.335.6
    LLaMA 3 8B IT66.364.163.149.8
    LLaMA 3 8B RLBF66.664.263.149.9

    单位为 Solution Rate%，据 Table 3。更小模型的效用论文未报告。

    • BSAFE+ 的 Gemma2 9B 为 70.1、67.1、66.3、35.4；LLaMA 3 8B 为 66.7、63.8、63.2、49.6（Table 3）。
    • 作者称安全增强没有以效用为代价，回溯主要在 critic 发现违规时调用，良性生成时模型仍按指令模型工作。作者称混合指令数据与 RL 目标避免了 catastrophic forgetting。

    回溯消融与 critic 质量

    • Table 5 在 LMSYS 上比较回溯：IT 24、RL 22、BSAFE+ 14、RLBF 1、去掉全部回溯信号 18、去掉生成中段回溯 7（ASR%）。论文未说明模型；前四列与 Table 1 的 LMSYS 某一行相同。作者称中段回溯也重要。
    • Section 5.5 用准确率 82.0% 的 LLaMA 3 8B critic 重做 RL。LMSYS 上 ASR 为 2%–4%，较强 critic 为 1%–2%，BSAFE+ 为 14%–17%。LMSYS-MF 上两种 critic 都是 3%–7%。
    • 作者称增益来自带回溯的策略学习，而不只来自 critic 准确率。

    其他消融与分析

    • Table 4：RLBF 在 LMSYS-MF 上的 Attack Prevention Rate，模型为 Gemma 2 2B、LLaMA 3 1B、LLaMA 3 3B。Hate Speech 为 0.98/0.96/0.96，Sexually Explicit 为 0.92/0.94/0.92，Illicit Drugs 为 0.94/0.92/0.92。作者称 Hate Speech、Toxic、Politics、Health、Violent、Finance 一般至少 0.96；Table 4 中 LLaMA 3 3B 的 Finance 为 0.94。
    • Section 5.6：同一数据改用 BSAFE 式回溯，LMSYS ASR 为 17%–22%，介于 RL 与 BSAFE+ 之间。作者称 Section 4.1.2 的数据构造独立于回溯格式也有作用。
    • 触发回溯的回复上，BSAFE+ 与 RLBF 相对 BSAFE 平均少 68.3 与 72.6 个 token；同一修正按 BSAFE 格式重放时为 74.8 与 79.1。作者称按典型服务速度约合托管模型每次修正少 2.5–3.5 s、边缘设备少 5–10 s。论文未报告实测耗时。
    • Section 3：BSAFE 数据策略的 IT 由 Gemini 2.0 评判，LMSYS 胜率 28.2%，标准 IT 为 71.8%。作者将 BSAFE+ 的回答质量写成 49.4% vs. 50.6%，未标明两侧，也未写是否仍由 Gemini 2.0 评判。

  5. 有什么可以进一步探索的点？

    作者在Section 7指出回溯的计算需求，以及harmful难以定义、协议未必覆盖全部违规。

    作者指出的局限与后续方向

    • 计算需求： 作者写 RLBF 的计算需求，尤其是回溯过程，可能在某些部署场景构成挑战（Section 7）。
    • 有害定义： 作者写精确定义 “harmful” 有固有困难，现有安全协议未必覆盖每一种潜在违规（Section 7）。
    • 后续方向： 作者建议未来研究更可适应的策略，以处理这一复杂性（Section 7）。

    实验覆盖范围

    • Table 1 报告 Gemma 2 2B、9B 与 LLaMA 3 1B、3B、8B 共 5 个模型，比较 IT、RL、Circuit Breakers、BSAFE+、RLBF，基准为 LMSYS-MF 与 LMSYS 有害查询子集。
    • Section 5.1 另报告 GCG（AdvBench、HEx-PHI）、Decoding Parameters（MaliciousInstruct、HEx-PHI），以及 Zhang et al. [2025] 优化 suffix 以抑制 backtracking token 的自适应 GCG。Table 2 未写模型。
    • Table 3 的效用只含 Gemma2 9B 与 LLaMA 3 8B，基准为 MMLU、BBH、GSM8K、MATH。
    • Section 5.5 比较了准确率 82.0% 的 LLaMA 3 8B critic 与较强 critic；较强 critic 的模型名称论文未说明。ASR 的评审模型、各攻击集样本量和主实验重复次数，论文未报告。
    • Section 4.2.1 用人工构造的 100 对验证 critic 提示，严重度为 43 high、38 medium、19 low，每对采样三次。

  6. 总结一下论文的主要内容

    RLBF在生成中发回溯信号纠错；LMSYS有害子集ASR为1%–2%（Table 1）。

    RLBF 是一套生成中自我纠正的安全训练方法，针对作者所称的 shallow safety，以及 reset、BSAFE 在撤回违规时多丢 token 的问题。

    • 问题： 拒答常被查询开头 token 触发，prefilling、GCG、prompt injection 可以绕过。违规若出现在后段，整段重置或先重复再改写都会多丢已生成文本。
    • 方法： BSAFE+ 向连贯安全回答注入违规，SFT 学习 [CATEGORYc] 与 [BACKTRACK_BY_X]。单个 LLM critic 按违规、不必要回溯和修正质量给 -1.0 到 +1.0 的轨迹奖励，再用 GRPO 与 λ_SFT=0.1 的 SFT 引导更新。推理不回滚 KV cache，由后处理删掉信号前的 X 个 token。
    • LMSYS： Table 1 五个模型在有害查询子集上，RLBF 的 ASR 为 1%、2%、1%、2%、1%，BSAFE+ 为 14%–17%。MF 上作者称 RLBF 为 3%–7%、BSAFE+ 为 3%–6%；Gemma 2 2B 与 LLaMA 3 1B 上 RLBF 不低于 BSAFE+。
    • 其他攻击与效用： Table 2（未写模型）里 GCG 的 RLBF 为 AdvBench 4.7%、HEx-PHI 4.3%；自适应 GCG 下作者称这两个数不变。Decoding Parameters 的 MaliciousInstruct 上 BSAFE+ 与 RLBF 同为 1.0%，HEx-PHI 上 RLBF 为 3.7%。Gemma2 9B 的 RLBF 在 MMLU 上为 70.7%，IT 为 70.6%（Table 3）。
    • 作者结论： 作者称动态自我纠正能在多种模型和基准上降低 ASR，同时保持效用；并认为在分布内修复错误，比只预防错误更有助于对抗未见过的攻击。Section 7 同时写计算需求，以及 harmful 难以精确定义。
阅读原文arxiv.org
#防御与护栏