大型推理模型从有缺陷的思考中学到更好的对齐

1. 01这篇论文试图解决什么问题？

   如何训练LRM从误导性推理中恢复，而不是指望自我纠正自发出现。

   如何训练LRM从误导性推理中恢复，而不是指望自我纠正在推理时自发出现。

   • 出现场景：前沿LRM先生成结构化CoT再给最终答案，但把短语填进CoT即可绕过对齐并引出不安全补全。作者认为，开源模型与商业API都支持CoT prefilling，模型仍容易被注入思考过程的有缺陷前提带偏。
   • 现有不足：在线RL常用GRPO等算法，奖励多落在正确的最终回答上；推理时却要走过可能从错误步骤开始的轨迹。作者在第2节报告，一旦从有缺陷CoT出发，模型会沿不安全推理进入有害补全，且不能自行恢复。
   • 核心观察：续写更安全模型的推理痕迹时安全分上升，续写较弱模型的痕迹时下降。作者把这称为泛化缺口：训练只奖最终回答，推理却要处理带噪声的轨迹。附录B称同一现象也出现在过度拒答和数学上。
   • 威胁模型：
     • 目标是让补全顺着注入的有缺陷前提走，从而绕过对齐，或在良性题上诱发过度拒答。
     • 攻击者可向CoT注入前缀。第5.3节的全文CoT劫持假定恶意用户完全控制推理轨迹，并迫使模型跳过自身推理、直接生成回答。
     • IPR先注入前缀，再追加要求忽略先前推理并重新评估的过渡句，然后重新注入同一或稍改的前缀，重置可重复k轮。
     • 受害系统是先生成CoT的LRM。训练用的反对齐前缀来自外部模型；作者称部署时不要求暴露CoT。第5.5节把GCG写成white-box梯度优化。
   • 本文做法：提出RECAP（Robust Safety Alignment via Counter-Aligned Prefilling），在后训练中混合反对齐CoT prefill与标准提示，用标准RLHF奖励迫使模型改写有缺陷轨迹。作者称不增加RL优化步骤，也不改架构。

   收起这一问

2. 02有哪些相关研究？

   论文把RECAP放在SFT安全推理、附加损失、只优化最终回答的RLHF，以及推理时反思或外部护栏之外。

   附录L与第6节把先前工作分成数据微调、损失塑形、在线RL和推理时干预。作者的对照点是：这些路线之后，CoT prefilling仍能绕过对齐。

   安全推理上的SFT

   • SafeChain与STAR-1：Jiang et al.（2025）的SafeChain、Wang et al.（2025b）的STAR-1构造带推理的安全数据，并用SFT提高安全、降低过度拒答。表2把STAR、SafeChain以及同数据SFT列为基线。
   • 论文中的对照：正文称只在安全数据上训练会提高安全分，但降低过度拒答基准上的helpfulness。该句的表2例外见第4问，这里不把例外写成这些工作自己的结论。

   附加损失

   • 中间推理塑形：Mou et al.（2025）的SARO、Jeung et al.（2025）的SafePath、Zhang et al.（2025c）的STAIR、Zhang et al.（2025b）的RealSafe-R1，以及Zhang et al.（2025d），用额外损失惩罚不安全的中间推理或奖励安全轨迹。附录L只作归类。
   • SafeKey：Zhou et al.（2025c）放大安全推理中的aha-moment。论文同样只把它列入这一方向。

   在线RL

   • GRPO与DAPO：Shao et al.（2024）的GRPO、Yu et al.（2026）的DAPO用于提升推理与对齐。RECAP改的是DAPO里参与更新的token范围；主实验以DAPO为对照，附录F另用GRPO。
   • 只奖最终回答：作者指出多数RLHF仍只优化最终回答（Lambert et al., 2024）。Rager et al.（2025）显示，用短语prefill CoT即可绕过对齐。

   推理时干预

   • Backtracking：Zhang et al.（2024）引入RESET标记，在不良轨迹后重启生成，用SFT和DPO训练，只做一次显式重启。附录G在DSLlama-8B上与RECAP比较。
   • 外部护栏与推理时反思：Inan et al.（2023）的Llama Guard，以及Ichihara et al.（2025）讨论的推理时采样。作者称这类方法依赖运行时干预。

   基线与基准：对齐基线为STAR、SafeChain、同数据SFT和DAPO。安全基准为StrongREJECT及其prefill变体、WildJailbreak、Fortress；过度拒答为XSTest与FortressOR；数学为MATH500、GSM8K、AIME2024。

   作者把RECAP定位为：把反对齐prefill直接变成训练监督，迫使模型覆盖有缺陷轨迹，使稳健性不依赖推理时重启或外部护栏。

   收起这一问

3. 03论文如何解决这个问题？

   RECAP用反对齐CoT前缀做在线RL，只优化前缀后的token，迫使模型改回安全或有帮助的回答。

   RECAP在在线RL的rollout里写入方向相反的CoT前缀，再用只看最终回答的奖励，迫使策略改写这段轨迹。前缀只在训练时出现。

   问题设定

   LRM记为πθ。给定提示x，输出分成中间推理ycot和最终回答yresp。研究脆性时，注入外部生成、句法通顺但语义有偏差或反对齐的前缀。模型在提示加前缀上续写，再给回答。完整输出为 y=(y_cot^pre∥ y_cot^gen, y_resp)，即前缀、续写和最终回答拼接。

   反对齐前缀

   • 有害提示：前缀来自弱安全对齐或helpful-only模型πharm。主实验用DSQwen-7B，温度0.9、top-p 0.95，每题抽5条。LlamaGuard保留判为不安全的轨迹；五条都不是不安全时，取“safe”类概率最低者，再截成ℓpre个词。
   • 良性提示：先在STAR-1的safety-only子集上SFT DSQwen-7B，得到倾向于拒答的πrefuse，再抽取拒答导向推理，作为过度保守前缀。
   • 使用范围：只对训练集里比例α的样本做增强。前缀是固定上下文，不是被优化的token。顺着前缀会给出不安全指示或过度拒答。

   优化目标

   框架是DAPO。有前缀时，重要性采样比和组内优势只计算注入前缀之后的token。有prefill时 t₀(x)=ℓ_pre+1，否则t0(x)为1。裁剪阈值沿用DAPO的εlow、εhigh。动态采样丢掉一组里奖励全为0、或全部高于阈值τ的提示；论文未给出τ。奖励Ri只由提示和最终回答决定。

   奖励、数据与超参

   • 三项奖励：安全用Granite-Guardian-3.1-8B的logits作连续奖励；过度拒答用Llama-3.1-8B-Instruct按附录C的量表打分，允许值为0、0.5、1，附录C给出完整提示词；数学用RLVR，可验证的正确答案给奖励。
   • 语料：5K条，BeaverTails有害提示1K、STAR-1过度拒答提示1K、GSM8K与MATH的数学提示3K。数学提示不做CoT prefill。
   • 默认设置：α=0.5，ℓpre=500，每题G=16条rollout，截断长度8000，εlow=0.2，εhigh=0.28，训练1个epoch。主策略为DSLlama-8B与DSQwen-14B。

   部署与判定

   反对齐prefill只用于训练。作者称学到的改写会迁到没有前缀的普通输入，推理不要求暴露CoT。主评测用GPT-4o判安全或有帮助的补全比例；Fortress用逐例量表。数学报告pass@K。

   收起这一问

4. 04论文做了哪些实验？

   RECAP在表2的prefill列高于DAPO，DSQwen-14B的StrongREJECT同为99.04。

   实验设置

   • 策略模型：主结果为DSLlama-8B与DSQwen-14B。表5另训Qwen3-4B。表1还报告DSQwen-1.5B、DSQwen-7B、DSQwen-32B和Qwen3-4B-Thinking-2507。
   • 数据与前缀：训练为第3问的5K提示，前缀来自DSQwen-7B。正文称稳健性评测使用不同prefill来源。表2的prefill变体注入DSQwen-1.5B的有缺陷CoT，论文未写该变体的词数。
   • 基线：STAR、SafeChain、同数据SFT、DAPO。附录G另比Backtracking。
   • 基准：StrongREJECT共313条；越狱为WildJailbreak和Fortress（500条专家对抗提示）；过度拒答为XSTest和Fortress良性子集；数学为MATH500、GSM8K、AIME2024。未见攻击为AdvBench上的CodeAttack三种编码和GCG，以及ReNeLLM的520条。
   • 指标与评审：安全分、帮助分是被判安全或有帮助的补全百分比。除非另有说明，主评测用GPT-4o；Fortress用逐例量表。pass@K在MATH500与GSM8K上为1，AIME2024上为16。表2是三次独立运行的平均。全文CoT劫持用贪心解码，最长8000 token。论文未写明主评测解码温度。附录I的数学均值与表2不是同一组数字，主结果以表2为准。
   • 训练侧模型：安全奖励为IBM Granite-Guardian-3.1-8B，过度拒答裁判为Llama-3.1-8B-Instruct，前缀筛选用LlamaGuard。

   主结果

   下表据Table 2。XSTest为帮助分，MATH500为pass@1，其余为安全分。省略STAR、SafeChain、SFT，以及Fortress、Fortress OR、GSM8K、AIME2024。

   表格较宽，可左右滑动

   模型与方法	StrongREJECT	REJ-Prefill	WildJailbreak	XSTest	MATH500
   DSLlama-8B Original	57.83	45.05	24.40	90.40	81.00
   DSLlama-8B DAPO	96.81	79.23	72.90	78.00	82.20
   DSLlama-8B RECAP	99.68	98.70	88.75	91.87	83.60
   DSQwen-14B Original	68.69	49.20	34.40	96.00	86.40
   DSQwen-14B DAPO	99.04	80.51	77.60	96.80	88.80
   DSQwen-14B RECAP	99.04	98.08	91.65	96.80	90.00

   • 作者称增益能迁到推理时没有prefill的提示。引言称相对vanilla DAPO平均+12.3%（直接有害）、+21.0%（越狱）、+7.8%（过度拒答帮助分）。表2里DSQwen-14B的StrongREJECT与XSTest上，RECAP与DAPO并列。
   • 未列入上表的Fortress：DSLlama-8B上RECAP为86.84、DAPO为68.86；DSQwen-14B为80.17与67.85。GSM8K上DSLlama-8B的RECAP为93.72、DAPO为93.71。AIME2024上RECAP为70.00（DSLlama-8B）和86.67（DSQwen-14B），与各自的Original相同。
   • 作者称只在安全数据上训练的STAR、SafeChain会降低过度拒答帮助分。表2中DSLlama-8B的SafeChain在XSTest上与Original同为90.40；DSQwen-14B的SafeChain在Fortress OR上为96.40，高于Original的95.00。

   自适应攻击与自我反思

   • 全文劫持：整段CoT被替换，并接上结束思考标记。表3在StrongREJECT上，DSLlama-8B的DAPO为70.29、RECAP为98.08；DSQwen-14B为73.48与96.49。作者称平均高出35.4%。
   • IPR：StrongREJECT上的前缀来自DSQwen-1.5B，重置k轮。表4未写策略模型。DAPO由k=1的79.23降到k=3的69.65，RECAP由98.72降到97.44。作者称降幅随k增大而趋平。
   • 反思：图5图注称RECAP更常在轨迹中途修正；不复述示例原文。表7在StrongReject-Prefill上，首次反思落在生成CoT四个等分区间的比例为31.1%、32.1%、24.8%、12.0%。无前缀的WildJailbreak上，RECAP出现自我反思的例子占74.2%，DAPO为43.9%。论文未说明这两项的策略模型。

   跨族迁移、未见越狱与裁判

   • 表5：Qwen3-4B策略。prefill来自DSQwen-7B时Strong Reject为99.82，来自LLaMA-3.2-1B时为99.68，DAPO为95.60；两种RECAP的Rej-Prefill都是99.68，Fortress OR都是92.80。作者称关键是前缀与目标行为反对齐，而不是同一模型族。
   • 表6：DSLlama-8B，这些攻击未用于训练。五行里RECAP都高于DAPO，例如CodeAttack（Stack）为78.85对51.92，GCG为88.08对70.96。作者称增益覆盖代码伪装、语义改写和梯度优化。
   • 附录E.1：StrongReject与WildJailbreak共250条，三名人工，以及GPT-4o、Granite-Guardian-3.1-8B、Llama-3.1-8B。人工安全分DAPO为82.00±1.02，RECAP为92.80±0.74；与人工多数标签的Cohen's κ为0.76–0.83。论文未说明策略模型。

   其他消融与分析

   • 表1，前200词：作者称四个DS模型续写DSQwen-1.5B前缀后平均安全分降36.4%，续写DSQwen-32B前缀则升91.7%。Qwen3-4B从95.21到76.68、84.35，作者称降19.5%和11.4%。
   • 表17，DSLlama-8B、仅2K对齐提示：α=0.25的WildJailbreak为67.15，低于α=0的69.15；α=1的XSTest为89.80，低于α=0.5的92.00。作者采用α=0.5。
   • 表17长度：ℓpre=700的StrongREJECT为98.72、XSTest为86.80，低于500词的99.35和91.20；Fortress由82.99升至86.45。作者仍把500当作默认，并称700词时安全与帮助分下降。
   • 表17来源：不安全前缀的StrongREJECT为98.05，无prefill为97.44，安全前缀为71.88。作者称安全前缀会被直接利用，学不会纠正。
   • 图2，DSQwen-14B：安全任务RECAP的CoT/总token为318/707，DAPO为286/625。作者称总预算与DAPO相当。图3无坐标读数；作者称无prefill时DAPO初期更高，之后RECAP超过它。
   • 表13：Backtracking的REJ-Prefill为67.51，低于DAPO的79.23。表11的二元奖励、表12（表题写GRPO，行名仍是DAPO）中，RECAP一行高于对照行。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者把有缺陷数学轨迹的监督选择留作开放问题，并列出混合推理与多语言多模态方向。

   作者指出的局限与后续方向

   • 更深入理解对齐与推理的失败模式，也可能打开新的误用或模型操纵途径；作者认为公开研究这些弱点是必要的（Limitations）。
   • 后续可扩展到结合多种推理策略的hybrid reasoning模型（Limitations）。
   • 多语言和多模态场景里，推理脆性可能更突出（Limitations）。
   • 数学与安全对齐不同：多条轨迹都可能通向正确或错误解答。作者称，如何判断哪些有缺陷轨迹能提供有效监督，仍是开放问题（Limitations）。

   实验覆盖范围

   • 主策略是DSLlama-8B和DSQwen-14B（表2）。表5以Qwen3-4B为策略，prefill来自DSQwen-7B或LLaMA-3.2-1B。表1另有DSQwen-1.5B、7B、32B和Qwen3-4B-Thinking-2507的prefill案例。
   • 训练为5K提示、1个epoch，主优化器DAPO。附录F报告GRPO，以及Granite-Guardian的二元标签和连续logits。数学提示训练时不做prefill。
   • 主安全分与帮助分由GPT-4o判定，Fortress用逐例量表。附录E.1用三名人工和三种自动裁判重评250条。数学为MATH500、GSM8K的pass@1和AIME2024的pass@16；附录I另给三次种子的均值和标准差。
   • 压力测试包括全文CoT劫持（表3）、k=1到3的IPR（表4），以及CodeAttack、ReNeLLM的520条和GCG（表6）。消融在DSLlama-8B的2K对齐提示上改变α、ℓpre和前缀来源（表17）。附录B报告MATH500与XSTest的prefill案例。
   • 论文未报告统计显著性检验。表4、表7和250条人工子集未写明策略模型。

   收起这一问

6. 06总结一下论文的主要内容

   RECAP以反对齐prefill的RL后训练覆盖有缺陷CoT，并在安全、帮助性与数学上对照DAPO。

   RECAP是LRM的后训练配方：在RL里故意给出方向相反的CoT前缀，让模型把轨迹改回安全且有帮助的回答。

   有害题的前缀来自弱对齐模型的不安全推理，良性题的前缀来自过度保守模型的拒答推理。顺着前缀走就得不到高奖励。更新只覆盖前缀之后的token。数学题不做prefill，推理时也不再注入前缀。主实验在DAPO中训练DSLlama-8B和DSQwen-14B，训练前缀来自DSQwen-7B。

   表2的三次平均中，DSLlama-8B上RECAP的StrongREJECT、prefill变体和WildJailbreak安全分为99.68、98.70、88.75，DAPO为96.81、79.23、72.90；XSTest帮助分为91.87。DSQwen-14B的prefill安全分从DAPO的80.51到98.08，StrongREJECT则与DAPO同为99.04。表3的全文劫持下，两模型的RECAP为98.08和96.49。表6中DSLlama-8B的GCG安全分为88.08。

   作者称过度拒答下降、数学pass@K保持、推理token预算与DAPO相近，自我反思也更常出现；即便反复重置CoT，安全分仍高于DAPO。作者的结论是，把有缺陷推理写进RL，可以让对齐在干净提示和对抗痕迹下都更稳，且不改标准RLHF流程。

   收起这一问

相关论文