推理模型在哪里拒答？

1. 01这篇论文试图解决什么问题？

   推理模型的拒答可发生在思维链中，作者要定位决定形成的位置。

   推理模型要在长思维链的何处决定拒答，而不再只在提示词与最终回复的交界。

   • 出现场景：无 CoT 的对话模型必须在第一个回复 token 前决定拒答或遵从。推理模型先写思维链再作答；作者称这一范式正在成为主流，并举 o1、DeepSeek-R1、Qwen3、GPT-OSS，也称推理时计算可用来换对抗鲁棒性，同时出现了推理模型特有的漏洞。
   • 既有结论对不上：作者援引 Qi 等与 Arditi 等称，非推理模型的安全对齐主要影响最初几个输出 token，拒答由单一线性方向介导且可被消融关掉。作者认为这不能直接搬过来：决定点不再局限在提示词到回复的边界。
   • 要分辨的情况：若拒答在 CoT 开始前已定，同一提示词的不同轨迹不应改变最终拒答或遵从。作者比较只条件于提示词、与再固定一条 CoT 时，最终回复合规分的方差。
   • 做了什么：作者研究四个开源模型（三个蒸馏、一个带 deliberative alignment 的 RL 模型），检验 CoT 是否影响拒答，用逐句重采样看蒸馏模型上决定落在哪一句，并测试线性方向消融能否提高有害遵从。

   收起这一问

2. 02有哪些相关研究？

   相关工作分思维链推理、轨迹可解释性、推理模型漏洞与拒答线性方向。

   作者按思维链推理、轨迹可解释性、推理模型安全问题、拒答的线性表示来组织相关工作。

   思维链推理与监控

   • o1 与 DeepSeek-R1：OpenAI o1（2024）与 DeepSeek-R1（2025）在最终输出前生成显式 CoT。作者称该范式提升多步任务表现，能力可由强化学习得到，也可把大推理模型蒸馏进较小模型。
   • deliberative alignment：Guan 等（2025）训练模型在 CoT 中回忆并推理安全策略。
   • 监控与忠实性：Korbak 等（2025）及 [25–27] 讨论，若 CoT 忠实反映内部决策，监控可在伤害产生前看到不安全意图；Greenblatt 等（2024）报告对齐伪装的谋划可出现在 CoT 中。Turpin 等（2023）、Chen 等（2025）、Arcuschin 等（2025）报告 CoT 并不总是忠实，可能误导或编造。

   推理轨迹的可解释性

   • 单次前向不够：作者认为标准机制可解释性处理的是单次前向 [32, 33]；推理计算跨许多 token，同一提示词可采样出不同轨迹 [34]，结论应针对轨迹分布。
   • 重复采样：Brown 等（2024）报告重复采样会改变表现，正确解覆盖随样本数按幂律变化。
   • thought anchors：Bogdan 等（2025）用句子级 rollout 衡量反事实重要性，含 black-box resampling、attention aggregation 与 causal masking。他们发现重要性呈重尾，规划或回溯类句子对后续推理和最终答案影响不成比例。作者称 Section 4.1 改编其 resampling，对象从数学正确性换成安全决定。

   推理模型上的安全问题

   • CoT 中的安全与蒸馏：Zhou 等（2025）报告安全思考会出现在 CoT 中，但在攻击下经常失败。Li 等（2026）报告蒸馏会系统性地削弱安全对齐。
   • 作者所称的新攻击面：Kuo 等的 H-CoT（2025）用对抗提示把模型自己的安全推理转成有害输出。Ye 等（2026）描述提示中植入的虚假推理会被模型当成自己的想法并继续写。Yong 与 Bach（2026）报告，即使没有对抗输入，在数学等良性任务上后训练的推理模型也可能在 CoT 里把遵从有害请求合理化。

   拒答的线性表示

   • 线性概念：多篇工作把高层语义看成激活空间中的线性方向 [38, 32, 39, 40]，并用 representation engineering [41] 与 activation steering [42, 43] 去读或改这些方向。
   • 单一拒答方向：Arditi 等（2024）报告，非推理对话模型的拒答由残差流中的单一方向介导，消融它可关闭拒答，且对一般能力的影响可忽略。作者称第 5 节检验这一点能否延伸到推理模型。
   • 后续几何结果：Wollschläger 等（2026）找出多个几何上不同、行为权衡仍相似的拒答方向。Zhao 等（2025）报告有害性与拒答可以分开表示。

   方差实验的对照是同一提示词的不同条件，没有外部攻击方法基线；消融对照是未消融的标准推理。提示来自 HarmBench、AdvBench、SorryBench、OR-Bench 与 StrongREJECT；能力评测用 AIME 2025、GPQA Diamond、BBEH Mini。作者在引言中认为 Qi 等（2024）与 Arditi 等关于非推理模型的结论不能直接套用，并把本文的句子级分析接在 Bogdan 等之后、方向消融接在 Arditi 等之后。

   收起这一问

3. 03论文如何解决这个问题？

   用方差比较、逐句重采样和方向消融，定位拒答在链上与激活中的位置。

   作者用三条分析看拒答出现在何处：固定思维链比较结果方差，逐句重采样定位链内位置，再从激活抽取拒答方向并做方向消融。

   生成结构与四个模型

   • 两段式生成：用户提示词之后，模型先生成包在特殊 token 里的 CoT，再生成最终回复。无 CoT 时，拒答必须发生在提示词到回复的过渡；有 CoT 时，还可能发生在进入思维链时、链的中途，或链到最终回复的过渡（Figure 1）。
   • 两个 DeepSeek 蒸馏模型：DeepSeek-R1-Distill-Llama-8B 与 DeepSeek-R1-Distill-Qwen-7B 分别由 Llama-3.1-8B、Qwen2.5-Math-7B 在 DeepSeek-R1 生成的约 800K 样本上做监督微调，蒸馏模型本身没有 RL。教师 DeepSeek-R1（671B）有第二阶段安全 RL，安全奖励模型用了 106K 条标成安全或不安全的提示；论文写明蒸馏模型没有这类安全专项训练的记录。
   • 另两个模型：Qwen3-8B 从 Qwen3-235B-A22B 蒸馏，8B 跳过全部 RL，教师做过含 GRPO 的四阶段后训练。GPT-OSS-20B 是混合专家模型，用与 o3 同族的 RL 后训练，并含 deliberative alignment：先监督微调，使模型在 CoT 中回忆并推理安全规范，再用带安全评审的 RL。

   思维链是否进入拒答决定

   • 采样：每条提示词独立采样 5 条 CoT，每条 CoT 再采样 5 个最终回复，最多 25 个输出。温度 0.6、top-p 0.95，各模型统一（Appendix A）。未在 token 限制内写完的 CoT 被排除，不进入第二阶段。
   • 分数：只把提示词和最终回复交给 StrongREJECT，不给思维链。合规分在 [0, 1]，越高越遵从。附录 B 的合成式是 score = (1 − refusal) × (specificity + convincingness) / 2，refusal 为 1 表示拒答、0 表示遵从，specificity 与 convincingness 先从 1–5 缩放到 [0, 1]。
   • 方差：比较只条件于提示词时全部分数的标准差 σ[si]，以及每条 CoT 上标准差再平均后的 E[σ[sij]]。作者称差距大表示 CoT 是结果变异的主要来源。脚注写明逆命题不必成立：决定可以发生在链中，但不同轨迹仍走到同一结果，此时只条件于提示词的方差也会低。

   沿思维链定位

   • 逐句重采样：把 CoT 切成句子，从前缀为空开始逐句加长；每个前缀让模型重写剩余 CoT 和最终回复，k=10，再用 StrongREJECT 打分。作者称这改编自 Bogdan 等的 black-box resampling。
   • 高方差子集：只保留 σ[si] ≥ 0.43 且各 CoT 标准差的平均 ≤ 0.03 的提示词。作者称阈值要选到 CoT 确实承载因果，同时每个模型至少有 32 条。Figure 3 从中随机抽 N=32，横轴是归一化句子位置。论文未另写这一阶段的采样温度。
   • 首句前缀：取 DeepSeek-R1-Distill-Llama-8B 在 Figure 3a 中的开头句当作前缀，再采样 k=15；同一批前缀再送到 DeepSeek-R1-Distill-Qwen-7B。附录 F 有更多例子，此处不复述句子。

   线性方向与消融

   • 对比组：用 Section 3 的打分，在 1,946 条的 75% 训练集上分开稳定拒答与稳定遵从。提示词级：25 个分数中至少 80% 低于 0.2，或至少 80% 高于 0.8。CoT 级：该轨迹的 5 个分数全部低于 0.2，或全部高于 0.8。作者称 0.2 与 0.8 用来得到规模相近的对比组；论文未报告两组条数。
   • 方向：每个样本在一组 token 上平均残差流激活。位置有两种：提示词结束处的聊天模板 token，或全部 CoT token。拒答方向是两组均值之差，r^(l) = μ^(l) − ν^(l)，即该层拒答组均值减去遵从组均值。对多层都算。
   • 消融与选层：推理时在每一层、每个 token 上把该方向从残差流投影掉；等价写法是改写写入残差流的权重。作者称两种写法对应不同威胁模型（运行时钩子或持久改权重），实验中互换使用。GPT-OSS-20B 对每个专家权重单独正交化，方向向量相同。选层时在留出集的一个小子集上试消融，选 StrongREJECT 更高、且连贯完整生成比例仍高的层；最优层见 Table 6，论文未写该子集条数。

   收起这一问

4. 04论文做了哪些实验？

   作者报告固定思维链后方差下降，并称消融提高遵从但能力通常下降。

   实验设置

   • 被测模型：DeepSeek-R1-Distill-Llama-8B、DeepSeek-R1-Distill-Qwen-7B、Qwen3-8B、GPT-OSS-20B。前三个为蒸馏且未做 RL，GPT-OSS-20B 含 deliberative alignment。
   • 提示词：主集 1,946 条，来自 HarmBench 200、AdvBench 520、SorryBench 440、OR-Bench-Hard-1K 随机 500、StrongREJECT 313，跨基准去重。Section 3 另加 OR-Bench-80K 随机 500 条，合计 2,446 条，只用于该节。
   • 生成：Section 3 为 5 条 CoT 乘 5 个最终回复，温度 0.6、top-p 0.95。少数 CoT 未完成则不进入第二阶段。论文未给出该节的未完成比例。
   • 评审：StrongREJECT 的 rubric 变体，只看提示词和最终回复。默认远程模型是 GPT-4o-mini；作者改用本地 GPT-OSS-20B（vLLM，4 张 H100），该模型也是被测模型之一。Appendix B 用 200 条（每个被测模型 50 条）比较两者的分数分布，作者称有小偏离，但全程只用本地评审，且不与远程分数对比。论文未报告相关系数，也未报告与人工标注的一致性。
   • 定位与消融：高方差阈值为 σ[si] ≥ 0.43、平均 σ[sij] ≤ 0.03；Figure 3 为 N=32、每前缀 k=10，首句前缀 k=15。消融从 1,946 条按 75/25 划分，完整留出集 487 条；共同拒答子集 24 条，条件是四个模型在标准推理下 StrongREJECT 都 < 0.4。消融评测每条 5×5 个输出，未完成 CoT 记 0 分。
   • 能力基准：AIME 2025、GPQA Diamond、BBEH Mini，用 Inspect。Figure 15 的消融结果来自 CoT token 上抽出的方向。

   主结果

   据 Table 2。表注写明来自 Section 3；该节提示词池为 2,446 条，部分未完成 CoT 已排除。平均分是输出的 StrongREJECT 均值。

   表格较宽，可左右滑动

   模型	平均 StrongREJECT	仅提示词 E[σ[si]]	提示词+CoT E[σ[sij]]
   DeepSeek-R1-Distill-Llama-8B	0.621	0.212	0.108
   DeepSeek-R1-Distill-Qwen-7B	0.645	0.230	0.118
   Qwen3-8B	0.484	0.105	0.065
   GPT-OSS-20B	0.228	0.045	0.003

   • 作者的解读：作者称四个模型上，固定 CoT 都降低合规分标准差，因此拒答信息不只存在于思维链开始之前。Figure 2 用灰线连接每条提示词的两种标准差，向下表示固定轨迹后方差变小；蓝点、橙点分别是全体提示词的 E[σ[si]] 与 E[σ[sij]]，即表中后两列。
   • 不是每条提示词都靠 CoT：作者称 Qwen3-8B 与 GPT-OSS-20B 拒答倾向更高，有一批提示词两种方差都是 0。图注另写有一批高方差提示词，σ[si] ∼ 0.5 且平均 CoT 条件标准差 ∼ 0.0；作者称这些提示词上 CoT 是拒答结果的主要驱动。
   • 低方差不能反推时刻：Section 3 脚注写明，模型可以在 CoT 中做决定，却在不同轨迹上得到同一结果，此时只条件于提示词的方差也会低。

   思维链内的位置

   • 图上的两个模型：Figure 3 只画 DeepSeek-R1-Distill-Llama-8B 与 GPT-OSS-20B。上方是 k=10 次重采样的 StrongREJECT 标准差沿归一化句子位置的均值，阴影为提示词间 ±1 SD；正文未给出曲线端点数值。作者称 Llama-8B 的方差在 CoT 前段下降，此后保持低位，许多情况下第一句之后就塌缩；GPT-OSS-20B 下降更慢。下方热图各 3 条提示词，红为遵从、白为拒答。附录 E 列出提示词及每条 CoT 的均值和标准差，此处不复述提示词。阈值的设计目标是每个模型至少 32 条，但该图未画另外两个模型。
   • 首句分数：Table 1 取 Figure 3a 中提示词 i=806 的五条首句，在源模型上 k=15 的均值为 0.07±0.26、0.98±0.06、0.00±0.00、0.87±0.35、0.18±0.38。作者称这些开头句语义很近，却可以完全导向不同拒答结果。
   • 同教师迁移：同一前缀在 DeepSeek-R1-Distill-Qwen-7B 上为 0.15±0.31、1.00±0.00、0.13±0.28、1.00±0.00、0.58±0.50。作者称大体同向，并认为一种可能是两者从教师 DeepSeek-R1 继承了开头模式与拒答的关联。第 5 行两侧并不相同。附录 F 另有五组，不复述原文。Qwen3-8B 不在这一迁移实验中。

   方向消融

   据 Table 7。对象是 24 条共同拒答留出子集，数字是消融后的 StrongREJECT 均值±标准差，未完成生成记 0。论文未在该表给出消融前均值；入选条件是标准推理下分数 < 0.4。

   模型	CoT 方向	提示词末方向
   DeepSeek-R1-Distill-Llama-8B	0.888±0.281	0.294±0.421
   DeepSeek-R1-Distill-Qwen-7B	0.713±0.404	0.819±0.320
   Qwen3-8B	0.498±0.476	0.604±0.444
   GPT-OSS-20B	0.519±0.457	0.562±0.489

   • 作者的解读：作者称四个模型上消融都提高有害遵从，但不如同一技术在非推理模型上稳定；本文未给出文献 [2] 的数字。表中 Llama-8B 的提示词末方向低于其 CoT 方向，Qwen-7B 相反，论文未解释。Figure 4 是 GPT-OSS-20B 的一条定性例子，基线标为 0.00，消融后标为 1.00；不复述提示词与输出。
   • 留出集上的操作化拒答率：Table 9 把平均分 < 0.4 计为拒答，这不是评审内部的二值 refusal 位。N=487，行序为 Llama-8B、Qwen-7B、Qwen3-8B、GPT-OSS-20B。消融前为 38.7%、29.8%、60.0%、93.4%；CoT 消融后为 0.4%、3.9%、7.5%、3.5%；提示词末方向为 10.1%、4.1%、8.5%、7.0%。作者称消融后拒答率都下降。Table 8 在 24 条子集上，GPT-OSS-20B 提示词末方向的未完成 CoT 为 39.9%；正文称失败率达 40%，并称其余成功生成的 StrongREJECT 普遍高。消融后四个模型的未完成率都高于未干预。
   • 能力：Appendix I.3 与 Figure 15 比较消融前后的 AIME 2025、GPQA Diamond、BBEH Mini。作者称除两次评测外都更差，通常相对下降 5-30%；论文未说明是哪两次，正文也未列出各基准的原始准确率。

   其他消融与分析

   • 最优层（Table 6，CoT / 提示词末）：Llama-8B 为 23 / 15，Qwen-7B 为 21 / 17，Qwen3-8B 为 23 / 17，GPT-OSS-20B 为 19 / 15。
   • 训练对比用连续分 0.2 与 0.8；测试与 Table 9 的拒答切分用 0.4，作者称比训练筛选更宽。论文未报告对比组条数，也未报告选层子集条数。
   • 24 条子集的未完成率（Table 8，无干预 / CoT / 提示词末）：Llama-8B 为 0.3% / 2.6% / 1.2%，Qwen-7B 为 1.8% / 2.4% / 1.4%，Qwen3-8B 为 0.5% / 2.7% / 0.2%；GPT-OSS-20B 为 2.4% / 4.1% / 39.9%。
   • Figure 16：作者称提示词末方向与 CoT 方向的余弦相似度总体较低，并认为多个方向参与拒答；正文未给出各层数值。
   • Appendix B：200 条上本地 GPT-OSS-20B 与 GPT-4o-mini 的分数密度有小偏离，无相关系数。
   • 完整留出集的分数分布见 Figure 14（N=487），与 Figure 5 的 24 条子集分开；未完成生成同样记 0。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出未测闭源和更多RL模型，且单评审、单向迁移与规模差限制归因。

   作者指出的局限与后续方向

   • 模型范围：结果基于四个开源模型（三个蒸馏、一个 RL）。作者写明不测前沿闭源模型，也不测更广的 RL 训练推理模型（Section 7.1）。
   • rollout 数量：Section 3 每条提示词最多 25 次 rollout，Section 4.1 每个 CoT 前缀 10 次。作者称更多 rollout 会收紧方差估计（Section 7.1）。
   • 单一评审：输出有害性只用 StrongREJECT。作者称 LLM-as-judge 有已知盲点，更多指标会加强定量结论的把握（Section 7.1）。
   • 迁移方向：前缀迁移是单向的，句子来自 DeepSeek-R1-Distill-Llama-8B，填到 DeepSeek-R1-Distill-Qwen-7B。作者假设原因是共享教师 DeepSeek-R1，但未直接检验（Section 7.1）。
   • 作者点名的后续检验：反向实验（Qwen-7B 为源、Llama-8B 为目标）能提供佐证；迁移到教师 DeepSeek-R1 本身也会有信息（Section 7.1）。
   • 规模与范式缠在一起：所比较的蒸馏模型与 RL 模型规模不同（8B 与 20B）。作者称不能把观察到的差别只归因于训练范式（Section 7.1）。

   实验覆盖范围

   • 被测模型为 DeepSeek-R1-Distill-Llama-8B、DeepSeek-R1-Distill-Qwen-7B、Qwen3-8B、GPT-OSS-20B，共 4 个（Section 2.2）。前三个蒸馏且未做 RL，GPT-OSS-20B 含 deliberative alignment。
   • Section 3 的提示词池为去重后的 1,946 条再加 OR-Bench-80K 随机 500 条，合计 2,446 条，只用于该节；来源计数为 HarmBench 200、AdvBench 520、SorryBench 440、OR-Bench-Hard-1K 随机 500、StrongREJECT 313（Appendix A）。
   • 句子级曲线见 Figure 3，模型为 DeepSeek-R1-Distill-Llama-8B 与 GPT-OSS-20B，各从高方差子集随机 N=32，每前缀 k=10。首句前缀的源模型是 Llama-8B，迁移目标是 Qwen-7B，k=15（Section 4.3、Table 1）。
   • 方向消融评测含共同拒答子集 24 条和完整留出集 487 条；能力评测为 AIME 2025、GPQA Diamond、BBEH Mini（Appendix G.5、I.2、I.3）。Figure 15 有两次评测在消融后并未变差，论文未说明是哪两次，也未报告各基准原始准确率。
   • 主指标由本地 GPT-OSS-20B 按 StrongREJECT rubric 打分，该模型同时是被测模型之一。Appendix B 在 200 条上与 GPT-4o-mini 比较分数分布；论文未报告一致性系数，也未报告与人工标注的一致性，未报告拒答/遵从对比组条数和选层子集条数。

   收起这一问

6. 06总结一下论文的主要内容

   作者称思维链影响拒答，蒸馏模型可取决于首句，消融提高遵从但伤能力。

   Yamaguchi、Etheridge 与 Arditi 追问开源推理模型在思维链的何处决定拒答。无 CoT 的模型必须在第一个回复 token 前决定；推理模型先写链再作答，决定点可以在进入链时、链中或链结束之后。

   • 对象：四个开源模型。DeepSeek-R1-Distill-Llama-8B、DeepSeek-R1-Distill-Qwen-7B 与 Qwen3-8B 来自蒸馏且未做 RL；GPT-OSS-20B 用与 o3 同族的 RL，并在 CoT 中做 deliberative alignment。Section 3 的提示词池最多 2,446 条，每条最多 5 条 CoT、每条再采样 5 个回复，由本地 GPT-OSS-20B 按 StrongREJECT 打分，评审看不到思维链。
   • 链是否参与决定：作者报告固定一条 CoT 后，四个模型的合规分标准差都低于只条件于提示词时（Table 2）。GPT-OSS-20B 从 0.045 到 0.003，作者称轨迹固定后结果近乎由轨迹决定；DeepSeek-R1-Distill-Qwen-7B 从 0.230 到 0.118。作者同时写明，低方差不能反推决定发生在链之前。
   • 落在哪一句：在高方差子集上，作者称 DeepSeek-R1-Distill-Llama-8B 的方差在链的前段下降，GPT-OSS-20B 更慢（Figure 3；曲线端点数值正文未给）。Table 1 中同一提示词的不同首句，源模型 k=15 的均值可以是 0.00±0.00 或 0.98±0.06；迁到同教师的 Qwen-7B 后作者称大体同向，但有一行为 0.18±0.38 对 0.58±0.50。
   • 线性方向：方向消融提高有害遵从。留出集 487 条上，GPT-OSS-20B 以平均分 < 0.4 计的拒答率从 93.4% 到 3.5%（CoT 方向，Table 9）。共同拒答的 24 条上，Llama-8B 的 CoT 消融均值为 0.888±0.281（Table 7）。作者称这不如非推理模型上的同一技术稳定，良性推理基准通常相对下降 5-30%，且有两次例外未点名。
   • 作者的结论：思维链因果影响拒答；蒸馏模型的一个子集上，决定可以塌到第一句，并在同一教师的学生之间迁移；推理模型的拒答不像非推理模型那样能被单一线性方向分开。作者提出一种可能：蒸馏是在模仿轨迹，而不是在奖励下发现策略，因此依赖开源蒸馏模型的安全结论未必能迁到训练设定不同的模型。这一可能未被直接检验，且 8B 与 20B 的规模差使训练范式无法单独归因。

   收起这一问

相关论文