论文揭示大推理模型的对齐崩溃并提出 Reasoning Trap 越狱范式

扩展推理会不会系统性削弱大推理模型（LRM）在外部扰动下遵守对齐约束的能力。

• 场景与重要性：作者称 Chain-of-Thought 催生了用扩展内部推理处理难题的 LRM，社区普遍认为更深推理有助于理解复杂指令与意图，从而增强安全对齐。Figure 1 用 Qwen3-8B 对比干净数学题与带外部扰动的输入：推理开启时干净输入得到 23，扰动输入得到 2。作者据此提出核心问题：扩展深度推理带来的内在不稳定，是否会损害 LRM 的对齐稳健性。
• 现有工作的不足：作者称已有工作表明攻击者可利用中间推理绕过安全护栏（Kuo et al., 2025; Lou et al., 2025），但主要关注攻击构造；对“扩展推理本身是否系统性动摇对齐”的机制研究仍然有限，多停留在现象或对特定攻击的验证。
• 核心观察：作者称深度推理能提升标准任务表现，同时显著降低模型在外部扰动下遵守原始约束的能力，并将该现象称为 Alignment Collapse（对齐坍塌）。
• 本文提出的内容：用 Alignment Loss Rate（ALR） 量化随推理深度上升的稳健性衰减；提出 Reasoning Trap（RT），用扩展推理放大已有对抗攻击；把机制归为 Attention Dilution（注意力稀释）；提出无需训练、也不额外加提示模板的 Reasoning Residual Alignment（RRA），用残差连接重新强调原始输入。作者称这是首次识别该现象。
• 威胁模型：
  • 目标：RT 检验扩展推理是否放大对抗扰动并削弱拒答，从而暴露标准 LLM 与推理模型中的安全风险。
  • 知识：论文未用 white-box、black-box 或 no-box 标明 RT 的知识假设。
  • 能力：攻击者控制输入。扰动函数 P 把已有越狱施加到恶意输入 x，推理触发模板 T 迫使模型先产生显式中间推理再给结论，二者拼接为 [P(x); T]。
  • 受害系统与判定：目标模型 Mt；安全评测用评审智能体 Meval，指标为拒答成功率 RSR = Meval(Mt(P(x), L))，越高表示越遵守安全对齐。任务侧则用硬匹配正确性比较干净输入与扰动输入。

作者把相关工作分成推理模型探索和 LLM 越狱两类，并在贡献中与注意力残差防御相联系。

LRM 与推理范式

• 推理时策略：Wei et al. (2022) 的 CoT 与 Yao et al. (2023) 的 Tree of Thoughts 作为脚手架，在不改权重的情况下引出多步推理。
• 训练时方法：用 SFT（Zhang et al., 2025a）或 RL（Yao et al., 2023; Chen et al., 2025）把推理过程内化到参数中，使模型原生生成扩展思考。代表模型包括 DeepSeek（DeepSeek-AI, 2025）与 Qwen3（Yang et al., 2025a）。
• 安全争议：作者称深度推理对安全对齐仍有争议。Kuo et al. (2025) 表明攻击者可利用推理过程引入新漏洞；Lou et al. (2025) 在多模态大推理模型（MLRM）上观察到安全退化。作者认为这些文献主要停留在现象揭示或特定攻击验证，缺少对深度推理如何损害对齐稳定性的系统机制分析。

LLM 越狱

• 手工与分类：Shen et al. (2023) 的 DAN 用角色扮演提示规避防护；Wu et al. (2025) 按战术、目标与能力–安全平衡对这些方法做了分类。
• 优化与启发式：GCG（Zou et al., 2023）、AutoDAN（Liu et al., 2024）、I-GCG（Jia et al., 2025）迭代构造对抗后缀，作者称计算成本高；启发式方法效率更高但一致性较差（Kuo et al., 2025）。
• LLM 辅助框架：PAIR（Chao et al., 2023）、FlipAttack（Liu et al., 2025）、PAP（Zeng et al., 2024）用辅助模型做提示精炼并提高可扩展性。作者称在防御持续演化下，通用越狱仍然困难（Zhu et al., 2025），因此把攻击改造成利用深度推理诱导的对齐坍塌，是提高效率与攻击成功率的一条途径。

基线方法与基准

• 任务稳健性：在 AIME2024（MAA, 2024）与 LogicAsker（Wan et al., 2024）上比较干净输入、Perturbation-I（无关噪声文本）和 Perturbation-II（把指令包进嵌套场景）。
• 安全基线：在 AdvBench（Zou et al., 2023）上以 FlipAttack、PAP、ArtPrompt（Jiang et al., 2024）为扰动基线，并与加上 RT 的变体对比；推理模式 L=4096 与标准模式 L=0 对照。

作者把本文定位为：既有工作或提升推理、或构造攻击，而本文用 ALR 系统量化扩展推理下的对齐衰减，用注意力竞争解释机制，并用 RT 展示风险、用 RRA 做无需训练的缓解。RRA 的动机来自 He et al. (2016) 的残差网络缓解信号衰减。

整体上，作者控制推理深度 L，比较干净输入与外部扰动下的任务正确率，定义相对损失 ALR；再把同一不稳定性做成 RT 安全探针，用注意力竞争解释，最后用 RRA 把原输入残差接回推理之后。

问题设定与 ALR

• 模型与深度：主实验模型为 Qwen3。作者称它是当时唯一能在非推理与不同深度推理之间灵活切换的开源模型。L=0 为非推理，L=2048 与 L=4096 为不同深度。目标模型记为 Mt。
• 两种推断：数据集 D = {(xi, yi)}。干净输出为 ỹi = Mt(xi; L)，扰动输出为 ỹi′ = Mt(F(xi); L)。正确性由与 yi 的硬匹配 Ceval 给出。
• 指标：A(L) 与 A′(L) 分别是干净与扰动上的平均准确率。相对对齐损失率为 ALR(L) = (A(L) − A′(L)) / A(L) × 100%。作者称 ALR 越高，表示外部深度推理造成相对原能力越大的比例偏离。括号中的绝对下降是 A′(L) − A(L)。
• 扰动：Perturbation-I 加入无关噪声文本；Perturbation-II 把指令包在嵌套场景中。附录 A 给出描述。

Reasoning Trap

• 组成：RT 包含扰动函数 P 与推理触发模板 T。P 把已有越狱用于原始输入 x，T 强制引出扩展推理。输出为 y = Mt([P(x); T])，[·; ·] 表示提示拼接。附录给出触发模板，此处不转述其措辞。
• 评测设定：越狱方法集合含 FlipAttack、PAP、ArtPrompt。比较 L=4096 与 L=0。RSR 由评审智能体 Meval 判定。论文未写出 Meval 的具体模型名。
• 作者给出的作用：T 让模型在得出最终结论前生成显式中间步骤，从而把推理模型上观察到的脆弱性用提示工程复现到标准 LLM 上。

注意力稀释

• 对象：在 Transformer 中，X 为初始输入，Y<t 为到第 t 步已生成的推理。第 i 个 token 的注意力经 softmax 在输入位置与已生成推理位置之间归一化，作者称分母使注意力总量为 1，容量须在 X 与 Y 之间分配。
• 随深度变化：关注子集 Xinput ⊂ X。推理变长后，Y 的贡献增大，并与位置编码一起使相对距离更远的分数衰减。作者称模型更关注近端推理 token，而忽略远处的安全指令；softmax 的竞争会压缩固定输入 token 上的权重。Figure 4 的图注写注意力在初始输入上随推理长度增加而下降。附录 C 给出推导。公式中的位置编码讨论引用 RoPE（Su et al., 2024）。

RRA

• 做法：受残差网络启发。LRM 先由 X 生成推理 Y，RRA 再把 X 作为残差接回，上下文改为 [X; Y; X]，而不是 X → Y → Response。Figure 5 示意该捷径。作者称这把对齐约束的相对位置重置，使最终决定条件于刷新后的用户意图表示，且无需训练、不引入新的安全提示模板。
• 对照变体：附录比较固定安全提醒 S，即 [X; Y; S]，以及依赖输入的锚点 A(X)，即 [X; Y; A(X)]。S 与 A(X) 的新增指令 token 分别为 24 与 47；[X; Y; X] 复用原输入，新增提示 token 为 0。附录写出了 S 与 A(X) 的提示，此处只保留结构。
• 实验控制：温度设为 0，其余超参为默认，沿用 Liu et al. (2025a)。Qwen3 与 Llama2 在两块 NVIDIA A100-80GB 上本地运行，DeepSeek 系列经 API 评测。

实验设置

• 被测模型：Qwen3-8B、Qwen3-14B、Llama2-7B、Llama2-13B、DeepSeek-V3、DeepSeek-R1、Claude-Haiku-4.5、GLM4.6。作者称 Qwen3 可在非推理与不同深度间切换。
• 数据：AIME2024 与 LogicAsker 用于任务准确率与 ALR；AdvBench 含 520 条恶意提示，用于安全对齐。AIME2024 与 LogicAsker 的样本条数论文未写。
• 条件：L 取 0、2048、4096。任务扰动为 Perturbation-I（Noise）与 Perturbation-II（Nesting）；安全扰动基线为 FlipAttack、PAP、ArtPrompt，并与 RT 组合。
• 指标：任务准确率由与标准答案硬匹配得到；ALR 为相对干净准确率的百分比降幅。安全指标为 RSR，由 Meval 判定。论文未说明 Meval 是哪个模型。
• 解码与重复：温度 0，其余超参默认。附录 B 给出四次重复的标准差。主表未在每个数字旁标注标准差。

主结果

任务侧，Table 1 是 AIME2024 准确率（%）。括号为相对 Clean 的绝对下降。

Swipe horizontally to read the table

模型与 L	Clean	Noise	Nesting
Qwen3-8B L=0	20.83	18.75 (−2.08)	14.16 (−6.67)
Qwen3-8B L=2048	24.58	20.41 (−4.17)	15.42 (−9.16)
Qwen3-8B L=4096	31.67	25.00 (−6.67)	19.16 (−12.51)
Qwen3-14B L=0	31.66	29.58 (−2.08)	28.75 (−2.91)
Qwen3-14B L=2048	40.00	35.41 (−4.59)	31.66 (−8.34)
Qwen3-14B L=4096	49.16	43.33 (−5.83)	32.91 (−16.25)

据 Table 1。Claude-Haiku-4.5、GLM4.6 不在该表。

• 作者解读：干净输入上准确率随 L 上升，例如 Qwen3-8B 从 20.83%（L=0）到 31.67%（L=4096）；扰动下绝对降幅也随深度变大。作者称这是能力提升与对齐脆弱性同时出现。
• ALR：Figure 2 标注 Qwen3-8B 在 AIME2024 上 Perturbation-I 的 ALR 为 L=0 时 10.0%、L=2048 时 17.0%、L=4096 时 21.1%；Perturbation-II 为 32.0%、37.3%、39.5%。Qwen3-14B 的 Perturbation-I 为 9.2%、20.8%、33.1%，Perturbation-II 在 L=2048 为 11.5%、L=4096 为 11.9%。作者称趋势单调，深度放大相对退化。
• Table 2：Claude-Haiku-4.5 在 AIME、仅 Perturbation-I 上，Clean 为 53.33、57.50、61.66（L=0、2048、4096），绝对下降为 1.67、2.50、3.33 个百分点，降幅小于 Qwen3 的 Nesting。

逻辑任务与安全 RSR

• LogicAsker（Table 3，仅 Noise）：Qwen3-8B 的 Clean 从 57.94（L=0）到 69.77（L=4096），绝对下降从 4.23 到 11.65 个百分点。Qwen3-14B 在 L=4096 为 83.68 对 73.28（−10.40）。GLM4.6 的 Clean 从 98.20 到 100.00，绝对下降仅 0.10、0.27、0.30 个百分点。ALR 曲线在附录 B。
• 推理模式对照（Table 4，AdvBench，RSR %）：No Attack 下推理模式仍接近 100（DeepSeek-R1 99.62，Qwen3-8B 99.81，GLM4.6 99.73；标准模式三者均为 100.00），平均差 0.28。FlipAttack 上 Qwen3-8B 从标准模式 92.31 降到推理模式 57.42（−34.89），DeepSeek-R1 为 2.19（相对标准模式 DeepSeek-V3 的 3.26 再降 1.07），GLM4.6 从 95.19 降到 70.58（−24.61）。PAP 的平均下降为 6.22，ArtPrompt 为 10.77。表中 DeepSeek 的推理列是 DeepSeek-R1，标准列是 DeepSeek-V3，二者不是同一模型。
• RT（Table 5）：括号是相对未写明对照的绝对 RSR 下降。FlipAttack+RT 使 Qwen3-8B 的 RSR 为 29.03（−63.28），Qwen3-14B 为 45.57（−2.12），Llama2-7B 与 Llama2-13B 仍为 100.00（−0.00），DeepSeek-V3 为 0.38（−2.88）。ArtPrompt+RT 上 Llama2-7B 为 36.54（−43.65），Qwen3-14B 为 35.00（−26.54），DeepSeek-V3 为 21.15（−14.81）。No Attack+RT 的 RSR 仍在 98.27–100.00。Figure 3 的图注称：无 RT 的基线用小标记，加上 RT 后降幅变大；无攻击时 RSR 稳定，与 FlipAttack、ArtPrompt 结合后 RSR 下降幅度随推理深度单调增大，并进入对齐坍塌区。横轴刻度约到 1400，与 L=4096 的设定如何对应，论文未在图注中说明。

RRA 防御

• Table 6（L=4096，RSR）：Qwen3-8B 上 FlipAttack 从 57.42 到 64.57（+7.15），PAP 从 73.07 到 73.65（+0.58），ArtPrompt 从 40.00 到 47.12（+7.12）。Qwen3-14B 上分别为 45.57→51.74（+6.17）、80.75→81.13（+0.38）、35.00→42.57（+7.57）。作者称 RRA 缓解坍塌并恢复稳健性；PAP 上的恢复远小于另两种攻击。这些 RSR 仍低于 Table 4 中对应标准模式（例如 Qwen3-8B 的 FlipAttack 标准模式为 92.31）。
• Figure 4：纵轴为 Total Attention Weight (Sum)，横轴为 Thinking Depth，约从 0 到 540。图例为对输入的注意力与对思考过程的注意力。作者称随推理变长，初始输入上的注意力下降。图中未在正文转写出各深度的具体权重数值。

其他消融与分析

• Table 9，Qwen3-8B，AdvBench，平均 RSR： [X;Y] 56.83；加 S（+24 token）63.60（+6.77）；加 A(X)（+47 token）60.78（+3.95）；加 X（+0 新提示 token）61.78（+4.95）。FlipAttack 上 S 为 66.31（+8.89），高于 RRA 的 64.57（+7.15）。
• Table 10，Qwen3-14B：平均 RSR 从 53.77 到 S 的 60.12（+6.35）、A(X) 的 55.95（+2.18）、X 的 58.48（+4.71）。作者称固定安全提醒在该拒答基准上最好，RRA 在不引入新安全提示时取得相近增益。
• Table 11，AIME2024，L=4096 准确率：固定提醒 S 相对 [X;Y] 略降，例如 Qwen3-8B 的 P-I 从 25.00 到 24.58（−0.42），P-II 从 19.16 到 18.75（−0.41）。重注 X 则上升：Qwen3-8B 的 P-I 到 28.33（+3.33）、P-II 到 22.50（+3.34）；Qwen3-14B 的 P-II 从 32.91 到 36.25（+3.34）。
• Table 12，LogicAsker，L=4096，P-I：Qwen3-8B 从 58.12 到 +X 的 61.38（+3.26），+S 为 57.84（−0.28）；Qwen3-14B 从 73.28 到 76.18（+2.90），+S 为 72.96（−0.32）。
• 例外：Llama2-7B 与 Llama2-13B 在 FlipAttack+RT 下 RSR 仍为 100.00，下降为 0；GLM4.6 在 LogicAsker 上绝对下降不超过 0.30 个百分点；No Attack 与 No Attack+RT 的拒答率保持高位。DeepSeek-R1 对 FlipAttack 的 RSR 为 2.19，但其标准模式对照是 DeepSeek-V3 的 3.26，不是同一检查点。

作者指出的局限与后续方向

• 受控评测：Limitations 称工作集中在可比较不同推理深度与扰动条件的受控设置（出自 Limitations）。
• 模型与交互：作者称实验覆盖多个模型族以及任务级与安全向基准，但所评系统与扰动类型并未穷尽现代 LRM 或真实用户交互的全部空间（出自 Limitations）。
• 机制范围：作者称机制分析基于注意力行为与位置效应，提供了证据，但可能没有捕捉稳健性下降背后的全部因素（出自 Limitations）。
• 后续方向：作者称未来工作可以把评测扩展到更多模型族、更广的扰动类型，以及更多用于改进扩展推理期间稳健性的缓解策略（出自 Limitations）。

实验覆盖范围

• 模型：实验列出 Qwen3-8B、Qwen3-14B、Llama2-7B、Llama2-13B、DeepSeek-V3、DeepSeek-R1、Claude-Haiku-4.5、GLM4.6。可切换 L 的任务主结果集中在 Qwen3；Claude-Haiku-4.5 的 AIME 结果只报 Perturbation-I（Table 2）；GLM4.6 出现在 LogicAsker（Table 3）与 AdvBench 推理对照（Table 4）。
• 数据与扰动：任务数据为 AIME2024 与 LogicAsker，扰动为 Noise 与 Nesting；安全数据为 AdvBench 的 520 条恶意提示，攻击为 FlipAttack、PAP、ArtPrompt 以及它们与 RT 的组合。RRA 主结果在 Qwen3、L=4096（Table 6），附录还比较 S 与 A(X)。
• 协议：温度设为 0；附录 B 给出四次重复的标准差。论文未报告 Meval 的模型名称，也未报告与人工判定的一致性。
• 深度设置：ALR 与准确率使用 L=0、2048、4096。Figure 3 横轴标注到约 1400，Figure 4 横轴到约 540；这两张图的深度单位与 L=4096 的对应关系论文未在图注中写明。
• 机制证据：注意力分析给出 softmax 竞争与 Figure 4 的权重分配图，推导放在附录 C。论文未报告该注意力曲线对应的层号与具体样本数。

作者研究扩展推理是否以对齐稳健性为代价，提出 ALR、RT 与 RRA。

• 问题：LRM 用更长的内部推理提升难题表现。作者质疑这种深度是否让模型在外部扰动下更难守住原始约束，并把现象称为对齐坍塌。
• 做法：在 Qwen3 上把推理长度上限设为 L=0、2048、4096，比较干净输入与噪声、嵌套扰动的硬匹配准确率，ALR 定义为相对干净准确率的百分比损失。RT 把已有越狱与强制长推理的触发拼在一起。机制上，作者认为推理 token 与原输入竞争有限的注意力，远处的安全指令被稀释。RRA 不训练，在推理之后把原输入再接一次，形成 [X; Y; X]。
• 任务结果：AIME2024 上 Qwen3-8B 的干净准确率从 L=0 的 20.83% 升到 L=4096 的 31.67%，但 Nesting 的绝对下降从 6.67 增至 12.51 个百分点（Table 1）。Figure 2 中 Qwen3-14B 在 Perturbation-I 上的 ALR 从 9.2%（L=0）到 33.1%（L=4096）。GLM4.6 在 LogicAsker 上绝对下降不超过 0.30 个百分点（Table 3）。
• 安全结果：AdvBench 上无攻击时推理模式 RSR 仍接近 100%。FlipAttack 下 Qwen3-8B 从标准模式 92.31% 降到 L=4096 的 57.42%；DeepSeek-R1 为 2.19%（Table 4）。FlipAttack+RT 使 Qwen3-8B 的 RSR 再降 63.28 个百分点至 29.03%，而 Llama2-7B/13B 仍为 100%（Table 5）。
• 防御与结论：L=4096 时 RRA 将 Qwen3-8B 对 FlipAttack 的 RSR 从 57.42 提到 64.57（+7.15），对 PAP 只 +0.58（Table 6）。附录中固定安全提醒在 AdvBench 平均 RSR 上高于重注原输入，但在 AIME2024 与 LogicAsker 上略降准确率，重注原输入则上升。作者的结论是：更强推理会增加对外部扰动的脆弱性，RT 用来暴露该风险，注意力稀释是一种可能机制，RRA 是轻量、免训练的缓解。