论文揭示大推理模型的对齐崩溃并提出 Reasoning Trap 越狱范式
Does Deeper Reasoning Compromise Alignment? Revealing and Mitigating of Alignment Collapse in Large Reasoning Models
AI 导读
论文指出深度推理可能引发对齐崩溃，并提出 Alignment Loss Rate（ALR）指标量化该现象：随着推理深度增加，ALR 显著上升，模型对外部扰动的鲁棒性明显下降。作者据此提出新的越狱范式 Reasoning Trap（RT），通过诱导模型进行长推理来放大对抗攻击的影响，使安全能力急剧下滑。论文将崩溃机制归因于注意力稀释，即长推理过程与原始输入争夺注意力。为缓解该问题，作者提出轻量防御策略 Reasoning Residual Alignment（RRA），通过残差连接将输入重新加权并整合进推理过程。