拒答断崖：安全对齐如何在推理模型中失效

一项机制分析发现，推理模型在思考链的大部分环节都能识别有害提示并保持较高的拒答意图，但在输出生成前的最后几个 token，拒答分数会骤降至接近零，作者将这一现象称为拒答断崖，并认为只检查思考轨迹的评测会给出虚假的安全印象。因果干预显示，这种压制由少量注意力头驱动，消融与拒答行为负相关最强的 3% 注意力头可将攻击成功率降至 10% 以下。作者据此提出 Cliff-as-a-Judge 数据筛选方法，只挑选断崖最大的样本微调，用 1.7% 的标准安全训练数据即可获得与全量数据相当的安全提升。文章还推断，若同样机制出现在动作生成头中，具备长行动链的 VLA 智能体可能全程规划安全，却在最后一步执行危险动作。