首个 Token 至关重要:理解大型推理模型的安全坍塌
First Token Matters: Understanding Safety Collapse in Large Reasoning Models
AI 导读
研究者发现大型推理模型(LRM)在有害查询下,拒答相关信号会在第一个生成 token 处骤降,并提出推理时干预方法 SafeToken 缓解这一安全失效。论文将该现象称为起始拒答坍塌(Onset Refusal Collapse,ORC),其与不安全回复的生成相关。SafeToken 在推理起始处注入学习到的连续安全锚点,仅更新单个 token 嵌入,论文报告其能缓解 ORC,在有害查询基准上提升安全性,同时基本保留推理能力。作者据此提出,LRM 的安全失效可能源于从理解到生成这一关键转换中的瞬时崩溃。