跳到正文
原文
arXiv· arXiv:2609.18471· Yizheng Yang, Haining Yu, Yuechen Wang, Yikai Hou, Xing Fu, Jinbo Yang, Tianqing Zhu·本站收录· 原文发表

首个 Token 至关重要:理解大型推理模型的安全坍塌

First Token Matters: Understanding Safety Collapse in Large Reasoning Models

AI 导读

研究者发现大型推理模型(LRM)在有害查询下,拒答相关信号会在第一个生成 token 处骤降,并提出推理时干预方法 SafeToken 缓解这一安全失效。论文将该现象称为起始拒答坍塌(Onset Refusal Collapse,ORC),其与不安全回复的生成相关。SafeToken 在推理起始处注入学习到的连续安全锚点,仅更新单个 token 嵌入,论文报告其能缓解 ORC,在有害查询基准上提升安全性,同时基本保留推理能力。作者据此提出,LRM 的安全失效可能源于从理解到生成这一关键转换中的瞬时崩溃。

阅读原文arxiv.org