研究:拒答只读取模型道德表征中的伤害切片
一项针对四个开源权重模型的研究发现,拒答决策并不读取模型用于道德判断的完整道德子空间,而是只读取其中与伤害相关的低秩切片。作者在 OLMo-3 上用嵌套交换秩扫描做因果检验:随着道德基扩大,道德判断的迁移系数从 0.05 升到 0.66,而拒答迁移在 k=3 后停在 0.22 至 0.24,约四分之三的拒答因果输入落在道德子空间之外。研究还发现道德理解在预训练阶段就已形成,OLMo-3 上该子空间与最终状态的余弦从 1000 步的 0.869 升到 0.999,对齐只做一次约 40 度的旋转;而拒答门是后训练新建的,与其预训练前身的余弦仅 0.155。四个模型的读取方式并不一致:Llama-3.1 读取宽泛道德内容,Qwen2.5 超出单一伤害线索但在样本量下未定论,GPT-OSS 读取伤害且其拒答可被自身推理链推翻。
推荐理由论文用嵌套交换干预追踪拒答决策读取的内容,给出拒答与道德判断在决策点近乎正交的机制解释。