辨析语言模型中的道德回路与道德特征:道德内容、规范性判断还是线索词?来自 14 个模型的证据
Disambiguating Moral Circuits and Moral Features in Language Models: Moral content, normative judgment or cue words? Evidence from 14 models
AI 导读
研究团队发现,改变语言模型道德回答的注意力头属于模型处理各类规范性判断共用的评估回路,而不是专门对应道德内容。他们构建 227 个经五名标注者验证的最小对,在 Llama、Gemma 和 Qwen 的 14 个开源权重模型(1B 至 14B,含基座与指令微调版)上测试,并对比提示中有无 morally 一词。道德对与其他规范对的效应份额相近,有该词时合并比值为 1.00(97.5% 置信区间 0.92 至 1.07),无该词时为 0.90(0.84 至 0.96)。定位到的 SAE 特征更多响应 morally 一词而非短语主题。模型隐藏状态可读出配对类别,移除承载该方向在 8 个测试模型中有 7 个使道德判断的减弱幅度大于其他判断。