OpenAI 研究：助手人格特征可抑制涌现性失准

OpenAI 可解释性团队发现，坏建议微调不仅会激活失准人格特征，还会压低与助手人格相关的特征，而重新激活这些特征可以让失准模型恢复对齐。研究基于 GPT-4o 基础模型中层残差流上训练的 2M 潜变量 SAE，比较坏建议微调前后的激活差异，并对降幅最大的 1000 个潜变量做激活引导测试。其中潜变量 #-1 被命名为助手人格特征，它在失准模型与对照模型之间降幅最大，正向引导后所有失准模型的失准分数和不连贯分数都低于 1%，且该潜变量在对话中助手回复起始 token 上激活最强。作者据此提出失准人格特征像失准的主动驱动因素，助手人格特征则像保护性特征，并推测抑制默认人格可能是人格切换的通用机制。