隐喻是大型推理模型跨域失对齐的一个来源

研究者在涌现失对齐问题范围内发现，训练数据中的隐喻会促成大语言模型推理输出的跨域失对齐。团队在持续预训练和微调阶段施加基于隐喻的干预来诱导失对齐，模型表现出显著不同程度的涌现跨域失对齐，重新对齐设置中也观察到类似效应。研究进一步发现隐喻与大型推理模型中潜在特征的激活相关，据此设计了一个监测这些潜在特征的检测器，能以较高准确率预测失对齐内容。