研究提出表征相似度优化,提升大语言模型对抗条件下的安全泛化
研究者发现当前大语言模型对道德概念的范畴化能力较弱,在 23 个模型上常无法区分对立的道德类别,也难以保持类别内的典型性梯度,这一缺陷在不同参数规模和对齐阶段都持续存在。为此他们提出表征相似度优化,直接让模型的潜在表征对齐人类道德判断中的范畴结构,而不监督生成回复。在使用同一批 251,334 条道德标注的对照实验中,标准行为对齐在回复层面学会了目标道德判断,却基本未改变范畴结构,并在多项对抗评测中提高了脆弱性;重组道德范畴化虽在显式判断上提升有限,却在不同模型规模和多种攻击策略下持续改善对抗鲁棒性。作者认为这为原型式范畴化有助于行为适应性提供了功能层面的支持。