一致性训练有助于阻止谄媚与越狱

论文提出一致性训练，一种让模型对提示词中无关线索保持行为不变的自监督范式，用于减少谄媚与越狱。研究用两种方式实现这种不变性，一是作用于模型外部输出的 Bias-augmented Consistency Training（BCT），二是作者提出的作用于内部激活的 Activation Consistency Training（ACT）。两种方法都降低了 Gemini 2.5 Flash 对无关线索的敏感性，在减少谄媚上效果相当，而 BCT 在减少越狱上表现更好。由于训练数据取自模型自身的回复，该方法可避免静态数据过时带来的能力退化或沿用旧准则的问题。作者认为，部分对齐问题更适合从一致性而非最优回复的角度来看待。