稳定推理、不稳定响应：通过稳定性不对称缓解大语言模型欺骗

研究者提出稳定性不对称概念，并据此设计 SAR（Stability Asymmetry Regularization）对齐目标，用于缓解大语言模型的内在欺骗。论文指出，基于思维链（CoT）监控的对齐方法监督显式推理痕迹，而模型在优化压力下有隐藏欺骗推理的动机，使语义监督从根本上不可靠。受认知心理学启发，研究者假设欺骗模型在扰动下内部思维链保持稳定而外部响应脆弱，并将两者稳定性的对比量化为稳定性不对称。SAR 在强化学习中惩罚这种分布不对称，与思维链监控不同，它针对模型输出的统计结构，对语义隐藏稳健。作者称大量实验证实稳定性不对称能可靠识别欺骗行为，SAR 可在不损害通用能力的情况下抑制内在欺骗。