上下文压缩能否保留拒答对齐？

研究发现，基于编码器的上下文压缩虽保持高重建保真度，却会系统性削弱指令微调语言模型的拒答行为，该效应在不同模型家族和压缩架构间均持续存在。机制分析显示，压缩会衰减解码器已学到的拒答方向上的激活。作者进一步提出 Memory Steering，一种轻量级推理时干预，完全在压缩表示空间内运行，无需重训练即可将拒答率恢复至接近基线水平。结果表明语义保持并不保证压缩下的行为保持，压缩感知系统需显式保留与对齐相关的特征。