SPINAL：神经对齐层中的缩放定律与偏好整合
SPINAL -- Scaling-law and Preference Integration in Neural Alignment Layers
AI 导读
研究者提出 SPINAL 诊断方法，逐层追踪 DPO 对齐如何重塑大语言模型表征，发现校准效应集中在最后的解码器块（常见为 21-30 层）。该方法为各层计算收缩分数与传输分数：对齐后的模型在后期层收缩上升、传输平滑下降，未对齐模型路径更高曲率、更熵化。SPINAL 由此提供审计信号，量化对齐集中位置、强度及训练中何时开始失稳。