调和损失训练出可解释的 AI 模型

论文提出调和损失（harmonic loss）作为训练神经网络和大语言模型的替代监督信号，其与标准交叉熵的区别在于用尺度不变的 HarMax 函数替代 SoftMax 归一化，并以欧氏距离而非点积计算 logits。作者称，尺度不变性和设计上有限的收敛点（可解释为类中心）带来更好的可解释性与更快的收敛。作者在算法、视觉与语言数据集上验证，称调和损失训练的模型比标准模型可解释性更强、泛化所需数据更少、grokking 减少。与标准 GPT-2 相比，用调和损失训练的 GPT-2 学到更可解释的表示。作者认为，该损失在数据有限或高风险场景中可能有价值。