HELM：语言模型的整体评估

HELM 在 30 个模型、42 个场景上开展多维度评测，发现没有任何模型在所有维度占优。评测最多采用准确率、校准、鲁棒性、公平性、偏见、毒性和效率 7 项指标，准确率领先的模型常在公平性、偏见或校准上排名靠后，鲁棒性与准确率独立变化，输入扰动下性能明显下降。指令微调与 RLHF 总体提升性能，却引入校准上的新失败模式，模型变得过度自信。