大语言模型的道德自我纠正能力

研究者测试了经 RLHF 训练的大语言模型在被指示时能否进行道德自我纠正、避免产生有害输出，在三项实验中均发现支持该假设的有力证据。该能力在 22B 参数规模时出现，通常随模型规模增大和 RLHF 训练而提升。作者认为，达到这一规模后模型具备两项可用于道德自我纠正的能力：遵循指令，以及学习刻板印象、偏见和歧视等复杂的有害规范概念；结果为训练语言模型遵守伦理原则提供了谨慎乐观的理由。