Constitutional AI：用 AI 反馈实现无害性

Bai 等人提出 Constitutional AI：让语言模型按一套成文原则（宪法）批评并修订自身输出，再用这些自生成偏好标签做 RLHF。分两阶段，SL-CAI 用批评—修订对做监督学习，RL-CAI 由另一模型依宪法判断哪条回复更好，生成偏好标签。作者称，CAI 模型比仅用人工反馈的 RLHF 模型更有帮助且更少有害，但该法假设模型有能力准确应用宪法原则，对部分危害类型或更小模型未必成立。