REIN：通过反思与弃答对齐弥合推理与可靠性之间的差距
REIN: Bridging the Gap between Reasoning and Reliability via Reflection and Abstention Alignment
AI 导读
REIN 是一个对齐框架，通过反思与弃答对齐降低大型推理模型的幻觉。它训练模型在最终答案前显式自我反思，并在所有采样推理链均无正确答案时鼓励弃答（如“我不知道”）。在多个骨干模型上，幻觉代理指标较基座模型降低 58~72%，平均覆盖率保持 86~91%，已尝试问题的选择性准确率提升 6.6~14.2%。