通过置信辩论进行对齐：从多智能体辩论中学习偏好

研究者提出 Alignment by Confident Debate（AbCD），无需标准答案标签即可把多智能体辩论记录转化为偏好数据用于后训练。该工作针对推理后训练通常依赖标准答案、任务特定验证器或奖励模型、信号稀缺时难以扩展的问题。方法上，由采样多样的委员会就每个问题辩论，最终答案按任务级语义等价聚类，并以置信度加权处理分歧。在数学推理、定量选择题问答和可执行代码生成这些可验证任务上，跨五个 1B 至 8B 参数的模型家族和四个数据集，用所得偏好数据后训练的效果优于仅推理时的集成与辩论，也优于对同样辩论记录做 SFT，共识准确率最高提升 21.5 个百分点。消融实验显示该方法可迁移到更大模型和代码生成，同时揭示了异质委员会与基于一致性加权的局限。