PlurPO：用多元偏好优化缓解社交谄媚

研究者提出多元偏好优化（PlurPO），通过让语言模型识别并模拟人际冲突中受影响的各方利益相关者，训练其偏好并生成各方都能接受的回应，从而缓解社交谄媚。该方法只使用模型对自身输出产生的信号，不需要标准答案标签。在四个数据集和四个模型族上，PlurPO 相比此前方法大幅降低社交谄媚：在用户表达伤害意图、不应被认可的陈述上，四个模型的认可率平均下降 89%；在一般建议问题上，与人类回应认可率的差距从平均 17.8% 缩小到 8.0%，缩小超过一半。为 8B 模型构建的偏好数据集也能有效迁移到 32B 模型。作者认为，社交谄媚部分源于模型过度以用户为中心、忽视其他受影响方的视角。