大语言模型对齐真的需要多样性吗？将 RLVR 方法适配于道德推理的实证研究
Does LLM Alignment Really Need Diversity? An Empirical Study of Adapting RLVR Methods for Moral Reasoning
AI 导读
作者称这是首个在 MoReBench 上综合比较分布匹配与奖励最大化两种范式的实证研究，结果显示分布匹配方法在对齐任务上并未像假设那样显著优于奖励最大化方法。研究的假设是道德推理容忍多种有效回答，对齐任务可能天然需要寻求多样性的分布匹配算法；为支持稳定的可验证奖励强化学习（RLVR）训练，作者训练了 Qwen3-1.7B 裁判模型，构建基于评分规则的奖励管线。语义可视化显示，道德推理的高奖励分布比数学推理更集中，而数学推理中多样的解题策略都能获得相近的高奖励，作者称这一反直觉发现解释了为何模式寻求（mode-seeking）优化在对齐任务上同样有效甚至更有效。作者据此认为，对齐任务并不天然需要保留多样性的算法，标准奖励最大化 RLVR 方法无需显式多样性机制即可有效迁移到道德推理。