约束解码：有害还是有益？重新审视其对 LLM 性能的影响
Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance
AI 导读
研究发现约束解码并不必然损害 LLM 推理，其影响取决于约束类型。作者将约束分为格式、有效性、推理三类，证明合适约束能通过剔除无效路径保持或提升性能。在 4 个模型家族、11 个开源模型上的因果消融显示，表观性能下降主要源于提示词与输出格式不等价而非解码器级掩码；有效性约束提升可靠性，推理约束在强制有益轨迹时可提升推理与准确率。