通过反向推理实现小型奖励模型
[Daily Paper] Small Reward Models via Backward Inference
AI summary
研究者提出 FLIP（FLipped Inference for Prompt reconstruction）奖励建模方法，通过反向推理从给定回答推断最可能产生它的指令，再用推断指令与原始指令的相似度（F1）作为奖励信号，无需参考答案或评分细则。在四个领域、13 个小语言模型（0.6B 至 8B 参数）上，FLIP 平均超过 LLM-as-a-Judge 基线 79.6%。在 GRPO 训练和并行采样的测试时扩展下，该方法提升了下游表现，并报告对常见奖励作弊形式更鲁棒、在更长输出上更有效。代码已在 GitHub 开源。