AI21 Labs 发布 LIFT-Bench，旨在抑制强化学习训练中的奖励作弊

AI21 Labs 于 10 月 25 日发布指令遵循基准 LIFT-Bench、训练数据集 LIFT-Train 及生成管线，目标是减少强化学习训练中的奖励作弊，相关资源以 Apache-2.0 许可公开。LIFT-Bench 将每条约束分配到文档的某一章节，只评估该章节正文，并同时用代码和 LLM 判定内容约束；测试集含 10 个分割共 784 个任务，LIFT-Train 含 34,258 个任务。AI21 用 Qwen2.5-7B 和 GRPO 对比发现，以 IFTrain 为奖励时奖励升至 1.0，但回答中位长度在 390 步内从 114 词降至 18 词；改用 LIFT-Train 后中位长度维持在 390 至 530 词。在 17 个模型的评测中，GPT-5.5 在结构化任务平均得分 0.96，但扁平任务无模型超过 0.85。