跳到正文
原文
arXiv:对齐、欺骗与监督· arXiv:2610.28819· Eran Goldstein, Yuval Belfer, Yonatan Belinkov, Daniel Gissin·本站收录· 原文发表

LIFT:用于评估与训练指令遵循的分区约束

LIFT: Scoped Constraints for Evaluating and Training Instruction Following

AI 导读

研究者提出 Lift-Bench 指令遵循基准,要求模型根据给定主题和结构化大纲起草文档,约束限定在特定文档章节,包含可验证与评判式两类约束,并配有训练集 Lift-Train。针对 IFEval 等常见基准的可验证约束被用作强化学习奖励、可能引发约束奖励作弊的问题,该基准同时提供主任务和指令遵循约束,以缓解浅层奖励作弊。多模型实验显示前沿模型在较难子集上表现吃力,作者发现用 Lift-Train 训练比常见 IFTrain 更不易奖励作弊。基准、训练集与数据生成流程已公开。

阅读原文arxiv.org