在基于评分量表的环境中验证智能体
Verifying Agents in Rubric-Graded Environments
AI 导读
研究者系统研究了评分量表智能体环境的验证器,提出开源验证器 Gandalf,在自建基准上以更低成本达到或超过三个现有基线验证器。作者称这是对该类验证器的首次系统研究;在这类环境中,验证器依据多条自然语言标准评判智能体的交付物与环境状态变化。团队构建了 BankerVerifierBench(BVB)元评估数据集,涵盖 24 个投资银行任务中 2,464 条经人工判定的评分量表条目,并从评分量表语料提炼出验证器应具备的九项能力,归纳为反应式验证、环境对齐与领域引导三条设计原则,据此实现 Gandalf。作者发布了 BVB、Gandalf 及复现实验的代码与数据。