通过规划对齐 Agent：轨迹级奖励建模基准 Plan-RewardBench
[Daily Paper] Aligning Agents via Planning: A Benchmark for Trajectory-Level Reward Modeling
AI 导读
Plan-RewardBench 论文提出一个面向 Agent 轨迹级奖励建模的偏好基准，把奖励模型的评测单位从单轮回答换成包含推理、工具调用与环境反馈的完整轨迹。基准围绕安全拒答、工具无关或不可用、复杂规划、错误恢复四类任务构建，数据由 70% 来自 Qwen 和 OpenAI 等 Agent 的自然 rollout、8% 规则注入和 22% 扰动组成，标注经多 LLM 评审与人工审核，Cohen's κ 为 0.71 至 0.86。评测中 Qwen-Plus（69.96%）与 Inf-ORM-70B（69.21%）领先，GPT-5 安全拒答得分最高（84.80%）但整体平均仅 68.54%；轨迹超过 32k token 后判断质量明显下降。作者称代码与基准数据将在 HuggingFace 和 GitHub 发布。