微软 FARA 7B 在 WebVoyager 上的成功率从 74% 降至约 38%
Microsoft's FARA 7B: The Web Agent That Scored 74% — Until a Better Judge Looked Closer
AI 导读
微软研究员 Corby Rosset 与 Browserbase 的 Miguel González Fernández 指出，微软 FARA 7B 网页智能体在 WebVoyager 基准上由官方判分器给出 74% 成功率，改用经人工标注校准的通用验证器后降至约 38%，与人类标注的 Cohen's Kappa 为 0.58。文章分析指出，现有 LLM 判分器在长轨迹评估中存在忽略评分细则与多模态上下文溢出等系统性缺陷，需通过细则对齐与过程评分改善评估可靠性。
推荐理由
同一模型同一基准，官方 GPT-4o 判分给出 74%，经人工校准的通用验证器只有约 38%，差距来自判分器设计而非模型本身。