微软 FARA 7B 在 WebVoyager 上的成功率从 74% 降至约 38%

微软研究员 Corby Rosset 与 Browserbase 的 Miguel González Fernández 指出，微软 FARA 7B 网页智能体在 WebVoyager 基准上由官方判分器给出 74% 成功率，改用经人工标注校准的通用验证器后降至约 38%，与人类标注的 Cohen's Kappa 为 0.58。文章分析指出，现有 LLM 判分器在长轨迹评估中存在忽略评分细则与多模态上下文溢出等系统性缺陷，需通过细则对齐与过程评分改善评估可靠性。