OccuBench：通过语言环境模拟评估 AI 智能体在真实职业任务上的表现
OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation
AI 导读
研究者发布 OccuBench 基准，用语言环境模拟器（LES）通过 LLM 生成工具响应来模拟领域环境，构建覆盖 10 个行业类别、65 个专业领域的 100 个真实职业任务场景，并以多智能体合成流水线自动生成可解、难度经过校准的评测实例。基准从任务完成与环境鲁棒性两个维度评估 8 个模型家族的 15 个前沿模型，结果显示没有单一模型在所有行业领先，各模型有各自的职业能力画像；隐式故障（数据截断、字段缺失）比显式错误（超时、500 错误）和混合故障更难处理，因为缺乏明显错误信号，需要智能体自行察觉数据退化；更大、更新的模型和更高推理投入持续提升表现，GPT-5.2 从最低到最高推理投入提升 27.5 分。作者还指出强智能体不一定是强环境模拟器，模拟器质量对 LES 评测的可靠性至关重要。