GDPval：在真实世界经济价值任务上评测 AI 模型表现
GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks
AI 导读
OpenAI 发布 GDPval 基准，在真实且具有经济价值的任务上评测 AI 模型能力。该基准覆盖美国劳工统计局 44 个职业的大部分工作活动，涉及占美国 GDP 比重最高的 9 个行业，任务取材于平均有 14 年从业经验的行业专业人士的代表性工作。论文称前沿模型在 GDPval 上的表现大致随时间线性提升，当前最强的前沿模型在交付质量上正接近行业专家，并分析了前沿模型在人工监督下以更低成本、更快完成这些任务的可能。增加推理投入、任务上下文和脚手架都能提升模型表现；团队开源了 220 项任务的黄金子集，并在 evals.openai.com 提供公开的自动评分服务。