OpenAI 如何用 evals 推动企业 AI 的下一篇章
How evals drive the next chapter in AI for businesses
AI 导读
OpenAI 提出一套面向企业的 evals 实践框架，按 Specify、Measure、Improve 三步衡量并改进 AI 系统表现。框架建议由技术与领域专家组成小团队定义成功标准、建立 golden set，在贴近真实条件的测试环境中评测并持续改进。OpenAI 称其内部团队已为具体产品和内部工作流创建数十个 contextual evals，并建议使用 LLM grader 时保留人工审核。