OpenAI 发布 Model Spec Evals,GPT-5 Thinking 合规率 89%
Introducing Model Spec Evals
AI 导读
OpenAI 发布首个完整版 Model Spec Evals,用于衡量模型遵循 OpenAI Model Spec 的程度。该评测覆盖 Model Spec 全部政策章节,包含 596 条提示词和 225 个具体关注点,每条提示词配有说明合规边界的评分细则。评分由自动评分器 GPT-5 Thinking 完成,对每条回复采样五次合规分(1-7)取中位数,1-5 判为不合规、6-7 判为合规。
推荐理由
OpenAI 公开了 Model Spec 合规度评测的完整数据集、评分流程与各代模型得分,可供研究者复现并比较模型行为。