跳到正文
原文
OpenAI Alignment Research·原文 · 入选 精选关注度68

OpenAI 发布 Model Spec Evals,GPT-5 Thinking 合规率 89%

Introducing Model Spec Evals

AI 导读

OpenAI 发布首个完整版 Model Spec Evals,用于衡量模型遵循 OpenAI Model Spec 的程度。该评测覆盖 Model Spec 全部政策章节,包含 596 条提示词和 225 个具体关注点,每条提示词配有说明合规边界的评分细则。评分由自动评分器 GPT-5 Thinking 完成,对每条回复采样五次合规分(1-7)取中位数,1-5 判为不合规、6-7 判为合规。

推荐理由

OpenAI 公开了 Model Spec 合规度评测的完整数据集、评分流程与各代模型得分,可供研究者复现并比较模型行为。

阅读原文alignment.openai.com