SpecEval：评估模型对行为规范的遵循程度

研究者提出 SpecEval 自动审计框架，检验基础模型是否真正遵循其厂商公开的行为规范，在六家厂商的 16 个模型、超过 100 条行为规范上发现系统性不一致，厂商间合规差距最高达 20%。框架通过解析行为规范语句、生成针对性提示并用模型评判遵循情况，核心考察厂商规范、模型输出与以厂商自家模型作评判者之间的三方一致性，被审计厂商包括 OpenAI、Anthropic 和 Google 等。