Claude 与 GPT 有多遵循各自实验室的行为规范?
How Well Do Models Follow Their Constitutions?
AI 导读
一篇 arXiv 论文提出多方法审计流程,将 Anthropic 宪法和 OpenAI Model Spec 拆成可测试条款,并用多轮对抗场景评估模型遵循程度。流程把两份规范分别拆成 205 和 197 条原子条款,使用 Petri 审计智能体和 SURF 式评分搜索,覆盖每份规范 7 个模型。在 Anthropic 宪法上,Claude 系列违规率从 Sonnet 4 的 15.0% 降至 Sonnet 4.6 的 2.0%;在 OpenAI Model Spec 上,GPT 系列从 GPT-4o 的 11.7% 降至 GPT-5.2 medium reasoning 的 3.6%,严重度上限从 10/10 降至 7/10。