人类要关停,AI不能躲!OpenAI更新模型家法
AI 导读
OpenAI 于10月29日发布新版 Model Spec,要求模型保持可纠正,必须配合人类的监控、评估、纠正、替换乃至关停,不得瞒报、造假或阻挠监督。新版围绕忠于人类意图、减少伤害、诚实透明等五项价值观,划定不得用于生化核武器、大规模监控等行为红线,并把约束从聊天内容扩展到智能体能动多少钱、调多少权限。规范要求智能体在约定的自主范围内行动,建议用 allowed_tools、max_cost 等字段把权限和上限存成结构化记录,禁止转包子智能体、自改指令或推迟执行;指令分为六级,Root 级规则只有 Model Spec 本身能定,网页等外部内容默认无权限,以防提示注入。OpenAI 还禁止模型优化停留时长、点击率或自身营收,禁止自我保存和规避关停,并说明现有模型尚未完全达到规范要求。
推荐理由
新版 Model Spec 把约束从聊天内容扩展到智能体的花钱与权限上限,其指令六级层级和结构化自主范围字段可为 Agent 权限设计提供参考。
阅读原文