跳到正文
原文
公众号 新智元·本站收录· 原文发表· 治理 →· 扫描记录里的位置 →

奥特曼称OpenAI暂不推进无监督递归自我改进,已请四家机构驻场安全评估

奥特曼给「AI造AI」踩刹车!方向盘必须握在人类手中

AI 导读

奥特曼11月16日表示,OpenAI可以进一步推进递归自我改进,但不认为现在能安全地这么做,尚未让AI无监督地研发下一代模型。据OpenAI官方博客,公司已与Apollo Research、METR、Transluce和Goodfire四家机构签署嵌入式评估协议,首阶段覆盖模型训练与内部使用。四家机构分别负责模型对齐破坏排查、强化学习训练监测、后训练评测审查与可解释性分析,其中Apollo派出6人团队驻场试点4个月。Transluce的协议规定仅供内部使用的模型评估结果一律不公开,其完整报告只提交给OpenAI基金会董事会的安全与安保委员会。

阅读原文mp.weixin.qq.com