奥特曼称OpenAI暂不推进无监督递归自我改进,已请四家机构驻场安全评估
奥特曼给「AI造AI」踩刹车!方向盘必须握在人类手中
AI 导读
奥特曼11月16日表示,OpenAI可以进一步推进递归自我改进,但不认为现在能安全地这么做,尚未让AI无监督地研发下一代模型。据OpenAI官方博客,公司已与Apollo Research、METR、Transluce和Goodfire四家机构签署嵌入式评估协议,首阶段覆盖模型训练与内部使用。四家机构分别负责模型对齐破坏排查、强化学习训练监测、后训练评测审查与可解释性分析,其中Apollo派出6人团队驻场试点4个月。Transluce的协议规定仅供内部使用的模型评估结果一律不公开,其完整报告只提交给OpenAI基金会董事会的安全与安保委员会。
阅读原文