跳到正文
原文
Apollo Research·本站收录· 原文发表· 治理 →· 扫描记录里的位置 →精选关注度59

Apollo Research 与 OpenAI 启动嵌入式评估试点,六人团队进驻四个月评估模型对齐

A Pilot Towards Embedded Evaluations

AI 导读

Apollo Research 宣布与 OpenAI 启动嵌入式评估试点,六人团队将进驻 OpenAI 四个月,在训练、评估与内部部署过程中评估模型对齐。试点考察模型是否试图颠覆自身或后继模型的对齐与控制机制,覆盖训练是否激励颠覆、评估能否诱发颠覆、内部部署中是否出现颠覆、相关推理是否可检测四个方面。Apollo 提出评估方需要访问、披露与元透明度三项权利,并将元透明度(公开说明评估条件与限制的权利)视为所有评估合作的最低标准。OpenAI 承诺不因信息或发现不利而扣留信息、拒绝接触员工或要求删改,不得删改 Apollo 对各项主张的结论,但可因技术不可行、安全风险或知识产权保护扣留部分范围内信息;Apollo 将发布两份公开报告,未删改版本提交 OpenAI 董事会安全与保障委员会(SSC)。

推荐理由

文中提出评估方需要访问、披露与元透明度三项权利,并写明本次试点的具体限制,可作为判断第三方评估可信度的参照。

相关论文
阅读原文apolloresearch.ai