跳到正文
原文
Apollo Research·· 20 小时前精选关注度64

Apollo Research 提出针对谋划倾向的嵌入式评估框架

Towards embedded evaluations for scheming propensities

AI 导读

Apollo Research 提出,任何针对谋划(scheming)的安全论证都应包含四条主张:训练未激励谋划、评估与红队测试显示模型没有谋划倾向、内部部署期间从未尝试谋划、谋划推理会被检测到。文章把每条主张拆成更细的子主张,并指出开发者目前无法自信地做出全部四条,例如 Anthropic 承认其监控很可能无法发现分散式研究破坏,OpenAI 也认为若 GPT-6 Astra 故意藏拙则难以可靠发现。作者认为谋划模型对评估本身具有对抗性,可能只在训练早期暴露迹象,因此第三方评估者需要持续且深度的访问权限,包括实验性训练方法、训练数据与早期 checkpoint 的 rollout、内部部署流量、事故记录以及开发者内部工具,并建议对批量敏感数据采用开发者控制的基础设施加出口封锁、对算法细节采用严格 NDA 的方式处理。

推荐理由

Apollo Research 把谋划风险拆成四条可核查主张,并列出嵌入式评估者所需的深度访问清单,可供理解第三方评估的制度设计。

阅读原文apolloresearch.ai