跳到正文
原文
LessWrong· Alek Westover·本站收录· 原文发表· 治理 →· 扫描记录里的位置 →

为限制AI公司用于能力提升的算力,研究者提出能力活动分类定义

How should we define “capabilities activities” for the purpose of pacing?

AI 导读

研究者 Alek Westover 提出一套“能力活动”分类定义,供通过立法或自愿承诺限制AI公司用于提升AI能力的算力时参照使用。该定义把AI公司活动默认计为能力活动,仅豁免空闲算力、窄产品开发、服务客户和窄安全活动四类,且以不提升通用模型能力为前提。窄安全活动限于对齐评测、公司安全测试、白名单内的安全研究(可解释性、思维链信息量、模型人格、不涉新算法思路的模型有机体、无近期能力应用的对齐理论)、运行监控器和滥用分类器、调查严重不对齐事故等,其中安全研究须公开项目计划和结果报告。可扩展监督、危险能力评估、Constitutional AI / RLAIF、训练监控器或滥用分类器、越狱鲁棒性训练、改进 RL 环境等则被归为能力活动。作者主张宁可误判为能力活动也不漏判,并呼吁由第三方审计测量和公开报告各公司的算力分配,文中提到 Anthropic 已公布其安全研究占比估计。

阅读原文lesswrong.com