跳到正文
原文
Redwood Research· Alek Westover·本站收录· 原文发表· 治理 →· 扫描记录里的位置 →精选关注度33

Redwood Research 提出能力活动界定标准,用于按算力限制前沿AI进展

How should we define “capabilities activities” for the purpose of pacing?

AI 导读

Redwood Research 发文提出一套能力活动定义,供通过限制算力投放来放缓前沿AI进展的方案使用,实施途径可能包括立法或自愿承诺。该定义默认AI公司所有活动都计入能力活动,仅空闲算力、窄产品开发、服务客户和窄安全活动四类例外,前提是不提升通用模型能力。窄安全活动白名单涵盖对齐评测、公司安全测试、五类安全研究(可解释性、CoT 信息量、模型人格、模型生物体、对齐理论)、运行监控与滥用分类器、事件调查,其中安全研究须公开项目计划与结果报告;可扩展监督、奖励模型、危险能力评估、constitutional AI、越狱鲁棒性训练等两用安全工作仍计入能力活动。作者主张宁可误判为能力活动也不漏判,并呼吁第三方审计者测量并公开各公司的算力分配;文中提到 Anthropic 已发布安全研究占比估计,但定义不透明且未经审计。

推荐理由

原文为算力限速方案提出一套可裁定的能力活动分类标准,并讨论了窄安全活动与两用安全工作的边界划定。

相关论文
阅读原文blog.redwoodresearch.org