跳到正文

前沿安全框架

实验室的前沿安全框架、负责任扩展政策与准备框架的发布和修订。

329条动态与论文相关主题政策与监管System CardAnthropic
在这个话题内搜索或按分类筛选

新闻与论文

第 241–260 条 · 共 329 条
10月1日周四
  1. Miles Brundage · 收录 · 原文 20

    Miles Brundage 提出 GAAIO:用独立 AI 监察员验证公司与国家的 AI 声明

    Miles Brundage 提出设立“全球 AI 监察员协会”(GAAIO),由独立监察员以接近公司或政府机构内部员工的访问权限,核实企业与国家对 AI 的声明,如是否认真红队测试、申报模型是否为最强模型、部署模型是否与系统卡一致等。该组织服务完全自愿、结论无强制力,也不主动要求企业作出特定声明。作者认为这一人类主导机制可先于自动化审计落地,为后续更自动化的验证方案奠定基础,但在国家互不信任和军事 AI 等敏感场景作用有限。

  2. Helen Toner · 收录 · 原文 22

    Helen Toner:不扩散并非应对 AI 滥用的正确路径

    Helen Toner 撰文指出,将核不扩散式的强硬策略作为管理 AI 滥用风险的主要手段很可能是错的,若认真执行会既无效又损害自由。她认可算力安全、信息安全与 AI 护栏三支柱能阻止恶意行为者获取可用模型的逻辑前提,但强调生物武器与关键基础设施黑客属于固定能力门槛目标——一旦某项性能水平达成,复制成本便急剧下降,因此仅锁定最先进系统远远不够,应转向以韧性为核心的替代方案。

  3. Miles Brundage · 收录 · 原文 22

    Miles Brundage 为何将前沿 AI 公司的安全置于首位

    Miles Brundage 撰文论证前沿 AI 公司的安全应比安全性更为紧迫。他指出,独立专家基于对前沿 AI 公司员工的访谈估计,这些企业距离抵御中俄等国资源充足的攻击尚有数年差距,且一年内 AI 系统能力还会大幅提升,现有竞争编码能力已达人类前几百名的水平。由于投资安全的成本由公司独自承担、投入不足的成本却由整个社会分担,加上单方面加强安全可能拖慢研发进度并丧失市场优势,这一问题不会自动解决。他还强调,芯片和数据中心的安全建设以及安全许可审批所需的时间超过模型迭代间隔,因此无法留待后期自动化处理。

  4. Miles Brundage · 收录 · 原文 32

    Miles Brundage 对《通用目的 AI 行为准则》第二稿的反馈

    Miles Brundage 针对欧盟《通用目的 AI 行为准则》(COP)第二稿发表反馈意见,认为草稿正朝更具体、更连贯的方向改进,但仍存在大量未竟事项。他指出起草工作组的推进节奏过于仓促,问题根源在于欧洲议会启动该流程过晚而非主席团本身。对于具有系统性风险的模型的合规条款,他认为大型企业大体能够遵守,并强调若合规低效或错配风险,可能适得其反地损害企业内部的安全声誉。

  5. Helen Toner · 收录 · 原文 17

    Helen Toner 借《The Future and Its Enemies》提出安全超级智能的动态主义愿景

    Helen Toner 借用 Virginia Postrel 1998 年著作《The Future and Its Enemies》,主张用动态主义(dynamism)而非停滞主义(stasism)来审视通往超级智能道路上的 AI 安全问题。她指出 AI 安全界部分政策带有明显停滞主义色彩——例如偏好少数领先 AI 项目乃至仅存一家、以及通过防扩散减少接触危险技术的途径。但她强调 AI 安全并非天然属于停滞主义阵营,亲技术与反技术、拥抱风险与规避风险的二分并不贴合这场争论的真实分歧。

  6. Miles Brundage · 收录 · 原文 20

    DeepSeek R1 的真正启示:规模加人才即可逼近超人类 AI

    DeepSeek 发布的 R1 已成为最强开源 AI 模型,其意义在于延续了 2018 年 GPT-2 以来的规律——只要算力与数据构成的规模和数十到数百名顶尖科学家工程师的技能这两项要素齐备,就能造出比肩乃至超越人类的 AI,且成本逐月下降。 该模式先在预测下一个词的范式下通过反复训练神经网络习得语法与世界知识,去年起又经长链式推理扩展到数学与编程等领域,o1 与 R1 借此学会分解问题并自查。 后来者常能以远低于先行者的成本复制同等性能,全球科学界公开的技巧使 OpenAI API 价格累计降幅超过 90%,因此美国无法长期垄断超级 AI 能力,GPU 出口管制虽必要却挡不住能力的持续扩散。

  7. Miles Brundage · 收录 · 原文 20

    Miles Brundage 评美国副总统 Vance 在 AI Action Summit 演讲中的 AI 政策信号

    Miles Brundage 发文点评美国副总统 Vance 在 AI Action Summit 上的演讲,指出其释放的美国 AI 政策议程中既有令人鼓舞之处也有隐忧。Vance 强调需保护 AI 技术与半导体免受窃取和滥用,Brundage 解读这指向模型权重及算法机密的安全防护,并希望该议题形成两党共识。他还推测 Vance 主张轻量化且聚焦极端风险、避免被大型科技企业俘获的安全监管路径,同时注意到其在 AI 与经济就业关系上偏向经济民粹主义立场而非科技右翼。

  8. Helen Toner · 收录 · 原文 15

    Helen Toner 谈 AI 未来的三大悬而未决之争

    Helen Toner 在 FAR.AI 政策会议上提出当前 AI 讨论中三个尚未解决的争论:现有范式还能走多远、AI 能在多大程度上改进 AI、未来 AI 究竟是工具还是别的事物。她主张与其追问"规模是否是全部所需",不如问我们是否处在正确的技术分支上——过去 10-15 年的进展主要来自中小幅度的持续改良而非重大突破,因此进步可能继续延续。

  9. Miles Brundage · 收录 · 原文 13

    Miles Brundage 公布今年不会亲自推进的多项重要 AI 议题

    Miles Brundage 列出自己离开 OpenAI 后今年不会亲身投入的重要 AI 方向,涵盖让人直观感受到 AGI 紧迫性、AI 智能体的基础设施与社会规范及法律责任、AI 的经济冲击以及欧盟《人工智能法案》落地谈判。他认为自己在这些问题上的技能更适合处理其他问题,因此选择回避而非放弃关注,并可能偶尔向他人提供建议。

  10. Miles Brundage · 收录 · 原文 19

    Miles Brundage:AI 政策需从单个系统转向组织级治理

    Miles Brundage 撰文指出,当前多数 AI 安全与政策讨论聚焦于单个 AI 系统的风险缓解,但这远远不够——还需关注组织层面的治理问题,例如追问「OpenAI 或 Anthropic 是否会带来灾难性风险」,而非仅停留在「o3 或 Claude 3.7 Sonnet 是否安全」。他认为从模型到系统的转变虽重要,但仍需进一步放大视角,纳入企业实体维度。 随着 AI 快速进步,「系统因太笨而无害」的不可能性论证将很快失效,因此外部利益相关方无法仅凭特定 AI 系统的属性来评估一家组织的整体风险水平,比如该公司是否及时修补软件漏洞。

  11. Miles Brundage · 收录 · 原文 15

    AI 是液体而非固体:Miles Brundage 谈 AI 能力的连续性与易扩散性

    Miles Brundage 提出"AI 是液体,而非固体"的类比,指出 AI 能力并非离散实体而是程度问题——ChatGPT、Claude、Gemini 等的算力可按需调节,"思考预算"如同旋钮般精确设定,数据中心内的 AI 总量也随供需持续波动。因此不应等待某个任意里程碑才认真对待 AI,也不应指望任一公司或国家垄断 AI 能力,若一家企业能造出某种系统,其他方很快也能做到甚至同步实现,这凸显了各方在安全与安保上进行一定合作的必要性。

  12. Miles Brundage · 收录 · 原文 22

    Iran 局势揭示“IAEA for AI”的必要性与局限

    Miles Brundage 撰文指出,“IAEA for AI”式的国际机构虽有助于掌握全球算力供应链并审计大型数据中心的安全标准,却无法解决地缘政治分歧——正如伊朗问题所示,即使各方大体认同核查事实,冲突依然发生。该构想依赖两个要素:一是获准接触部分全球算力资源、追踪最大规模的数据中心与最强 AI 模型的动向,二是凭借严格流程与国际化的中立团队赢得各方信任。但他强调,面对不愿遵守规则的参与者以及仅覆盖最恶劣风险的“最低共识”条款,此类机构并不足以应对 AI 带来的棘手难题。

  13. Miles Brundage · 收录 · 原文 21

    Miles Brundage 提出前沿 AI 治理三要素:标准、激励与证据

    Miles Brundage 提出前沿 AI 治理的三要素框架——安全与安保标准、促使领先开发者遵守标准的激励机制,以及证明标准确实被执行的证据。他认为该三元组能让企业明确何为"足够安全可靠",并让他方确信其真正合规。他还指出这只是最低限度的一部分,社会韧性投资、高端算力硬件追踪及安全事故共享流程同样不可或缺。

  14. DeepMind Safety Research · 收录 · 原文 11

    Google DeepMind 推出 AGI 安全短期课程

    Google DeepMind 发布了面向学生、研究人员和相关从业者的 AGI 安全短期课程,总时长 75 分钟,由录制讲座和练习组成,并配有幻灯片和练习手册。课程涵盖 AI 对齐问题及技术与治理层面的应对思路,内容包括刻意规划带来的风险、规格博弈与目标错误泛化两种错位目标来源、知情监督原则以及危险能力评估等前沿安全实践。若想进一步参与该方向工作,研究科学家与研究工程师岗位申请开放至 2 月 28 日。

  15. Miles Brundage · 收录 · 原文 15

    Miles Brundage 提出第三方审计前沿 AI 系统的愿景并预告共同创办相关非营利组织

    Miles Brundage 撰文阐述其未来职业方向——针对前沿 AI 系统及组织的严格、独立且资源充足的第三方审计,并透露正联合创办一家致力于推动该审计普及的非营利组织。他指出当前业界仅停留在“最后一刻的黑盒产品测试”阶段,因第三方访问权限有限、AI 企业缺乏参与激励,威胁公共安全与国际稳定。文中还附有一则设定于 2027 年的虚构故事,描绘 DeepBrain 员工围绕新一代前沿系统 Pluto 2.1 的系统卡披露展开的内部讨论。

  16. DeepMind Safety Research · 收录 · 原文 43

    DeepMind 发布技术 AGI 安全与防护方法论文

    Google DeepMind 发布论文,阐述其应对技术 AGI 安全与防护的整体方法,目标是构建不会造成严重危害的 AGI。论文将风险路径分为滥用、失准、错误和结构性风险四类,策略聚焦滥用与失准:滥用通过 Frontier Safety Framework 评估模型是否具备造成危害的能力,并配套部署与安全缓解;失准则依靠放大监督、引导模型行为和稳健训练,加上把模型当作不可信内部人员的 AI 控制手段。论文提出能力阈值、危险能力评估、红队压力测试和四类安全论证(无能力、监督、激励、理解),并列出不确定性、更安全设计模式与可解释性等需持续投入的研究方向。作者强调这只是研究议程,治理与技术同等重要,且未覆盖结构性风险。

    推荐理由DeepMind 把 AGI 安全拆成滥用与失准两条线,并给出可落地的评估、缓解与安全论证框架,适合对照自家安全策略。

  17. Miles Brundage · 收录 · 原文 13

    Miles Brundage 汇总近期参与的国际 AI 核查、第三方合规审查与网络防御提案

    Miles Brundage 汇总其近几个月参与的几项工作,涵盖国际 AI 协议核查、前沿 AI 流程合规审查以及将 AI 用于加速网络防御的提案。他与合作者发表两篇紧密相关的论文,提出针对大规模 AI 开发与部署规则的六层核查体系,并探讨国际 AI 治理中的核查问题。他还参与了关于前沿 AI 安全框架第三方合规审查的论文,指出企业承诺难以核实执行力度,并提出“流程合规”作为审计对象之一。此外他向 Institute for Progress 的 Launch Sequence 提交“Operation Patchlight”提案,主张用尖端 AI 抢先查找并修补开源代码漏洞,同时资助 AI 驱动的网络安全工具持续改进。

  18. The EU AI Act Newsletter · 收录 · 原文 39

    欧盟 AI Act 通讯第 94 期:Grok 性化图像丑闻与 AI 法案进展

    欧洲议会 57 名跨党派议员呼吁在欧盟范围内禁止生成非自愿性化深度伪造图像的 AI 应用,起因是 X 平台上 Grok 机器人生成的此类图像大量传播;欧盟委员会已要求 X 提供更多信息并下令保留 Grok 相关文件至年底,尽管 X 声称已阻止编辑暴露衣着人物图像,POLITICO 核实用户仍可生成。欧洲议会 LIBE 委员会确定数字简化方案牵头方,Renew 的 Michael McNamara 负责 AI 方案并联合主持监督 AI Act 实施的工作组,他强调修订需真正简化实施而不削弱核心保障,同时指出 2026 年 8 月高风险 AI 合规期限临近。

  19. The EU AI Act Newsletter · 收录 · 原文 25

    《EU AI Act Newsletter》#95:一部欧盟法律胜过一百部美国法律?

    欧盟委员会未能按期于 2026 年 2 月 2 日发布高风险 AI 系统分类指南草案,将推迟至本月晚些时候公布,理由是需整合过去一个月收到的大量反馈并走完内部程序。POLITICO 报道称,欧盟科技负责人 Henna Virkkunen 在达沃斯为《人工智能法案》辩护,援引斯坦福大学研究指出美国存在超过 200 项州级 AI 监管规定,以此反驳美方分散立法更利于创新的观点。《经济学人》则提到欧洲企业历来采纳新技术缓慢,且欧盟 AI Act 可能因合规负担拖慢生成式 AI 的应用普及。

  20. The EU AI Act Newsletter · 收录 · 原文 29

    《EU AI Act Newsletter》#96:简化还是去监管?

    欧盟理事会第二版妥协文本拟赋予 AI Office 更大检查权,允许其查阅企业账目与相关数据、复制材料并询问员工,同时国家监管机构可代为调查。该提案将 AI 市场检查权从各国集中到 AI Office,覆盖企业在自有通用目的 AI 模型之上构建的系统,甚至可能延伸至同一"undertaking"内的关联结构。Access Now 牵头的联署信则反对删除高风险 AI 系统第 49(2) 条的透明度保障条款,警告此举会削弱执法可行性并为健康、安全和基本权利带来风险。