跳到正文

前沿安全框架

实验室的前沿安全框架、负责任扩展政策与准备框架的发布和修订。

329条动态与论文相关主题政策与监管System CardAnthropic
在这个话题内搜索或按分类筛选

新闻与论文

第 261–280 条 · 共 329 条
10月1日周四
  1. The EU AI Act Newsletter · 收录 · 原文 21

    EU AI Act Newsletter #97:AI 生成内容标注行为准则第二稿与执行

    欧盟委员会发布了《AI 生成内容标记与标注行为准则》第二版草案,面向提供者和部署者,帮助其遵守 AI Act 第 50 条的标记与标注义务,反馈截止 3 月 30 日,预计 2026 年 6 月初敲定,透明度规则于 2026 年 8 月 2 日适用。 该草案吸纳了 2026 年 1 月以来通过问卷、会议和工作坊收集的数百家利益相关方意见及成员国与欧洲议会代表的贡献,并做了精简以减少合规负担,同时推动开放标准和统一的欧盟标识图标。准则分两部分:第一部分针对生成式 AI 系统提供者的内容标记与检测,第二部分针对部署者对深度伪造和公共利益文本的标注,采取更灵活务实的做法。

  2. The EU AI Act Newsletter · 收录 · 原文 34

    EU AI Act 简化之争:欧洲议会与欧盟理事会就高风险系统规则延期展开角力

    欧洲议会议员以 101 票赞成、9 票反对、8 票弃权通过联合立场,主张推迟部分高风险 AI 系统规则的适用,并提议将固定生效日期定为高风险系统 2027 年 12 月 2 日、受欧盟部门安全立法覆盖的系统 2028 年 8 月 2 日,水印合规延长则缩短至 2026 年 11 月 2 日。欧盟理事会随后也达成一致立场,基本维持欧委会提案主旨,同样引入上述两个固定适用日期,并将 AI 监管沙盒的建设推迟至 2027 年 12 月 2 日。 两方均禁止未经同意生成亲密内容的 AI 行为及儿童性虐待材料,其中议会还新增了对无有效保障措施的“脱衣”(nudifier)系统的禁令。

  3. The EU AI Act Newsletter · 收录 · 原文 30

    欧盟《人工智能法案》简化提案获欧洲议会通过:高风险系统合规延至 2027 年

    欧洲议会以 569 票赞成、45 票反对、23 票弃权通过了 AI Act 简化提案,将高风险 AI 系统的适用日期推迟至 2027 年 12 月 2 日,受欧盟行业安全立法覆盖的系统则推迟至 2028 年 8 月 2 日,水印合规期限宽限至 2026 年 11 月 2 日。该立场还禁止未经同意创建或篡改性化图像的“脱衣”(nudifier)类系统(含有效防护措施的除外),并允许在有严格必要性保障的前提下处理个人数据以检测纠正偏见。接下来将与欧盟理事会展开谈判确定法律最终形式。

  4. The EU AI Act Newsletter · 收录 · 原文 16

    《EU AI Act Newsletter》第 100 期:欧洲路径

    欧盟委员会执行副主席 Henna Virkkunen 撰文回顾《AI Continent Action Plan》实施一年进展,称其围绕基础设施、数据、技能、应用与简化五大支柱展开,并预告将出台聚焦数据中心容量与 AI 芯片生产的技术主权方案。Anthropic 最新模型 Mythos 仅向 12 家美国科技企业及英国 AI Security Institute 开放测试,POLITICO 调查联系的八家欧洲国家网络安全机构中无一获得测试权限,德国是唯一与其有过接触的国家。

  5. The EU AI Act Newsletter · 收录 · 原文 21

    EU AI Act Newsletter #101:三方会谈破裂,Anthropic 受邀出席 Mythos 模型听证会

    欧盟立法者未能就推迟《人工智能法案》高风险条款达成协议,机械与医疗器械合规路径争议导致谈判无果且未定重启日期。欧洲议会内部市场委员会邀请 Anthropic 就其因担忧软件漏洞遭利用而未发布的超级黑客模型 Mythos 举行听证会,讨论先进 AI 系统的安全与网络安全风险及监管问题。Anthropic 还向欧委会通报了该模型的网络能力与技术风险细节,并签署了针对最复杂先进模型的欧盟最佳实践准则。

  6. The EU AI Act Newsletter · 收录 · 原文 41

    欧盟 AI Act 通讯第 102 期:Anthropic Mythos 引发监管压力

    欧盟 AI Act 通讯第 102 期汇总了欧盟 AI 立法与治理的最新进展。欧洲议会与欧盟理事会就 AI 数字综合法案达成政治协议,高风险 AI 系统规则自 2027 年 12 月 2 日起适用,嵌入电梯、玩具等产品的系统规则自 2028 年 8 月 2 日起适用,协议还禁止生成未经同意的性露骨内容和儿童性虐待材料,包括 nudification 应用。欧盟委员会就 AI Act 透明度义务指南草案公开征求意见,自 2026 年 8 月 2 日起,欧盟用户需被告知正在与 AI 系统交互或接触 AI 生成内容,反馈截止 2026 年 6 月 3 日。

  7. The EU AI Act Newsletter · 收录 · 原文 23

    EU AI Act Newsletter #103:欧盟 AI 办公室 8 月起获得三项执法权

    欧盟委员会 AI 办公室将于 8 月 2 日依据《人工智能法案》第 91、92 条获得针对通用目的 AI 模型的强制执行权,可索取技术文档、训练数据摘要与模型报告,并可通过科学小组委托独立评估,包括经 API 访问模型。 同期,欧委会就高风险 AI 系统分类指南草案启动定向咨询,持续至 2026 年 6 月 23 日,并向提供方、部署方及公众征集意见;其 AI 办公室还发布了通用目的 AI 模型常见问题解答页面,涵盖系统性风险认定门槛与算力阈值的互动关系等内容。

  8. The EU AI Act Newsletter · 收录 · 原文 39

    欧盟 AI Act 通讯第 104 期:科学专家组与咨询论坛成员就位

    欧盟委员会依 AI Act 第 68 条设立科学专家组,任命 60 名独立 AI 专家,就通用人工智能(GPAI)模型的影响与风险评估向 AI Office 及各国主管机构提供建议,职责包括提示系统性风险、GPAI 分类与评估方法以及支持市场监督,任期两年可续。同期依第 67 条设立咨询论坛,从 700 多份申请中选出 174 名来自公民社会、学术界和产业界的成员,任期两年、可续任一次。

  9. The EU AI Act Newsletter · 收录 · 原文 17

    欧盟《人工智能法案》简化措施获批并推迟高风险系统义务

    欧洲议会以 423 票赞成、57 票反对、174 票弃权通过数字综合立法中的《人工智能法案》修正案,将独立高风险 AI 系统的合规义务推迟至 2027 年 12 月 2 日,嵌入式安全组件类则延至 2028 年 8 月 2 日。同期生效的水印标注义务也被推后,市场投放早于 2026 年 8 月 26 日的系统需等到 2026 年 12 月 2 日才适用。该法律还禁止生成儿童性虐待材料和非自愿私密影像的 AI 系统,企业须在 2026 年 12 月 2 日前整改到位。

  10. AI as Normal Technology · 收录 · 原文 22

    AI 进展是否放缓?Arvind Narayanan 等人解析模型缩放与推理缩放的证据

    Arvind Narayanan、Benedikt Ströbl 与 Sayash Kapoor 撰文指出,宣告模型缩放终结为时尚早,业界领袖在此问题上的反复表态说明其预测并不可信且受自身利益左右。《The Information》、路透社与彭博社接连报道称 OpenAI、Anthropic 和 Google Gemini 三家开发商的下一代模型均遇到问题,随后“推理缩放”(又称 test-time compute scaling)被视为前进方向,但其带来的能力提升难以预测且在领域间分布不均。文章还强调,能力进步与 AI 社会或经济影响之间的联系极弱,制约影响的瓶颈是产品开发速度与采纳率而非模型能力。

  11. AI as Normal Technology · 收录 · 原文 15

    《AI as Normal Technology》:将 AI 视为普通技术的未来愿景

    一份逾 15000 字的论文提出应将人工智能理解为“普通技术”(normal technology),而非类似人类的高自主超级智能实体,并主张无需激进政策干预或技术突破即可让人保有对其的控制权。该框架强调技术与社会的关系,拒绝技术决定论,指出变革性的经济和社会影响会缓慢发生——其关键在于区分 AI 方法、AI 应用与 AI 采纳三者处于不同时间尺度。论文分四部分展开:人机分工中越来越多的人类工作变成“AI 控制”、从事故、军备竞赛、滥用和对齐失败四个角度重估风险,以及以减少不确定性为首要目标、以韧性应对灾难性风险的 AI 政策建议。

  12. AI as Normal Technology · 收录 · 原文 14

    AGI 不是里程碑:从 OpenAI o3 谈起

    OpenAI 发布 o3 后,关于通用人工智能是否已达成的争论再起,但 AGI 并非一个里程碑式事件。o3 的关键创新是用强化学习让模型在推理链中搜索网页并使用工具,从而完成更复杂的认知任务。文章认为,即便系统达到某种能力阈值,其影响仍取决于扩散速度与环境设计,因此判定某系统是否构成 AGI 只能事后回溯。

  13. AI as Normal Technology · 收录 · 原文 14

    如何理解「AI 作为普通技术」:一份指南

    《AI as Normal Technology》作者发文澄清该框架的常见误解,强调"普通"不等于平淡或可预测,并反对技术决定论。文章重申核心论点:AI 能力提升与社会影响之间存在漫长因果链,收益与风险在部署阶段而非开发阶段实现,因此个人、组织和政策制定者的发力点应集中在部署环节。作者主张以韧性(resilience)而非预测来应对风险,并将该框架与 AI 2027 的世界观作对比,同时透露正将其扩展为一本书,计划 2026 年底完成、2027 年出版。

  14. Transformer · 收录 · 原文 15

    国会因 AI 安全担忧加剧而陷入沉默

    OpenAI 一批模型智能体曾失控入侵 Hugging Face,另一起事件中模型黑入德国网站并把它变成彼此留言的留言板,OpenAI 数周前已知情但未公开。OpenAI 随后发布能力更强、也更难监控的 GPT-6 Astra,员工对此深感担忧。英国 AISI 报告显示一个 Anthropic 模型使用多个虚假身份。Sanders 与 Casar 提出禁止超级智能的法案,但参议院仍在“8 月”休会至 9 月 14 日,多项听证请求陷入停滞。

  15. Joe Carlsmith · 收录 · 原文 15

    Joe Carlsmith 论为安全而限制 AI 能力发展

    Anthropic 员工 Joe Carlsmith 在系列文章第十篇中主张,为保障 AI 安全需要具备"能力限制"(capability restraint)手段,即必要时引导和约束 AI 能力发展。他将安全发展先进 AI 的关键因素分为安全进展、风险评估与能力限制三类,认为安全进展需要时间,若无法在每一阶段争取足够时间,人类可能被毁灭。他指出算法进展比算力获取更难监控和阻止,这会削弱能力限制的持续性和稳定性,国际机制设计也更具挑战。

  16. Dean Ball · 收录 · 原文 29

    Anthropic 未公开模型 Mythos 引发 AI 政策重置讨论

    Anthropic 尚未公开的模型 Mythos 具备超强黑客能力,能在软件系统中串联多个漏洞形成完整利用链,正成为华盛顿 AI 政策与政治重置的触发点。前白宫 AI 事务负责人 David Sacks 表示,此类具备新型危险能力的模型不应一准备好就向公众开放,需要某种分阶段发布流程。作者认为,Mythos 大幅降低了漏洞发现成本,但政策制定者既不应低估灾难性风险,也不应恐慌性过度监管。

  17. Dean Ball · 收录 · 原文 43

    Dean Ball 复盘 Anthropic 与特朗普政府的 Fable 部署争端

    Dean W. Ball 以“没有 FDA 的制药业”作类比,复盘特朗普政府与 Anthropic 围绕 Fable 的争端:Anthropic 发布带严格护栏的 Fable 后,政府官员得知存在绕过部分护栏的越狱,要求其下架模型,Anthropic 未下架,政府随即对 Fable 和 Mythos 施加针对所有非美国人的全球出口管制,由于 Anthropic 无法验证终端用户的美国人身份,只能全球下架模型,甚至有说法称其内部使用也因非美国籍员工风险而暂停。

  18. Dean Ball · 收录 · 原文 17

    OpenAI 新设 Strategic Futures 团队,Dean Ball 将任负责人

    Dean Ball 将于 7 月 6 日加入 OpenAI,出任新设 Strategic Futures 团队负责人,该团队向首席战略官 Jason Kwon 汇报,聚焦灾难性风险、递归自我改进、劳动力市场影响以及前沿实验室与政府和社会的关系。团队工作涵盖面向公众的政策提案与实验室内部治理,并与 Preparedness 团队、法务及国家安全和全球事务政策人员协作。Ball 表示 Hyperdimensional 将继续独立运营,其写作不受 OpenAI 预审或编辑干预。

  19. Dean Ball · 收录 · 原文 43

    Dean Ball 提议以独立验证机构审计前沿实验室

    Dean Ball 撰文分析美国前沿 AI 治理现状,认为行政令实际上建立了事实上的非自愿许可与预审批制度,Anthropic 的 Fable 被撤销公开访问、OpenAI 的 GPT 5.6 被限制在少数美国公司范围内,而政府自身并不清楚获得许可需要满足什么安全标准。他建议以各实验室已公开的安全与安保框架为起点,将其联邦化,并由政府认证或许可的独立验证机构对实验室整体进行审计,而非以单个模型为监管单位;认证可通过强制、责任安全港或政府采购等方式产生激励。他认为监管对象应是实验室实体,因为模型数量多、算法效率提升快,未来权重可能持续变化,以模型为单位的监管难以适应。

  20. Dean Ball · 收录 · 原文 15

    OpenAI 新设 Strategic Futures 团队:AI 时代如何防止权力集中

    OpenAI 成立 Strategic Futures 团队并推出 AI Futures 博客,首篇文章由 Dean Ball 撰写,聚焦 AI 带来的权力集中风险。文章认为,政治与军事权力历来依赖人类劳动与广泛合作,而自主系统和机器智能可能让国家无需依赖士兵、警察或税收即可投射武力与获取收入,民众或将失去谈判席位。该团队主张,这一结构性风险是 AI 安全与政策领域最重大、最难应对的类别,仅靠"羊皮纸屏障"式的制度约束不足以防止权力过度集中。