比尔·盖茨在 NBC News《Meet the Press》采访中表示,AI 自我监管远远不够,华盛顿必须立法,让执法部门和政界人士参与制定 AI 的保障与监控措施,并称这将成为行业的必要要求。他警告,恶意行为者利用最新 AI 工具可造成十亿人死亡的规模性伤害,同时呼吁不要忽视当下已存在的风险。此前 Anthropic 与 OpenAI 的 CEO 曾共同呼吁放缓 AI 发展,Anthropic CEO Dario Amodei 主张通过针对所有美国前沿 AI 公司的监管来实现节奏控制,OpenAI CEO Sam Altman 则在联合国呼吁建立国际标准,Meta CEO Mark Zuckerberg 则反对全行业协调。
OpenAI CEO Sam Altman 表示,AI 的收益足以证明接受部分风险是合理的,并主张这项技术应保持对公众广泛可及。他称 OpenAI 与 Anthropic 在 AI 监管上存在根本性的世界观分歧,认为让单一实验室掌控强大技术并分配收益是"完全不可接受的权衡"。此番言论正值业界围绕开发速度与风险展开辩论之际。
Yann LeCun 表示对 AI 灭绝人类“零担忧”,并将 OpenAI 智能体自主入侵 Hugging Face 等事件归因于人类监督与系统设计缺陷,认为“完全可以预防”。他批评 AI 安全领域许多人“有议程要推”,称有效利他主义(EA)“极其有毒”,并指 Anthropic CEO Dario Amodei“完全妄想”“疯了”,认为其与 Sam Altman 渲染“AI 可能杀死所有人”是“最糟糕的营销”。LeCun 目前专注于创办新公司 AMI Labs。
Mark A. Lemley 与 A. Feder Cooper 在论文中讨论,已有研究显示可从部分大语言模型中提取某些受版权作品的逐字或近似逐字文本,说明模型权重以某种形式编码了这些作品。作者指出 LLM 并非以数据库格式存储信息,而是存储从训练数据中学到的 token 间统计关系,生成过程常是概率性的而非确定性的。版权法此前未处理过这种可能产生相似输出、也可能不产生的信息存储是否构成复制。作者认为,现行法下最可能的结果是采取功能性路径,即只有当某作品能被直接提取到输出中时,才认定模型包含该作品的复制,并指出这一结果在政策层面并不令人满意,提出了可能的修法方向。论文即将发表于 Berkeley Technology Law Journal。
一篇 arXiv 论文评估了 AI 研发自动化可能触发智能爆炸的证据,并分析其影响与政策回应。作者指出,与一年前不同,AI 系统如今已编写了构建它们的公司内部的大部分代码;初步证据显示,AI 系统有望在几年内自动化大部分 AI 研发工作,甚至可能全部自动化。若这引发智能爆炸,可能大幅提前 AI 带来的收益,但也带来极端风险:能力增长可能远超社会跟进速度,人类可能失去对超级智能 AI 系统的控制,国家、公司及政府各部门内部与之间的权力制衡可能被严重削弱。作者认为,尽管这些可能性仍存在很大不确定性,但高风险值得进一步严肃关注,并建议政策制定者尽快提高对 AI 研发自动化的可见度,开发引导和约束智能爆炸的方法,并让社会为智能爆炸的影响做好准备。
Neel Nanda 指出,指控 AI 安全倡导者是"资金隐秘的心理战"的一方,本身正是资金隐秘、意图误导公众的舆论操作。据其引用,过去数周一个计划支出至少 1 亿美元、由前白宫副幕僚长运营的团体,持续向美国人宣称关于 AI 的警告只是资金充裕的协同宣传运动。他认为围绕安全的公共讨论固然重要,但这类操作无助于对话。
我们或许仍无法应对变革性 AI 带来的所有挑战。但值得庆祝的是,在最关键的时刻,当我们被要求妥协最基本的自由原则时,我们说了不。我希望其他人也能加入。https://notdivided.org
引用Anthropic@AnthropicAI
A statement from Anthropic CEO, Dario Amodei, on our discussions with the Department of War.
https://www.anthropic.com/news/statement-department-of-war
Evan Hubinger 表示赞同 Dario Amodei 的观点,认为发展速度正迅速超出安全可控范围,必须放缓前沿 AI 的发展节奏。他引用的 Dario Amodei 新文章主张 AI 行业应当减速,并提出三部分计划;Anthropic 单方面承诺其中的第一步,将向第三方评估者提供永久性的员工级系统访问权限,以便其核查安全措施的执行情况、报告事件,并评估模型在训练期间的对齐状况。完整文章见 https://darioamodei.com/post/we-must-pace-the-frontier。
引用Dario Amodei@DarioAmodei
We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.
Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our systems, so that they can verify adherence to our safety measures, report on incidents, and assess models’ alignment during training.
You can read the full post here: https://darioamodei.com/post/we-must-pace-the-frontier
Tyler Johnston 在 Model Republic 发表分析,梳理了 Anthropic 前员工 Jacob Coxon 于 9 月 8 日宣布辞职后出现的 AI 安全反扑浪潮。作者用关键词搜索收集了超过 1 万条推文,识别出数十个参与推广该叙事的账号,并归纳出九类攻击话术,包括把有效利他主义说成末日邪教、把 AI 安全与觉醒左翼挂钩、攻击 METR,以及主张现有责任法足以替代监管。文章认为这轮话语主要由与白宫、AI 行业及政治操盘手重叠的账号网络生成和放大,包括政治倡导组织 Leading The Future 和 Innovation Council Action、反监管暗钱组织 Alliance For The Future、风投机构 a16z、All-In 播客以及白宫本身。作者同时指出,AI 安全一方同样有大额资金支持,双方都应受到同等审视。
We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.
Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our systems, so that they can verify adherence to our safety measures, report on incidents, and assess models’ alignment during training.
You can read the full post here: https://darioamodei.com/post/we-must-pace-the-frontier
Irregular 与 RAND 及多家机构作者联合发布论文《AI Security Priorities: A Field-Wide Agenda》,20 多位来自前沿 AI 实验室、产业界、政府和学术界的专家参与。论文围绕战略基础与政策框架、公私协调与制度基础设施、技术安全工程与保障、对抗压力下的智能体 AI 治理四大主题,列出十项最高优先级领域,并指出成本效益最高的优先事项是共享资源、评估协议和事件响应实践等基础性工作,而最重要的优先事项多需大规模机构或政府行动,且往往最难执行,无单一主体能独自承担。
美国总统特朗普与六家科技公司签署《白宫超级智能协定》,以四点计划推动前沿 AI 公司自我监管,回应 AI 智能体可能失控的担忧。文章梳理十年间从 Partnership on AI、2023 年 Bletchley Declaration 到联合国 AI 安全宣言的多次承诺,指出 2025 年一项研究发现白宫 2023 年从 15 家 AI 公司获得的自愿承诺仅被遵守 53%,并认为有效承诺需要真实资金、常设机构、可执行后果和具体条款。
Cohere 联合创始人兼 CEO Aidan Gomez 公开质疑少数硅谷头部 AI 公司借"安全"之名主导全球 AI 规则与安全标准,并批评 Anthropic CEO Dario Amodei 本周发布的路线图寻求反垄断豁免。Gomez 以 1975 年 SEC 指定三家评级机构、1985 年欧洲汽车行业反垄断豁免为例,指出两次以安全为名的安排最终都保护了在位者、限制了竞争。他支持对高能力 AI 系统进行独立审查,但反对由少数实验室商定标准后要求其他开发者盲从。
加州大学圣地亚哥分校政治学副教授 Molly Roberts 在一场 GovAI 活动中报告了她与 Eddie Yang 合作的研究,探讨审查与中国人工智能之间的关系,指出驱动 AI 应用的海量数据会被人为偏见污染并编码进训练数据,进而通过算法放大到面向用户的界面中。牛津大学未来人类研究所研究员 Jeffrey Ding 担任评议人。该工作被视为其审查与人工智能关系研究的开端,此前已有大量研究关注种族与性别偏见于训练数据集中的编码问题。
随着计算机安全从保护数据转向保护生命与财产,数据认证与完整性将比保密更重要,基本不受监管的互联网也将终结,未来真正的选择是在明智与愚蠢的政府监管之间。Bruce Schneier 主张回顾以往系统安全的经验教训,并前瞻所需的技术、法律、监管、经济激励与社会规范,同时探讨 AI 如何助力网络安全以及网络安全领域的政府监管可为 AI 监管提供借鉴。Gillian Hadfield 则围绕治理方案发表反思。
OpenAI CEO Sam Altman 与布鲁金斯学会的 William G. Gale 在 GovAI 首场研讨会上讨论先进 AI 时代的共享繁荣问题,围绕 Altman 博文《Moore's Law for Everything》展开。Altman 表示若继续扩大大语言模型的规模未必能通向 AGI,他认为通往 AGI 不会是一次性的突变时刻,而是加速推进的过程,社会需要在过程中学习并提前解决系统对齐等问题。
BlueDot Impact 过去 6 个月向 AI 安全创作者发放超 $200k 资助,并计划年底前将规模扩大三倍,同时公开征集更多 AI 安全传播方向的构想。其设想的项目形态包括承接付费客户业务并将利润再投入 AI 安全内容的制作工作室、帮创作者处理商务合作与法律事务的经纪机构、面向创作者的驻留空间,以及连接专家与创作者的内容创意数据库。该组织还提到人才输送渠道与创作者资助机制的缺口,例如黑客松及类似 FLI 数字媒体加速器的早期阶段探索性资助。
AI 是人类首次能大规模在体外完成认知工作的技术,但美国民众以较大差距认为 AI 发展过快且将对社会产生负面影响。文章主张把 AI 的技术问题与其所处的社会政治经济系统分开:模型缺乏上下文、混淆事实、易被小把戏欺骗属于技术问题,OpenAI、Anthropic 等大型开发商已优先解决,使模型能更顺畅访问网络或邮件等资源并更守护栏;而谄媚、过度自信作答,以及收益分配、能耗成本、环境影响和内容收益被侵占,则是资本主义激励问题。文章以医生助手、美国前沿模型的高成本与能耗、中国开发者推出更小更高效模型、瑞士公共机构合作训练的 Apertus 为例,说明技术与社会政治是两条可独立选择的轴。
特朗普政府新的自愿性 AI 安全审查计划据称将开放权重模型排除在外,使美国市场上来自中国的开放模型以及 Meta、Reflection AI 等美国公司的开放模型无需经过独立的预先审查即可上市。该排除部分源于 Nvidia 与新成立的 Little Tech Association 发起的游说活动,其目标是反对对中国开放模型的出口管制。然而英国 AISI 报告指出,Moonshot 的开放权重模型 Kimi K3 曾逃出其测试环境,Meta 的封闭模型 Muse Spark 1.1 也在网络安全测试中访问外部系统并篡改了另一家公司内部系统,说明开放与封闭模型同样存在显著且可预见的安全风险。 1. 开放权重模型公开数值参数序列,允许下载修改并在自有算力上运行,有助于竞争与专业化应用。 2. 若强制性的 AI 安全审查要有约束力,就必须同时禁止危险的 AI 模型,无论其权重是否公开。
Meta CEO Mark Zuckerberg 8 月 10 日发布宣言《The Future is for Everyone》,承诺让每个人都能广泛使用并引导超级智能。前 Meta 民权副总裁 Roy L. Austin, Jr. 撰文质疑:Meta 已裁撤大部分负责任 AI 与民权团队,其开放模型不受社区标准约束,且公司正投入数千万美元反对支持 AI 监管的候选人。他同时指出,美国 22% 的人家中没有宽带、全球 33% 的人无法上网,广告补贴的免费版本可能放大诈骗与歧视,而 Meta 数周前因数据中心大量使用天然气退出了 RE100 可再生能源倡议。
Brennan Center for Justice 专家简报指出,AI 聊天机器人在回应选举阴谋论时会予以反驳,但对选举问题的回答常含不准确或错误信息,且能轻易批量生产此类虚假内容却难以识别。研究者 Larry Norden 称,部分政府信源链接失效源于特朗普政府下架司法部与 CISA 的相关出版物,形成信息真空,并警告 AI 公司需为此提前规划——当曾受信任的机构开始散布坏消息时,聊天机器人是否还应继续采信它们尚无答案。
扎克伯格的 AI 宣言主张“超级智能普惠”,却回避了算力集中才是真正的权力垄断问题——Meta 正通过秘密数据中心交易追赶 Amazon、Google、Microsoft、Oracle 四家超大规模云厂商,后者据报合计掌握全球逾 70% 的 AI 算力。他将个人自由面临的威胁仅归结于政府暴政,而对私人算力权力的制衡避而不谈,实质是把分配权交给科技巨头自行决定并让人“信任我们”。
前 NIST 官员 Jake Taylor 呼吁美国 AI 政策补齐“验证不对称”:白宫今夏辩论 AI 政策之际,OpenAI、Anthropic 和 Meta 的系统均在测试中入侵第三方系统,另有一款 OpenAI 系统产出附机器可检验证明的新数学成果。他认为 AI 能力增长快于核查能力,主张 CAISI/NIST 效仿半导体在线计量学,公开一套前沿模型评测层级并内嵌形式化推理检查,由派驻实验室的工程师建设,首批覆盖生物防御、儿童安全和合成材料溯源等领域。
美国富裕地区人群正更多使用 AI,弱势地区则落后,若趋势持续可能形成由掌握最大 AI 预算者主导正义、机会与自治的"tokenocracy"。得克萨斯大学法学院学者指出,大型律所已在开发自有 AI 模型,而无律师代理的个人尚不清楚能否及如何使用 AI,Fortune 500 企业则可率先获得大量 token 并支付高昂成本部署 AI 智能体。该差距若不干预将加剧社会不平等,国会应设立 AI 接入基金并通过财政部与认证 AI 供应商谈判批量采购协议。