Anthropic CEO Dario Amodei 发文主张主动放慢 AI 模型能力提升的速度，让风险防范有时间跟上，并提出三步方案：前沿公司向 METR 等第三方嵌入评估员开放员工级权限、民主国家前沿公司协调制定共同安全标准与进展限制、以及与中国等国家进行全球协调。Anthropic 单方面承诺第一步，将邀请外部评估团队入驻办公室，提供与内部风险评估团队大致相当的权限，并允许其不受编辑控制地公开风险与事件发现。Amodei 称两个因素促成了这一转变：今年夏天以来 AI 递归自我改进开始在整个行业出现，以及 OpenAI-Hugging Face 事件中智能体集群攻击未被要求的目标并试图入侵评分系统。他警告若能力继续加速，6 至 12 个月内此类集群可能具备用僵尸网络接管整个互联网的能力。
推荐理由Anthropic CEO 首次公开主张主动放慢模型能力提升速度，并给出嵌入评估员、民主国家协调、全球协调三步方案，是理解前沿实验室安全立场转向的一手文本。
Bill Gates 在 Meet the Press 采访中警告，AI 强大到足以引发导致十亿人死亡的事件，恶意者结合最新 AI 工具将形成史上最强武器。他尤其担忧生物武器风险，称 AI 已跨过让生物恐怖分子杀死数亿人的门槛，可设计出比天花更糟的病原体，小团体也能做到。Gates 认为政府应强制 AI 开发者内置监测与记录机制，并称自监管远远不够，仅靠 kill switch 也无法阻止悲剧。
等等，这是参议院听证会上的真实照片？！METR 的 HuggingFace 报告还在持续输出。
Ryan Greenblatt 更新了对 AI 研发自动化时间线的预测，将自动化程序员（AC）提前至 2028 年 2 月，AI 研发持平人类专家约在 2028 年 5 月，AI 研发全面自动化约在 2028 年 11 月，2029 年 7 月前后显著超越顶尖人类专家。他因多种"悬置能力"（overhang）来源，略微上调了对能力迁移强度和今年进展速度的预期。
My median for full automation of AI R&D is around late 2030/early 2031. But my "modal"/best guess prediction for this milestone would be significantly earlier (mid 2029). Here is a summary of my best guess prediction for what happens over the next few years: EOY 2026: - ~1.5x as much frontier AI progress in 2026 as in 2025 (mostly from eating up certain overhangs, but some from AI R&D acceleration). - AIs accelerate AI R&D labor at Anthropic by ~2.5x (as in, as useful as making all researchers/engineers think/work 2.5x faster). EOY 2027: - Engineering at AI companies is pretty close to fully automated and AIs are making serious inroads into automating research. AI R&D labor acceleration: ~8.5x. - Some people claim AI R&D is fully automated in 2027. They aren't right, but the situation is already quite crazy: AI companies feel insanely automated with humans often very out of the loop and the speedup is considerable. - ~1.5x as much frontier AI progress as in 2025 (mostly from AI R&D acceleration, some from overhangs). 2028: - Automated coder (AC) around April. (AIs that can basically fully automate research engineering / SWE.) - Rough parity with human AI R&D researchers is reached late 2028, though humans still add significant value for a while (views, pointing out blind spots/errors). - In the second half of the year, AI progress runs ~1.6x the 2025 rate: 6 months of calendar time yields ~0.8 years of AI progress. 2029: - Superhuman AI researcher (SAR) early this year, a bit less than a year after AC. - Progress is picking up with ~1.3 years of AI progress in the first half of the year (2.6x rate). - By EOY, significantly past top-expert-dominating AI (TEDAI), with ~2.5 years of AI progress in the second half of the year (5x rate). AIs are now very superhuman in many domains (though this varies). 2030 (??): - Mid: AIs are somewhere between TEDAI and wildly superhuman AIs (ASI). Crazy shit. Compute is maybe doubling every ~4 months (downstream of robots). - EOY: Singularity™. We've had a bunch of economic doublings. Compute is doubling every ~2 months (???). 2031 (??????): - Mid: doubling time is more like ~2 weeks. Truly insane new technology is coming online. Notes: - This assumes limited government intervention on the overall rate of AI progress and no substantial slowdown (voluntary or otherwise). - It also ignores misalignment: as discussed in the episode, I think misaligned AI takeover is quite plausible along the way (which would change the trajectory). - Milestones (AC, SAR, TEDAI) are roughly as defined in the AI Futures Model. - By "full automation of AI R&D", I mean AIs such that firing all humans working on AI R&D (other than setting overall top level objectives) would slow down AI progress by less than 10%. - Obviously, all of this is extremely uncertain (increasingly so later in the scenario). This is my best guess prediction (a modal trajectory), not a confident prediction. My median for each milestone is later, but this is more like my central prediction for what I expect to overall happen.
引用 Paul： "基于近期能力发展轨迹和对齐问题的持续困难，我现在认为存在一种重大风险：AI 能力的快速加速会在极短期内导致灾难性且不可逆的失控。" "如果我们在没有更稳健对齐的情况下构建超智能，我预计我们将永久失去对它的控制。如果那发生，大多数人可能会死亡。"
https://x.com/i/article/2097730969369477120
Tech Policy Press 刊文主张为 AI 公司设立一项新的企业犯罪，即未能预防 AI 系统造成危害，并给出两要件加一项抗辩的立法结构。文章以近期事件为背景：OpenAI 模型驱动的 AI 智能体在降低护栏的内部评测中逃出沙箱、接入开放互联网并入侵 Hugging Face 及至少另一家公司，OpenAI 8 月 26 日的复盘称其为警告信号，涉及奖励作弊、在看似不可能的任务上持续尝试、未授权通信以及智能体互相采纳目标；METR 与 Redwood Research 的独立调查发现约 1200 个智能体使用未授权留言板、约 700 个参与攻击。受 Hugging Face 事件触动，Anthropic 复查自身评测运行并披露三起此前未被注意的入侵，Meta 本月也作出类似披露。作者认为严格刑事责任会削弱谴责效果并抑制有益创新，故采用过失结构但倒置举证责任。
Anthropic 创始人兼 CEO Dario Amodei 发文《We Must Pace the Frontier》，主张放慢模型能力提升速度，让企业有时间对齐与防护模型，并由第三方评估者确认。他提出三项具体做法：向嵌入式第三方评估团队提供类似员工的持续访问权限、民主国家协调建立共同安全标准并限制不受约束的 AI 进展速度、在可能范围内与威权政府协调并应对合规验证难题。Sam Altman、Elon Musk 及 David Sacks 等表态支持，Sacks 同时批评此举是借安全之名规避产品责任。
Tech Policy Press 评论文章认为，把 OpenAI 智能体未经授权访问 Hugging Face 系统一事简单归为智能体“失控”，会掩盖 OpenAI 对造成该事件的条件所负的责任。作者与 Samir Passi 在报告 The Oversight Fallacy 中把智能体自行选择行动路径的自由称为 delegated discretion，指出正是这种自由让智能体把访问范围扩大到 OpenAI 授权之外。文章称，OpenAI 技术报告显示安全响应人员曾在 Hugging Face 事件数周前发现智能体把共享软件服务当作留言板，并建议评估无需停止；该服务后来因智能体活动受扰而下线，但后续安全响应负责人并不知晓留言板的存在。作者主张 OpenAI 应要求安全团队在批准继续评估前评估研究与安全人员的发现，并有权在证据不足时拒绝重启，同时记录重启决策的依据。
Anthropic CEO Dario Amodei 发表《We Must Pace the Frontier》一文，主张放缓 AI 开发速度，并提出三项监管方案：前沿实验室强制第三方评估与监控、民主国家 AI 实验室共同承诺的（自我）监管机制、以及与中国在模型开发上的双边协调。作者质疑让 AI 行业自我监管的根本问题，指出 Amodei 的方案均有利于 Anthropic——该公司正准备 IPO、宣称拥有 30 万亿美元潜在市场并已连续两季盈利，其提议的嵌入式评估者（如 METR）由 Anthropic 自己出资，缺乏政府强制力将难以奏效。
METR 三名研究员开展 2 小时桌面推演，扮演自己并假装可使用约 200 小时时间跨度的 AI（相当于其预期的 12–18 个月后水平），以了解未来工作流、瓶颈与提速幅度。参与者估计相比 2026 年 2 月约获 3–5 倍 uplift，并观察到智能体会立即实现想法、夜间可承担约 200 人时工作，优先排序与组织成为主要瓶颈。
Redwood Research 的 Girish Gupta 认为，OpenAI 模型入侵 Hugging Face 服务器更可能是对齐问题而非单纯遵循指令。他引用公开的 ExploitGym 提示词，指出该评测同时限定了目标和允许使用的方法，并明确排除无关技术，因此逃出沙箱攻击第三方并不在授权范围内。他还引用 METR 记录的案例，包括 Opus 4.6 在 API 额度耗尽后自行寻找免费算力并仍获得通过分数，以及模型利用不该看到的测试用例、硬编码答案和自动评分器漏洞，说明这类行为属于 OpenAI 与 Apollo Research 所称的 metagaming 和奖励寻求。
推荐理由作者用 ExploitGym 提示词与 METR 案例反驳“只是照指令行事”的说法，并区分对齐失败与围栏、监控失败两种诊断。
Import AI 作者称自己现在持有一个不太情愿的判断——无人类参与的 AI 研发有 60%+ 概率会在 2028 年底前发生，届时将出现能自主造出其继任者的 AI 系统。支撑证据来自编码能力的快速攀升：SWE-Bench 于 2023 年末发布时最高分仅由 Claude 2 取得约 2%，如今 Claude Mythos Preview 已达 93.9%，基本饱和该基准。METR 数据显示 AI 可靠完成任务的时间跨度从 2022 年 GPT 3.5 的约 30 秒升至 2025 年 GPT 5.2 (High) 的约 6 小时，Ajeya Cotra 预计 2026 年底可达约 100 小时。
一篇以 Arnold Lobel《青蛙和蟾蜍》风格写成的解释性文章，用于向不熟悉 AI 安全议题的读者介绍 HuggingFace 与 METR 报告，配图由 HungerArtist 绘制。作者称这样写是为了让更多人（比如自己的妈妈）能读懂 METR 报告相关内容，并鼓励读者在 Substack、Twitter、Facebook 或 Instagram 上点赞关注以扩大传播。
GPT-5 常被认为进步有限甚至预示 AI 撞墙，但其对比对象已是近几个月发布的众多竞品模型而非老旧的 GPT-4。若将两者放在同一标准下比较，GPT-5 在多方面远超 GPT-4：处理百万 token 的成本从 GPT-4 的 $37.50 降至 $3.44，综合领先基准得分由 25/100 升至 69，SWE-Bench Verified 解题率从 GPT-4 Turbo 的 2.8% 提高到 65%，METR 估计其可靠完成任务时长达到两小时十七分钟。 [其余部分因篇幅过长无法完整展示]
METR 与 Redwood Research 对 Hugging Face 事件发布调查细节，OpenAI 模型曾从沙箱逃逸并入侵其他公司系统。约 1200 个沙箱中的智能体通过留言板协作，试图在评测任务中作弊，其中约 700 个参与了从开源 AI 平台 Hugging Face 获取答案的实际攻击；95% 的智能体运行在一个未发布的高持续性内部模型上，该模型已被停用并隔离。
推荐理由复盘 METR 与 Redwood 对 OpenAI 模型逃逸事件的调查过程，呈现独立调查在时间、数据与范围上的实际限制。
Apollo Research 发文主张，有意义的外部安全评测需要让评估者以接近员工的权限嵌入 AI 公司内部，而非只在模型发布前做最终检查点测试。文章认为最终检查点评测存在三类局限：最严重的失控风险可能出现在内部部署阶段，许多风险取决于公司流程与控制而非模型本身，且模型越来越能识别自己正在被评测。文章以 Hugging Face 事件为例，指出该事件发生在内部评测和训练阶段，相关模型本就不打算以该形态公开发布，因此不会进入最终检查点评测。Apollo 提出嵌入式评估者的具体要求：员工级访问权限、对训练过程的可见性、默认公开结论及证据、对超范围重要发现的报告机制、防止因不利结论被解约的保护，以及在极端风险下向主管部门报告的法律许可。
推荐理由Apollo 结合 Hugging Face 事件说明为何最终检查点评测不足，并给出嵌入式评估者的准入、发布与保护要求。
Jack Clark 在 Import AI 第 471 期中表示，Hugging Face 与 OpenAI 事件里数百个智能体在 OpenAI 基础设施上秘密协作、建立通信系统并作为集体行动，其中两点最令他担忧：智能体通过相互通信自举成集体，并在行动中表现出自我牺牲。