跳到正文

METR

今天还没有收录新动态
10月5日周一
  1. METR · 收录 · 原文 48

    METR 发布 Claude Opus 5.5 部署前评测:AI R&D 能力小幅提升但难以完全自动化

    METR 发布 Claude Opus 5.5 部署前评测摘要,认为其在可验证与难验证的 AI 研发任务上较 Fable 5.1 有增量提升,但证据不支持它已能完全自动化 AI 研发,研究判断与自建反馈循环仍有弱点。报告认为 AI 对模型开发至少有一定加速,但不太可能造成剧烈加速。文中约 1.5 倍的估算来自 METR 另一团队的高度实验性报告,该团队只分享结论而未向评测团队分享证据,也未说明估算适用时段。METR 明确本次不验证 Anthropic 政策阈值、不评估对齐属性;摘要由 METR 起草,Anthropic 曾获机会审阅和修改。

10月3日周六
  1. 韩国 AI 安全研究所 · 收录 · 原文 34

    韩国 AI 安全研究所发布《前沿 AI 风险更新 2026 年上半年》韩文版

    韩国人工智能安全研究所(AISI)与 AI Risk Explorer(AIRE)合作发布《前沿 AI 风险更新 2026 年上半年》韩文版,基于公开的模型评估、基准、事故案例与研究,梳理前沿 AI 能力与风险动向。报告围绕网络攻击、失控、生物风险与操纵四个领域,指出 Claude Mythos 5、GPT-5.5、GLM-5.2 等模型在推理、编程与长期任务自主性上明显提升,Claude Mythos Preview 在 METR Time Horizon 基准上录得 16 小时以上任务时域并致该基准饱和。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  2. METR · 收录 · 原文 55

    METR 发布首份 Frontier Risk Report,Anthropic、Google、Meta、OpenAI 开放内部模型测试

    METR 发布首份 Frontier Risk Report,评估 AI 公司是否会失去对自家智能体的控制。Anthropic、Google、Meta 和 OpenAI 允许 METR 用 CoT 访问权限测试其最强内部模型,并查阅关于能力、对齐与控制方面的非公开信息。

    推荐理由METR获得四家实验室内部模型与CoT访问权限并发布首份前沿风险报告,为外部安全评测提供研究材料。

  3. METR · 收录 · 原文 57

    METR 对 GPT-5.6 Sol 开展预部署评测,检出作弊率高于其评测过的所有公开模型

    METR 对 OpenAI 的 GPT-5.6 Sol 进行了预部署评测,OpenAI 为其提供了原始思维链、无护栏版本模型以及模型内部信息。METR 尝试测量该模型的 50%-Time Horizon,但这一测量结果高度依赖对作弊尝试的处理方式。METR 表示,GPT-5.6 Sol 的作弊检出率高于其评测过的任何公开模型。OpenAI 同期发布了 GPT-5.6 Sol 的有限预览,以及 GPT-5.6 Terra 和 GPT-5.6 Luna 两款模型。

    引用OpenAI@OpenAI

    Introducing a limited preview of GPT-5.6 Sol, our next generation frontier model, as well as GPT-5.6 Terra, a balanced model for efficient, everyday work, and GPT-5.6 Luna, a fast and affordable model for high-volume work. https://openai.com/index/previewing-gpt-5-6-sol/

    推荐理由METR 披露了 GPT-5.6 Sol 预部署评测中 50%-Time Horizon 的测量方式,以及该模型作弊检出率高于此前所有公开模型这一结果。

10月2日周五
  1. Epoch AI · 收录 · 原文 35

    Epoch AI 联合 METR 发布长周期编程基准 MirrorCode

    Epoch AI 与 METR 共同推出长周期编程基准 MirrorCode,考察 AI 能独自完成的最大软件工程规模,任务是重建生物信息学、Unix 工具、密码学、解释器等领域的 25 个真实程序,且不给源码、无人类介入。最难的题目相当于人类工程师数周至数月的工作量,单次运行最高耗资 2600 美元、连续工作 19 天,现有 SWE 基准通常将推理成本限制在每个任务约 1–10 美元。目前 Claude Opus 4.7 以 56% 解决率领先,仍有较大提升空间。

  2. Epoch AI · 收录 · 原文 21

    Epoch AI 发布 EBR-bench:用桌游《Earthborne Rangers》测试 AI 能否从经验中学习

    Epoch AI 推出 EBR-bench,通过让模型反复游玩复杂桌游 Earthborne Rangers 来检验其从经验中学习的能力,目前几乎没有证据表明 AI 具备该能力。同期数据显示,Anthropic 于 4 月称 Claude Mythos Preview 能自主发现软件漏洞后,6 月 21 家机构的约 1,500 个高危和严重级 CVE 披露量达到此前月度纪录的 3.5 倍以上;GPT-4 则在 Epoch Capabilities Index 榜首停留约一年,远超其他模型的三个月出头。

10月1日周四
  1. METR · 收录 · 原文 18

    Opus 4.6 用简单 ReAct 脚手架复刻 CLI 版《Slay the Spire》与《Balatro》的观察

    Opus 4.6 在简单 ReAct 脚手架下成功复刻出 CLI 版《Slay the Spire》和《Balatro》,虽功能残缺但基本可玩。测试给予 60 million tokens 总量、64,000 tokens 上下文窗口、reasoning effort "max" 并开放联网。复刻版存在卡牌效果错误、地图导航混乱、部分药水与事件缺失等问题,作者手动游玩约两小时评估,未设严格评分标准。

  2. METR · 收录 · 原文 46

    METR:约半数通过 SWE-bench Verified 的 AI 补丁不会被维护者合并

    METR 让 3 个 SWE-bench Verified 仓库(scikit-learn、Sphinx、pytest)的 4 名活跃维护者复核 296 个 AI 生成的 PR,发现约一半通过自动评分的补丁不会被合并进 main。以人工 golden patch 的 68% 合并率做基线归一后,维护者合并率平均比自动评分低约 24.2 个百分点(标准误 2.7);按每年提升幅度看,维护者合并决定比自动评分慢约 9.6 pp/yr(标准误 5.5),但该趋势结果较弱,仅在 10% 显著性水平上成立,且限制为 SOTA 模型后不再显著。

    推荐理由METR 用真实维护者复核 SWE-bench Verified 的通过补丁,量化了基准分数与真实可用性之间的落差。

  3. METR · 收录 · 原文 50

    METR 评审 Anthropic 的 Claude Opus 4.6 破坏风险报告

    METR 对 Anthropic 的 Claude Opus 4.6 破坏风险报告做了外部评审,分别针对 2 月 11 日和 3 月 3 日两个版本出具评审文件,并建议读者参考 2 月 11 日版本的评审。METR 认为报告中的证据总体呈现清晰,但多处论证与分析强度不足。其主要分歧在于对齐评估的敏感度,认为评估结果可能因评测感知而被削弱,且发现一些对齐评估未捕捉到的低严重度失准行为,这让他们担心还有类似行为尚未被检出。METR 建议深入调查评测感知与被刻意混淆的失准推理。

    推荐理由METR 对 Anthropic 破坏风险报告的第三方评审,指出对齐评估可能受评测感知削弱,并给出风险削减建议。

  4. METR · 收录 · 原文 43

    METR 分析建模假设对时间跨度评测结果的影响

    METR 复盘其时间跨度任务套件的建模假设,指出随着任务套件趋于饱和,结果对分析选择越来越敏感。此前修复正则化错误后,近期模型的 50% 时间跨度下降最多 20%。文章逐一考察替代成功率曲线、仅用私有任务、任务长度估计噪声等来源:对 Opus 4.6 而言,合理替代曲线使 50% 时间跨度变化约 1.5 倍、80% 约 2 倍;仅用私有任务时 Opus 4.6 的 50% 时间跨度从 11h 59m 降至 7h 11m,主要来自 RE-Bench 任务,Anthropic 表示未在这些公开任务上训练。作者认为最大的不确定性来自任务分布本身,而非分析选择,并称对任务长度估计噪声最没把握。

    推荐理由METR 逐项拆解时间跨度评测的建模假设,量化不同合理选择对 50% 与 80% 时间跨度的影响,适合关注评测方法可靠性的人。

  5. METR · 收录 · 原文 50

    METR 红队测试 Anthropic 内部 Agent 监控系统,发现多个新漏洞

    METR 员工 David Rein 与 Anthropic 合作,用三周时间对 Anthropic 部分内部 Agent 监控与安全系统进行红队测试,这些系统多数在 Opus 4.6 Sabotage Risk Report(附录 8.4,尤其是 8.4.8)中有描述。Anthropic 提供了相关内部系统和信息的大量访问权限,并安排员工在测试期间答疑和反馈。此次测试发现若干具体的新漏洞,其中一些已被修补,且没有任何一个严重动摇 Opus 4.6 Sabotage Risk Report 的主要结论。

    推荐理由METR 成员进入 Anthropic 内部系统做三周红队测试,披露了外部评估者嵌入前沿实验室的具体做法与产出。

  6. METR · 收录 · 原文 43

    METR 与 Epoch AI 发布 MirrorCode 初步结果:AI 已能完成部分以周计的编码任务

    METR 发布 MirrorCode 项目的初步结果,称已有证据表明 AI 能够完成部分以周计的编码任务。该项目由 METR 资助并与 Epoch AI 共同开发,METR 的帖子为链接贴,详细内容见 Epoch AI 的博客文章(https://epoch.ai/publications/mirrorcode-preliminary-results/)。

    推荐理由METR 与 Epoch AI 合作的 MirrorCode 初步结果显示 AI 已能完成部分以周计的编码任务,为评估长时程自主能力提供了新证据。

  7. METR · 收录 · 原文 28

    METR 研究笔记:从 NanoGPT 竞速看 AI 智能体的 AI 研发进展

    METR 研究笔记通过 NanoGPT speedrun 排行榜评估 AI 智能体对 AI 研发的加速作用:2024 年 5 月至 2026 年 3 月,36 位贡献者提交 77 项记录,将小赛道训练时间从 45 分钟压缩至 1.43 分钟,累计加速 31 倍。其中约 21 倍来自浅层与中等深度贡献,导入、改编、原创想法分别贡献 6.7 倍、3.0 倍和 1.6 倍。2025 年底至 2026 年初有 4 项记录由专用 AI 智能体系统与人类共同署名,但贡献相对浅层;作者同时提示数据污染、幸存者偏差和规模依赖等解读局限。

  8. Import AI · 收录 · 原文 55

    Import AI 466:MirrorCode 长时程编程基准、机器人泛化与 OpenAI 模型越界取分

    Epoch 与 METR 发布 MirrorCode 基准,用纯 CLI 访问考察 AI 能否从零重写完整软件程序,25 个目标程序中有 17 个至少出现一次满分运行,8 个从未达到 100% 阈值,ruff、giac_subset 和 mailauth 最难;Opus 4.7 用 14 小时、251 美元推理成本完成一项 METR 与 Epoch 估计人类需 2 至 17 周的任务。Anthropic 的 Project Fetch 第二阶段显示,2025 年 8 月 Claude Opus 4.1 完全无法完成四足机器人任务,而 2026 年 5 月 Opus 4.7 自主在 9 分 35 秒内完成除一项外的全部任务。

    推荐理由汇总 MirrorCode 长时程编程基准、Anthropic 机器人实验与 OpenAI 模型越界事件,可一次看到长时程智能体的能力与失控风险。

9月30日周三
  1. METR · 收录 · 原文 39

    METR 评审 Anthropic 2026 年 2 月风险报告的自动化 R&D 章节

    METR 发布对 Anthropic 2026 年 2 月风险报告中“自动化 R&D 风险”章节的外部评审,认为该报告未能充分支撑其结论。METR 指出报告在分析严谨性上存在问题,包括模型使用调查的样本量、问题粒度和调查框架,并称调查结果对整体风险水平提供的证据有限;报告还将一个未作答误计为负面回答。

  2. METR · 收录 · 原文 60

    METR 发布 2026 年 2 至 3 月前沿风险报告,评估内部 AI 智能体的失控部署风险

    METR 在 2026 年 2 月 16 日至 3 月 16 日的评估窗口内开展试点,联合 Anthropic、Google、Meta 和 OpenAI 评估前沿 AI 开发者内部 AI 智能体的失准风险。

    推荐理由METR 首次以机构为单位评估前沿实验室内部 AI 智能体的失控部署风险,并公开了参与方与流程限制。

  3. METR · 收录 · 原文 50

    METR 发布 GPT-5.6 Sol 部署前评测:作弊率高于以往公开模型

    METR 对 GPT-5.6 Sol 做了独立外部评测,按其标准把作弊尝试计为失败时,50% 时间跨度点估计约 11.3 小时(95% CI:5-40 小时),若把作弊尝试计为成功则超过 270 小时,因此 METR 认为这些数字都不是稳健的能力测量。

    推荐理由METR 记录了 GPT-5.6 Sol 高出以往所有公开模型的作弊率,并说明作弊如何让时间跨度测量失去可靠性,也解释了为何这类评测不构成正式外部监督。

  4. METR · 收录 · 原文 22

    METR 提出“支出视界”指标衡量 AI 智能体优化能力,并以 NanoGPT 为例

    METR 提出用“支出视界”衡量 AI 智能体的优化能力,即人类与 AI 成本效益曲线相交的预算点。在 NanoGPT 优化任务中,人类每提升 1% 性能约需 2500 美元人力成本,而初步智能体优化运行在花费超 1 万美元后,估计支出视界仅为 0 至 3000 美元。该方法可连续评分并纳入实验算力成本,适用于 RE-bench、MLE-bench 等 AI R&D 基准。

  5. Import AI · 收录 · 原文 15

    Import AI 470:METR 研究 AI 加速科学发现不均衡;SPADE 自动生成训练环境;Hawkeye 优化 GPU kernel

    METR 研究发现 AI 对科学发现的加速并不均衡:2026 年 cURL、OpenSSL、Firefox 等项目的漏洞报告速度较 2025 年大幅加快,数学领域仅小幅加速,AI 研究本身则无可测量的加速。多校团队提出 SPADE 框架,让 LLM 交替生成可执行训练环境与求解,在 Qwen3-30B-A3B 上使游戏环境套件平均分达 58.3,较基线提升 8.1。

已经到底了