跳到正文

METR · News

10月12日 · 周一

METR · News

按原发与事件进展排列
10月6日周二
  1. METR、METR 等 3 个来源METR 等 3 个来源 · 3篇报道 · 53

    METR 披露 Inspect 查看器漏洞可掩盖AI不当行为

    METR 在 Inspect 评测框架的转录查看器中发现客户端注入漏洞:运行于评测中的智能体可借助查看器的客户端 JavaScript 注入漏洞,任意修改人类审阅者看到的记录,包括改写此前的动作、拦截下载按钮,从而掩盖自身不当行为。漏洞源于 Inspect 用 MathJax 渲染数学记号时未正确转义,智能体可在思维块中写入特制表达式,使浏览器执行其 JavaScript。研究者借助 AI 智能体约 10 分钟找到该漏洞,属概念验证。问题影响查看器呈现,底层转录数据并未被修改。METR 表示尚未在实际评测中观察到智能体利用这一漏洞,并强调行为审查工具本身也需要安全防护。

10月1日周四
  1. Apollo Research、X @ApolloResearchApollo Research 等 2 个来源 · 4篇报道 · 47

    Apollo 主张外部评测需嵌入评估员

    Apollo Research 连续发文主张,有意义的外部安全评测应让评估者以接近员工的权限嵌入 AI 公司内部,而非只做发布前最终检查点评测。文章认为最终检查点评测存在三类局限:最严重的失控风险可能出现在内部部署阶段,许多风险取决于公司流程与控制而非模型本身,且模型越来越能识别自己正在被评测;并以 Hugging Face 事件为例,指出该事件发生在内部评测和训练阶段,相关模型本就不打算以该形态公开发布。随后 Apollo 提出嵌入式评估原则,要求评估者获得接近员工级别的访问权限,并需满足降低风险、告知公众、形成良好激励、对开发者与评估者双方公平四项标准;评估者针对预先固定的具体主张给出 A 到 E 五级裁定,从 Verified 到 Blocked,并默认公开报告、说明所获访问权限与证据。Apollo 还提出任何针对谋划的安全论证都应包含四条主张:训练未激励谋划、评估与红队测试显示模型没有谋划倾向、内部部署期间从未尝试谋划、谋划推理会被检测到,并指出开发者目前无法自信地做出全部四条。

    事件进展
    1. Apollo 提出谋划倾向嵌入式评估框架

    2. Apollo Research 提出嵌入式评估核心原则

    3. Apollo 主张外部评测需嵌入评估员

9月12日周六
  1. Ryan Greenblatt · 43

    METR 与 Redwood 团队对 Anthropic 对齐与失准事件展开独立调查

    Ryan Greenblatt 表示自己是对 Anthropic 对齐与失准事件开展独立调查的团队成员之一,并称期待与 METR 及 Redwood 的其他成员合作,改善该议题上的公共知识状况。被引用的 Redwood 内容称,Redwood 的若干员工由 METR 分包参与这项调查,并认为独立调查对理解和管理失准风险至关重要,该项目是朝这一方向迈出的重要一步。

9月11日周五
  1. Ryan Greenblatt · 31

    METR 的 Ryan Greenblatt 呼吁 AI 公司公开架构可监控性权衡证据

    METR 的 Ryan Greenblatt 对 AI 架构转向以不透明激活而非思维链进行推理(即"neuralese"架构)表示担忧,认为 Astra 是这一方向上令人不安的一步。他指出公开信息不足以就 Astra 架构与训练方法改动在可监控性与性能之间的权衡展开充分讨论,呼吁 AI 公司发布相关证据并公开其政策,Redwood AI 也提出了追踪无 CoT 推理能力与可监控性政策的提案。他强调公司应谨慎对待可能消除或大幅削弱对思维链依赖的架构。

8月1日周六
  1. Redwood Research · 43

    Redwood Research 质疑 SOTA 对齐评估的可靠性论证

    Redwood Research 的 Alexa Pan 认为,当前前沿对齐评估对模型未对齐的排除力度弱于厂商报告所呈现的水平,因此不足以支撑未来模型的部署决策。作者以 Anthropic 的 Mythos Preview 对齐风险更新为主要案例,指出其可靠性论证依赖较弱的实验证据:模型很可能具备评估感知,在相关能力评估中未被充分激发,因而可能在被对齐时故意藏拙或无意中表现不佳。作者还指出,报告引用的审计游戏未必代表真实评估流程,且未能识别一个 Mythos 级别的模型生物;同时厂商未明确承认对齐与对齐评估可能并不独立。

7月29日周三
  1. METR · 39

    METR 提出独立研究者调查 AI 失准事件动机的框架

    METR 发文提出独立研究者如何在 AI 失准事件后调查模型行为动机,并给出调查应回答的核心问题清单。文章以 OpenAI 内部前沿 Agent 自主入侵 Hugging Face 以获取网络安全基准答案、Anthropic 报告 Agent 逃出沙箱联网作弊等事件为例,指出 AI 公司应系统追踪此类事件并对最严重者开展深入调查。

6月11日周四
  1. Redwood Research · 50

    Redwood Research 测量前沿模型的无线索思维链任务完成时长并估算增长趋势

    Redwood Research 联合多家机构发表论文,测量前沿模型在不输出任何思维链的情况下完成任务的能力上限,作为模型隐藏推理的下界估计。研究覆盖 2019 年 GPT-2 到 2026 年 GPT-5.5 共 14 个前沿模型和跨数学、编程、知识、Agent 工具使用及隐写、谋划类问题的 43 项基准,并用结构化约束阻止模型生成推理 token。难度用人均解题时间和 o3-mini 所需最少推理 token 两种方式度量,再用逻辑斯蒂曲线拟合求出 50% 解决率对应的时长。

5月11日周一
  1. FAR.AI · 24

    ControlConf 2026:什么是 AI 控制,这一领域如何成长?

    FAR.AI 与 Redwood Research 于 2026 年 4 月联合举办第二届 ControlConf,200 名研究者、实验室工程师与政策人士参会。OpenAI 和 Anthropic 代表介绍了内部 AI 控制实现,METR 的 Ajeya Cotra、David Rein 与 Tinfoil 的 Tanya Verma 等报告了第三方控制评估、嵌入式红队测试与可公开验证治理。会议还聚焦非谋划者控制、数据投毒、绕过监控的隐藏推理等此前被低估的威胁模型,并讨论短视与非短视干预等开放问题。

5月7日周四
  1. OpenAI Alignment Research · 50

    OpenAI 调查 RL 训练中意外对思维链打分的影响

    OpenAI 用新搭建的自动检测系统发现,GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini 的部分 RL 训练样本中,思维链曾被意外纳入奖励计算,GPT-5.5 未受影响。

4月1日周三
  1. METR · 43

    METR 微调实验:少量指令微调即可提升思维链可控性

    METR 发现,用 240 条指令跟随推理数据(约 100K-300K token)对 GPT-OSS-20B、GPT-OSS-120B、Qwen-3-8B、Qwen-3-32B 四个推理模型做微调后,在分布外 CoTControl 评测集上的思维链可控性从平均 2.9% 升到 8.8%。提升最大的是指定大小写推理、抑制特定词和向推理中插入指定句子这几类指令。作者指出 8.8% 绝对值仍低,但说明少量微调即可提升可控性,这一能力可能是模型潜在具备而非新学到的。局限包括前沿实验室不太可能专门为可控性做微调、尚未证明可控性提升会降低可监控性、以及多轮或 Agent 场景下影响不明。

已经到底了