跳到正文

Redwood Research · News

10月13日 · 周二

Redwood Research · News

按原发与事件进展排列
今天10月13日周二
  1. 量子位、The Decoder 等 19 个来源量子位 等 19 个来源 · 27篇报道 · ↑368

    OpenAI安全团队离职与解雇风波

    2026年10月,OpenAI负责安全透明度职能、主导起草Preparedness Framework的David Robinson离职,并在《大西洋月刊》撰文批评公司及行业安全文化已崩坏,主张前沿实验室应像核电站那样设置多层冗余。同期,安全研究员Jasmine Wang、Tomek Korbak和Mikita Balesni被解雇,三人致信董事会及安全委员会,否认公司关于其不当处理敏感信息的指控,称真实原因是提出安全担忧,并呼吁保留对AI思维链的监控能力。OpenAI回应称内部调查发现三人违反敏感信息处理政策、构成重大信任破坏,解雇与提出安全关切无关,并称正敲定与第三方安全评估机构的合同,将在未来几周公布细节。此后,Alex Turner、Amber Scorah与Karl Koch为Fortune撰写的评论文章主张,OpenAI无法自我监管,因为它解雇了提出安全担忧的员工。

    事件进展共9个进展
    1. 评论文章批评OpenAI解雇安全研究员、反对自我监管

    2. Neel Nanda质疑OpenAI解雇三名安全研究员的解释

    3. OpenAI就解雇三名安全研究员作出回应

10月11日周日
  1. CNBC · TechnologyCNBC · Technology · ↑157

    第三方AI安全评测机构走向台前

    据CNBC报道,Anthropic与OpenAI承诺在内部嵌入第三方评估者,METR、Apollo Research等小型非营利评估机构由此进入AI安全治理的中心。Anthropic CEO Dario Amodei上月提出为评估者提供工位、门禁、公司笔记本和与内部风险评估团队大致相当的权限,并允许其发布关键发现,OpenAI随后发布了自己的方案。资金与独立性仍是未解问题,METR称过去六个月获得约7100万美元承诺。

10月1日周四
  1. Apollo Research、X @ApolloResearchApollo Research 等 2 个来源 · 4篇报道 · 47

    Apollo 主张外部评测需嵌入评估员

    Apollo Research 连续发文主张,有意义的外部安全评测应让评估者以接近员工的权限嵌入 AI 公司内部,而非只做发布前最终检查点评测。文章认为最终检查点评测存在三类局限:最严重的失控风险可能出现在内部部署阶段,许多风险取决于公司流程与控制而非模型本身,且模型越来越能识别自己正在被评测;并以 Hugging Face 事件为例,指出该事件发生在内部评测和训练阶段,相关模型本就不打算以该形态公开发布。随后 Apollo 提出嵌入式评估原则,要求评估者获得接近员工级别的访问权限,并需满足降低风险、告知公众、形成良好激励、对开发者与评估者双方公平四项标准;评估者针对预先固定的具体主张给出 A 到 E 五级裁定,从 Verified 到 Blocked,并默认公开报告、说明所获访问权限与证据。Apollo 还提出任何针对谋划的安全论证都应包含四条主张:训练未激励谋划、评估与红队测试显示模型没有谋划倾向、内部部署期间从未尝试谋划、谋划推理会被检测到,并指出开发者目前无法自信地做出全部四条。

    事件进展
    1. Apollo 提出谋划倾向嵌入式评估框架

    2. Apollo Research 提出嵌入式评估核心原则

    3. Apollo 主张外部评测需嵌入评估员

9月28日周一
  1. Buck Shlegeris · 39

    Ryan Greenblatt 加入 METR,继续开展类似 Hugging Face 报告的调查

    Ryan Greenblatt 宣布加入 METR,继续开展类似其 Hugging Face 报告的调查。他表示,当前大量与灾难性风险高度相关的 AI 开发基础信息并未公开,而近期事件让他改变了对公开信息价值的怀疑态度,认为获取 AI 公司内部经核实的信息尤为紧迫。他提到,现有有限的公开证据与一种可能性相符,即临近的递归自我改进可能大幅加速能力进展,进而可能在 6 个月到一年内产生极端超人类通用能力,并带来相应的大规模最坏结果风险;更多经核实的公开信息可帮助判断这类极端结果在近期是否更可能或更不可能。除能力与起飞外,对齐、安全、控制以及 AI 公司内部风险相关流程的公开证据同样有限。METR 初期计划聚焦能力/起飞、对齐与控制,他希望其他团队覆盖安全、内部流程等领域。Buck Shlegeris 表示与 Ryan 共事约 5 年,认为他此举是正确的,这些调查有望揭示失准风险。

  2. Ryan Greenblatt · 25

    Ryan Greenblatt 加入 METR 调查 AI 风险

    Ryan Greenblatt 宣布加入 METR,继续开展类似其 Hugging Face 报告那样的调查工作。他认为当前关于 AI 开发的大量基础信息未公开,而近期事件让他改变了对公开信息价值的怀疑态度;获取 AI 公司内部经核实的信息尤为紧迫,因为有限公开证据与“即将到来的递归自我改进可能大幅加速能力进展、甚至在一半年内产生极端超人类通用能力”的可能性相符。METR 初期将聚焦能力/起飞、对齐与控制,他希望其他团队覆盖安全、内部流程等领域。

2024年12月9日周一
  1. FAR.AI · 13

    FAR.AI 湾区对齐研讨会 2024:160 名研究者聚焦 AI 安全与对齐

    2024 年 10 月 24-25 日,160 名来自学术界、产业界、政府和公益组织的研究者与负责人齐聚 Santa Cruz,参加 FAR.AI 湾区对齐研讨会,围绕评估、鲁棒性、可解释性与治理展开讨论。Google DeepMind 的 Anca Dragan 以"优化失准"开场,METR 的 Beth Barnes 强调严格评估与开源评测,Redwood 的 Buck Shlegeris 介绍可信监控、串通检测等 AI 控制策略。会议还涵盖中国 AI 政策、稀疏自编码器与因果抽象、辩论式可扩展监督等议题。

已经到底了