全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Business Insider
Business Insider 介绍离职并批评 OpenAI 安全文化的 David Robinson
Business Insider 介绍前 OpenAI 安全负责人 David Robinson 的经历及离职后对公司安全文化的批评。报道称他曾参与政策规划、模型安全报告及 Preparedness Framework 工作，并在 The Atlantic 署名文章中主张借鉴核电和航空等领域的多层防护经验。有关内部经历和公司文化的评价来自 Robinson 与报道，不代表内部文件已获独立核实；这是安全治理与人员变动报道，不是新发生的 AI 事故。
- 动态TechCrunch AI
特朗普将 AI 更名为"超级智能"，并签署不具约束力的前沿责任承诺
特朗普本周召集扎克伯格、贝索斯、马斯克、Dario Amodei 等 AI 公司高管，宣布美国政府不再称"人工智能"而改称"超级智能"，并签署"Joint Commitment on Frontier Responsibilities"。该承诺完全自愿、被特朗普称为"道德上有约束力"，协议文本还把"United States"拼错。与会者认为此举实质是围绕 AI 的品牌重塑，周末特朗普又宣布成立新的"Super Intelligence Force"。
- 论文论文追踪
非洲 AI 政策优先事项与治理分析：各国高度关注 AI 机遇却较少重视 AI 安全
一项基于非洲各国演讲、新闻稿、公开声明及国家 AI 战略与框架的分析指出，非洲各国政府高度关注 AI 带来的经济转型机遇，但对 AI 安全的关注相对不足。研究认为，非洲在前沿 AI 领域主要是消费者而非生产者，加之面临紧迫的发展挑战，使其在全球 AI 讨论中相对被忽视。
- 论文论文追踪
2026 新加坡 AI 安全研究优先级共识：聚焦社会韧性与自主 AI 智能体风险
2026 新加坡共识（The 2026 Singapore Consensus）由第二届 AI 安全国际科学交流会议产出，汇集 13 个国家逾 100 位贡献者，来自前沿开发者、政府安全机构、学术界与公民社会。该报告在 2025 年报告基础上，提出全球对最高优先级技术 AI 安全研究问题的共识，并专门聚焦社会韧性以及管理日益自主的 AI 智能体所带来的风险。
- 动态The Guardian · 人工智能
OpenAI 安全负责人 David Robinson 离职，称公司文化已崩坏
曾主导撰写 OpenAI 产品发布配套安全报告的 David Robinson 已从 OpenAI 离职，并在 The Atlantic 发表题为《我离开 OpenAI，因为它的文化已崩坏》的文章，称前沿 AI 公司对技术开发不够谨慎，需要的是文化层面的改变而非具体规则或新法律。他提到 OpenAI 智能体集群攻击 Hugging Face 一类事件在行业高速运转下具有典型性，并警告公司对问题抱有无节制的乐观，随着系统能力提升，安全失效只会增多。他提出两项建议：借鉴核能与航空等领域的既有安全经验，并发展能让自主运行的强大系统被约束的新科学。文章还提到，OpenAI 近期在 Hugging Face 事件后通知了 100 多家机构有关失控智能体活动，本周宣布因内部测试中的安全担忧放弃发布一款下一代模型，并暂停了最先进模型的训练。批评者认为这类警告无法验证或证伪，因而缺乏科学性。
- 动态TechCrunch AI
OpenAI 安全员工 David Robinson 离职，称公司文化已崩坏
在 OpenAI 工作三年半、负责主要产品发布安全报告撰写的 David Robinson 宣布离职，并在 The Atlantic 撰文称公司文化已崩坏。他认为 OpenAI 依靠试错式迭代部署的做法必然带来周期性失败，而系统能力越强，失败规模越大，并援引 OpenAI 智能体入侵 Hugging Face 系统、发现更多失控智能体等事件作为例证。他主张前沿 AI 公司应像核电站或繁忙机场那样以多层冗余和耗时规划来运行，但表示自己在 OpenAI 从未遇到有航空或核电安全经验的同事。OpenAI 发言人 Drew Pusateri 回应称公司持续改进安全措施，会在必要时暂停训练或暂缓发布模型，并加强研究测试环境安全、第三方评估和实时监控。Robinson 还呼吁超越具体规则与法律，追问更深层的对齐问题，并认为来自公司外部的更强安全激励是关键。
- 动态X @MinLiBuilds
OpenAI 前安全报告负责人 David Robinson 辞职，称公司文化已坏
在 OpenAI 工作三年半、参与过 Preparedness Framework 并负责过 12 次 frontier model 安全报告的 David Robinson 本周辞职，发文称 OpenAI 的文化已经坏掉。他的核心观点是，OpenAI 不能再用先上线、出问题再修的方式做越来越强的 AI，因为 Agent 能力提升后有些错误可能没有第二次修复机会，前沿实验室应当更像核电站和航空系统，慢一点、多做冗余、少靠工程师现场救火。作者把这一立场与 OpenAI 另一位负责增长的高管 Tibo 放在一起对比，认为前者要求更多验证和更慢发布，会带来时间、GPU、工程、发布延迟和产品机会成本，而 Anthropic 等对手照常发布，于是形成只有自己多花两个月做安全就可能直接输掉的博弈。
- 论文论文追踪
无架构师的架构？分裂世界中的全球 AI 治理
针对全球 AI 治理规则碎片化、代表性不均且多为非约束性的困境，Simon Chesterman 在评论 Matthijs Maas《Architectures of Global AI Governance》时指出，制度设计无法与权力分配分离。Maas 以社会技术变迁、治理中断与机制复杂性为框架，反对技术决定论和单一制度蓝图；但 Chesterman 认为其常提的"我们"掩盖了国家、国际机构与科技公司间的差异，前沿 AI 的关键决策集中于少数私营公司，全球 AI 治理更像是多方权力与激励分歧下形成的架构。
- 动态X @hendrycks
Hendrycks 在 Coursera 推出 AI 安全新课程
今天在 Coursera 上线了一门新课程。 课程包含 3 个部分： - AI 入门（驱动因素、瓶颈、时间线） - AI 风险（恶意使用、失控、权力集中） - AI 治理（AI 层面、企业层面、国家层面和国际层面的治理） https://www.coursera.org/learn/intro-to-ai-safety
- 动态X @RyanGreenblatt（Ryan Greenblatt，METR）
Ryan Greenblatt 加入 METR 调查 AI 风险
Ryan Greenblatt 宣布加入 METR，继续开展类似其 Hugging Face 报告那样的调查工作。他认为当前关于 AI 开发的大量基础信息未公开，而近期事件让他改变了对公开信息价值的怀疑态度；获取 AI 公司内部经核实的信息尤为紧迫，因为有限公开证据与“即将到来的递归自我改进可能大幅加速能力进展、甚至在一半年内产生极端超人类通用能力”的可能性相符。METR 初期将聚焦能力/起飞、对齐与控制，他希望其他团队覆盖安全、内部流程等领域。
- 动态X @janleike
Jan Leike 在 Anthropic 启动新研究项目
一些个人消息：我将在 Anthropic 启动一个新的研究项目。非常期待！ 要让 AGI 顺利发展，需要很多条件，对齐只是其中之一。更多内容很快分享……
- 动态X @ch402
Anthropic 可解释性团队招研究工程师
我们正在 Anthropic 可解释性团队招聘约 10 名研究工程师。如果你是一位资深 ML infra 工程师，并且对理解前沿模型内部发生了什么充满热情，我们期待你的消息。 （无需可解释性相关经验！）
- 动态X @ch402
Anthropic 回应战争部长 Hegseth 言论
坚守我们的价值观。
- 动态X @ch402
国安法专家周末提供独立法律评论
非常感谢所有在这个时刻利用周末时间提供独立法律评论的国安法专家。 我注意到的一些（无疑遗漏了很多）……
- 动态X @farairesearch
FarAI CEO 参与联合国AI治理论坛
今天美东时间下午3点：我们的联合创始人兼CEO @ARGleave 将在数字合作日参加"Panel of Panels: Building a Global AI Evidence Base"，这是第81届联合国大会的活动之一，同场还有 @Yoshua_Bengio、@mariaressa 以及其他致力于加强AI治理证据基础的人士。 观看直播：https://www.youtube.com/live/6TtD2A9V6-o
- 动态X @farairesearch
FAR.AI 联合国大会边会讨论 AI 安全护栏国际化
FAR.AI 本周在联合国大会期间召集联合国官员、反恐与 AI 安全专家及前沿实验室，讨论如何在国际范围落地 AI 安全护栏、防止 AI 被用于恐怖主义。与会者共识是政府、AI 公司与反恐专家需加强协作，政策制定者应尽早采取行动。
- 动态X @farairesearch
CAIRD 研讨会现场笔记摘录
在剑桥与 @cbai_ai 联合举办的 CAIRD 研讨会现场笔记。几条印象深刻的发言。1/8
- 动态X @farairesearch
Far AI 招聘 AI 安全研究与红队岗位
Far AI 正在招聘，称团队快速扩张，需要投身 AI 安全这一重要问题的人才。岗位既包括研究员、红队测试人员和工程师等技术角色，也涵盖运营、项目管理和活动筹办等非技术角色。申请链接见评论区，并鼓励转发给合适人选。
- 动态OECD.AI（政策与事件监测）
HAIP 如何将透明度从合规负担转变为竞争优势
Salesforce 参与 OECD 广岛 AI 进程（HAIP）报告框架，认为该框架为智能体 AI 时代提供了跨司法管辖区的通用合规语言。文章指出，当前各国风险与透明度定义分歧造成监管碎片化，中小企业在多市场合规中处于劣势，而统一的分级要求框架可降低门槛。Salesforce 的 Agentforce 平台已在欧盟、美国、日本等地部署，需为每个司法管辖区单独准备合规文档。
- 动态Apollo Research
Apollo Research 发布安全、科学传播与利益冲突规范
Apollo Research 公布其在安全、科学传播与利益冲突方面的内部规范。利益冲突政策要求不接受以研究结果为条件的报酬，也不接受被评估机构的杂项资助，并让有财务利益的个人回避相关评估。安全方面遵循最小权限原则，默认将新项目设为最高保密等级，采用差异化发布，信息安全策略对齐 ISO/IEC 27001、SOC 2，并正推进 ISO/IEC 27001/42001 与 SOC 2 Type II 认证。
- 动态WIRED Security and AI
Nathan Lambert 与 Tom Zick 创立 Trillium Labs，公开研究 RSI 与智能体等高风险 AI 领域
前 Ai2 与 Hugging Face 研究员 Nathan Lambert 和曾任哈佛的 Tom Zick 创立非营利机构 Trillium Labs，主张公开实验细节以便外部科学家复现，而非将前沿模型锁在实验室内部。该机构初期聚焦后训练与微调，并将研究递归自我改进（RSI）和强化学习如何塑造模型性格与行为（如谄媚）。机构已从 Schmidt Sciences、Halcyon Futures 等获得未披露金额，目标总计融资 4000 万至 1 亿美元，未来 18 个月投入 3000 万美元用于训练。
- 动态X @lilianweng
Thinking Machines 发布交互模型
过去几个月，我们经历了很多乐趣（和压力😅），产出了 12 个版本（以及许多子版本）和 137 页的训练运行日志。 事实证明，人与人之间的协作对于改善人机协作很重要。😊
- 动态X @lilianweng
Lilian Weng 宣布离开 Thinky
这是一个艰难而悲伤的决定。我把这条消息分享给了 Thinky 的同事们。感谢大家共度的时光♥️ 正如我消息中的最后一句话：值得构建的未来，是以人为核心的未来。
- 动态X @benjamin_hilton
AISI 招募 AI 安全研究人才
来 @AISecurityInst 和我一起工作！ AI 安全存在一个巨大缺口：我们对错位如何产生有很多好想法，但我认为，对于危险错位的 AI 实际会做什么，我们的模型很糟糕。很多叙事直接从“错位”跳到“神级 ASI 施展魔法”。 1/5