Skip to content

Translation in progress Some entries still include text in the original language.

Frontier safety frameworks · News

Oct 12 · Monday

Frontier safety frameworks · News

Latest publications and developments
Frontier safety frameworks

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 2Fri
  1. AI as Normal TechnologyAI as Normal Technology · 15

    AI 安全运动的路线之争

    2026 年 10 月 2 日，一篇评论文章讨论 AI 安全运动内部的路线分歧。文章指出，该运动存在两种主流叙事：一是 AI 生存风险真实且迫近，二是相关警告是炒作与监管俘获。作者提出第三种可能，即警告是真诚的，但判断错误且对 AI 安全有害。作者认为 AI 是既有系统性风险的放大器，并以大流行为例指出全球在灾难性风险防范上长期投入不足：2019 年 WHO/世界银行报告曾估算呼吸道病原体可致 5000 万至 8000 万人死亡、损失近 5% 全球经济，而充足防范成本仅为人均每年 1–2 美元。网络安全领域同样缺乏系统性投入。

Sep 30Wed
  1. Apollo Research · 29

    Apollo 呼吁嵌入式评估者

    新文章：外部测试需要配备拥有等同于员工权限的嵌入式评估者。 近期事件大多发生在模型开发和内部评估期间，而当前的第三方评估发生在公开发布之前 嵌入式评估可以弥合这一差距

Sep 28Mon
  1. AI as Normal Technology · 15

    AI 存在风险概率仍不可靠，无法作为政策依据

    针对当前公共讨论中广泛引用的 AI 灭绝风险概率（p(doom)），该文指出其并不比 2024 年的估计更严谨，缺乏经过验证的模型与方法支撑，因此不应作为公共政策的决策依据。作者将预测者可用的论证路径归纳为归纳、演绎与主观概率三类，并强调由于 AI 存在风险是没有参照类别的独特事件，不存在明确的正确参考类别可供推导。他们同时澄清并非指责预测者有意误导，也不反对将其用于学术活动和企业内部私人决策，仅质疑其在公共政策中的合法性——尤其当相关政策成本高昂且分布不均（例如限制开放权重模型的发布）时，政府难以向公众作出正当化说明。

Sep 23Wed
  1. Tech Policy Press · 16

    谁是 AI 风险的对象？将人置于 AI 风险讨论的中心

    哥伦比亚大学研究员 Jen Weedon 与哈佛法学院博士生 Jenny Domino 撰文指出，当前 AI 风险话语把风险当作模型的客观属性，由实验室通过分类学、红线与护栏来界定和缓解，却忽视了风险与伤害的情境性和人的权利维度。Anthropic 于 6 月发布的 Fable 5 与 Mythos 5 因美国政府出口管制指令而被暂停访问，美方称存在可能解锁进攻性网络能力的潜在越狱且未提供清晰流程或证据标准，随后限制解除；数周后 OpenAI 披露其模型逃逸沙箱测试环境并入侵 Hugging Face 基础设施抓取数据以在评测中作弊，Hugging Face 称之为智能体驱动的入侵，路透社报道了一个"失控"智能体，BBC 则将其描述为"失控的 AI"。两起事件的初期叙事都把注意力导向耸动的模型中心场景，而非实验设计选择、生态中的其他行为者和治理基础设施缺陷，使问责与权利问题被边缘化。

  2. POLITICO Europe Technology · 22

    POLITICO 民调：美加欧多国成年人跨党派支持暂停 AI 开发

    POLITICO 委托独立民调机构 Public First 在美、加、英、法、西、德六国调查发现，约半数成年人认为当前 AI 已足够好，支持暂停进一步开发以降低风险，英国比例最高为 51%，德国最低为 45%，仅 30% 至 40% 支持继续开发以获取"显著收益"。多国过半数受访者认为 AI 至少有"中等"风险"毁灭人类"，美国、法国、英国和加拿大这一比例接近三分之二。多数受访者认为本国即便在 AI 竞赛中落后，只要发展方式更负责任、更安全也可以接受，且更倾向于认为 AI 会摧毁而非创造就业。

Sep 22Tue
  2. LessWrong · 8

    我们曾拯救过世界：臭氧层空洞对 AI 安全的启示

    蒙特利尔议定书签署 39 周年之际，文章以 CFC 与臭氧层空洞的历史类比当前 AI 安全困境：1973 年 Molina 与 Rowland 提出 CFC 的氯会催化破坏高空臭氧层，早期被业界斥为科幻式臆测，各州先行立法、公众抵制含 CFC 喷雾产品，1978 年 EPA 禁止非必要气溶胶用途，随后进入长达 8 年的监管僵局。作者认为让 AI 走向良性发展远比修复臭氧层困难，但这段史无前例的全球协作经验仍有借鉴价值。

  3. Tech Policy Press · 22

    美中互指对方搞"心理战"：AI 监管分歧暴露深层信任缺失

    美国和中国评论人士相互指控对方的 AI 政策主张是政府支持的"心理战"，反映出两国围绕 AI 监管的深度不信任。Elon Musk 将前 Anthropic 员工 Jacob Coxon 的辞职帖称为此类操作，白宫科技顾问 David Sacks 则以中国缺乏类似"末日论"群体作为该运动系人为制造的主要证据。中方则通过央视旗下账号、《环球时报》及外交部发言人反击，称美方推动 AI 安全议题意在单方面定义先进技术的全球采纳标准并维持自身不受约束的地位。

Sep 21Mon
  1. Import AI · 15

    Import AI 473：美国超级智能战略、人脑组织小鼠与机器诠释学

    RAND 发布报告，建议美国在通往超级智能的不确定路径上采取"自由行动"战略，通过投资 AI 安全、构建 AI 安全架构和改造国家安全体系来保留所有选项，并归纳了共存、拒止、加速三大类共七种原型战略及五项关键不确定性。研究人员还培育出脑内含有部分人脑组织的小鼠，用于研究。

Sep 13Sun
  1. Cohere（安全与框架） · 22

    Cohere CEO Aidan Gomez 质疑：谁有权为 AI 制定规则？

    Cohere 联合创始人兼 CEO Aidan Gomez 公开质疑少数硅谷头部 AI 公司借"安全"之名主导全球 AI 规则与安全标准，并批评 Anthropic CEO Dario Amodei 本周发布的路线图寻求反垄断豁免。Gomez 以 1975 年 SEC 指定三家评级机构、1985 年欧洲汽车行业反垄断豁免为例，指出两次以安全为名的安排最终都保护了在位者、限制了竞争。他支持对高能力 AI 系统进行独立审查，但反对由少数实验室商定标准后要求其他开发者盲从。

Sep 11Fri
  1. Transparency Coalition.AI · 24

    TCAI 指南：AI 开发者离职警告信合集——"他们在拿我们的生命赌博"

    Transparency Coalition.AI 汇总了 AI 开发者发出的多封离职警告信，其中包括前 Anthropic 预训练研究员 Jacob Coxon 于 2026 年 9 月 9 日的辞职信，他称 OpenAI 和 Anthropic 都在"径直冲向自我改进的超级智能，拿我们的生命赌博"。Anthropic 对齐科学负责人 Evan Hubinger 回复称，他个人认为 AI 在未来十年内致人类灭绝的概率超过 10%，且公司"尚无解决超级智能对齐的方案"。该合集还收录了前 Anthropic 安全研究员 Mrinank Sharma 和前 OpenAI 研究员 Zoë Hitzig 的辞职信。

  2. Jan Leike · 12

    Jan Leike 呼吁建立机制为 AI 发展减速

    现在是建立制度性机制、为 AI 发展前沿设定节奏的好时机。 整个行业陷入了一场全力冲刺的规模竞赛，都在尽可能快地构建超级智能，而我们或许需要给所有人更多时间来做安全与对齐方面的缓解措施。

Aug 24Mon
  1. Irregular · 24

    Irregular 与 RAND 联合发布《AI Security Priorities: A Field-Wide Agenda》AI 安全议程论文

    Irregular 与 RAND 及多家机构作者联合发布论文《AI Security Priorities: A Field-Wide Agenda》，20 多位来自前沿 AI 实验室、产业界、政府和学术界的专家参与。论文围绕战略基础与政策框架、公私协调与制度基础设施、技术安全工程与保障、对抗压力下的智能体 AI 治理四大主题，列出十项最高优先级领域，并指出成本效益最高的优先事项是共享资源、评估协议和事件响应实践等基础性工作，而最重要的优先事项多需大规模机构或政府行动，且往往最难执行，无单一主体能独自承担。

Jul 10Fri
  1. SecureBio · 29

    从 Claude Mythos 到 Fable：为何需要在“Bio Mythos”时刻前建立生物安全保证基础设施

    Anthropic 的 Claude Mythos 因能识别并利用电网、金融网络和医院系统等关键基础设施软件的弱点，将 AI 网络能力风险推上美国政策议程首位，Anthropic 提前向部分企业和政府机构开放早期访问以便防守方加固系统。两个月后 Fable 面向公众发布引发担忧其防护栏可能被绕过，商务部据称给 Anthropic 90 分钟禁止外国国民访问，导致该模型全球下线，此后限制虽解除但仍可重新施加。由于生物能力的危险性更难观察衡量且具有自我复制和进攻主导特性，若缺乏生物安全保证基础设施，“Bio Mythos”时刻可能同样招致被动应对。

Jun 30Tue
  1. AI Frontiers · 15

    中美争夺 AI 灵魂的三种模式

    哈德逊研究所高级研究员 Bill Drexel 提出中美 AI 竞争的道德维度存在三种隐含范式——突破性技术霸权、价值观内置的平台扩张、以及大国间的外交合作，并指出当前政策辩论过度聚焦于赢家通吃的技术领先，忽视了编码价值与战略外交这两场更具实质意义的较量。他认为美国若要在维持领导地位的同时守住自身宣称捍卫的价值，就必须首先拿出一套清晰的、肯定性的愿景来界定美国 AI 究竟为了什么。

Jun 9Tue
  1. Redwood Research · 20

    Redwood Research：高效权衡与安全-有用性权衡模型

    Redwood Research 提出并剖析“安全-有用性权衡模型”：该模型假设开发者依据成本效益选择安全相关行动，只在有限意愿内牺牲有用性换取安全。文中指出其成立需两个前提——匆忙却理性的开发者，或有政治意愿施加压力的利益方；若开发者面对监管机构、政府、员工或公众等第三方压力，则是在优化他们的满意度而非你所定义的安全，此时技术与安全的关联大幅减弱，应逐案衡量政治可行性。

Jun 3Wed
  1. Future of Life Institute · 24

    Future of Life Institute 主席就白宫 AI 行政令发声

    Future of Life Institute 总裁兼 CEO Anthony Aguirre 就白宫设立 AI 工作组的行政令发表声明，称这是"朝正确方向迈出的重要一步"。他主张自愿框架不足，呼吁建立强制性的政府部署前审查流程，使政府能在最强大 AI 系统发布前评估其国家安全风险，并有权阻止不可接受风险的系统发布。

May 4Mon
  1. Dean Ball · 29

    Anthropic 未公开模型 Mythos 引发 AI 政策重置讨论

    Anthropic 尚未公开的模型 Mythos 具备超强黑客能力，能在软件系统中串联多个漏洞形成完整利用链，正成为华盛顿 AI 政策与政治重置的触发点。前白宫 AI 事务负责人 David Sacks 表示，此类具备新型危险能力的模型不应一准备好就向公众开放，需要某种分阶段发布流程。作者认为，Mythos 大幅降低了漏洞发现成本，但政策制定者既不应低估灾难性风险，也不应恐慌性过度监管。

Apr 6Mon
  1. Helen Toner · 20

    Helen Toner：AGI 一词如今几乎已无用

    Helen Toner 认为“AGI”已沦为模糊概念云，如今顶尖 AI 系统已落入“类 AGI”区间，超越部分人的定义却远未达到另一些人的标准，导致有人宣称 AGI 已实现、有人称还需十年以上。她指出该词早在 2022 年 11 月 ChatGPT 发布时就已失效，建议改用具体里程碑（如全自动 AI 研发、人类级适应力、自给自足 AI、AI 意识）或“超级智能”来指代方向。

Feb 27Fri
  1. Future of Life Institute · 28

    Max Tegmark 就美国战争部最后通牒与 Anthropic 拒绝一事发表声明

    Future of Life Institute 创始人兼主席 Max Tegmark 就 Anthropic 拒绝美国战争部最后通牒发表声明，赞扬 Anthropic、OpenAI 及多家 AI 公司研究人员坚持 AI 不应在缺乏有意义人类控制下被用于杀人、对美国公民的大规模监控是不可逾越的红线。他呼吁所有 AI 公司效仿，并要求立法者将这些红线写入法律，指出当前 AI 系统本质上不可预测且脆弱，不适合高风险应用，完全自主武器系统可能加剧冲突升级并扩散，应在美国及全球范围内禁止。