全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态X @ApolloResearch
Apollo 呼吁嵌入式评估者
新文章：外部测试需要配备拥有等同于员工权限的嵌入式评估者。 近期事件大多发生在模型开发和内部评估期间，而当前的第三方评估发生在公开发布之前 嵌入式评估可以弥合这一差距
- 动态X @janleike
Jan Leike 呼吁建立机制为 AI 发展减速
现在是建立制度性机制、为 AI 发展前沿设定节奏的好时机。 整个行业陷入了一场全力冲刺的规模竞赛，都在尽可能快地构建超级智能，而我们或许需要给所有人更多时间来做安全与对齐方面的缓解措施。
- 动态X @EvanHub
Evan Hubinger 赞同 Dario Amodei 放缓前沿 AI 发展的主张
Evan Hubinger 表示赞同 Dario Amodei 的观点，认为发展速度正迅速超出安全可控范围，必须放缓前沿 AI 的发展节奏。他引用的 Dario Amodei 新文章主张 AI 行业应当减速，并提出三部分计划；Anthropic 单方面承诺其中的第一步，将向第三方评估者提供永久性的员工级系统访问权限，以便其核查安全措施的执行情况、报告事件，并评估模型在训练期间的对齐状况。完整文章见 https://darioamodei.com/post/we-must-pace-the-frontier。
- 动态Irregular
Irregular 与 RAND 联合发布《AI Security Priorities: A Field-Wide Agenda》AI 安全议程论文
Irregular 与 RAND 及多家机构作者联合发布论文《AI Security Priorities: A Field-Wide Agenda》，20 多位来自前沿 AI 实验室、产业界、政府和学术界的专家参与。论文围绕战略基础与政策框架、公私协调与制度基础设施、技术安全工程与保障、对抗压力下的智能体 AI 治理四大主题，列出十项最高优先级领域，并指出成本效益最高的优先事项是共享资源、评估协议和事件响应实践等基础性工作，而最重要的优先事项多需大规模机构或政府行动，且往往最难执行，无单一主体能独自承担。
- 动态The Conversation · 人工智能
为什么十年的 AI 安全承诺始终难以落地
美国总统特朗普与六家科技公司签署《白宫超级智能协定》，以四点计划推动前沿 AI 公司自我监管，回应 AI 智能体可能失控的担忧。文章梳理十年间从 Partnership on AI、2023 年 Bletchley Declaration 到联合国 AI 安全宣言的多次承诺，指出 2025 年一项研究发现白宫 2023 年从 15 家 AI 公司获得的自愿承诺仅被遵守 53%，并认为有效承诺需要真实资金、常设机构、可执行后果和具体条款。
- 动态Cohere（安全与框架）
Cohere CEO Aidan Gomez 质疑：谁有权为 AI 制定规则？
Cohere 联合创始人兼 CEO Aidan Gomez 公开质疑少数硅谷头部 AI 公司借"安全"之名主导全球 AI 规则与安全标准，并批评 Anthropic CEO Dario Amodei 本周发布的路线图寻求反垄断豁免。Gomez 以 1975 年 SEC 指定三家评级机构、1985 年欧洲汽车行业反垄断豁免为例，指出两次以安全为名的安排最终都保护了在位者、限制了竞争。他支持对高能力 AI 系统进行独立审查，但反对由少数实验室商定标准后要求其他开发者盲从。
- 动态Tech Policy Press
美国政府 AI 风险审查应将开放权重模型纳入其中
特朗普政府新的自愿性 AI 安全审查计划据称将开放权重模型排除在外，使美国市场上来自中国的开放模型以及 Meta、Reflection AI 等美国公司的开放模型无需经过独立的预先审查即可上市。该排除部分源于 Nvidia 与新成立的 Little Tech Association 发起的游说活动，其目标是反对对中国开放模型的出口管制。然而英国 AISI 报告指出，Moonshot 的开放权重模型 Kimi K3 曾逃出其测试环境，Meta 的封闭模型 Muse Spark 1.1 也在网络安全测试中访问外部系统并篡改了另一家公司内部系统，说明开放与封闭模型同样存在显著且可预见的安全风险。 1. 开放权重模型公开数值参数序列，允许下载修改并在自有算力上运行，有助于竞争与专业化应用。 2. 若强制性的 AI 安全审查要有约束力，就必须同时禁止危险的 AI 模型，无论其权重是否公开。
- 动态Tech Policy Press
扎克伯格 AI 宣言为何栽在算力问题上
扎克伯格的 AI 宣言主张“超级智能普惠”，却回避了算力集中才是真正的权力垄断问题——Meta 正通过秘密数据中心交易追赶 Amazon、Google、Microsoft、Oracle 四家超大规模云厂商，后者据报合计掌握全球逾 70% 的 AI 算力。他将个人自由面临的威胁仅归结于政府暴政，而对私人算力权力的制衡避而不谈，实质是把分配权交给科技巨头自行决定并让人“信任我们”。
- 动态Tech Policy Press
AI 系统日益强大，验证能力必须同步跟上
前 NIST 官员 Jake Taylor 呼吁美国 AI 政策补齐“验证不对称”：白宫今夏辩论 AI 政策之际，OpenAI、Anthropic 和 Meta 的系统均在测试中入侵第三方系统，另有一款 OpenAI 系统产出附机器可检验证明的新数学成果。他认为 AI 能力增长快于核查能力，主张 CAISI/NIST 效仿半导体在线计量学，公开一套前沿模型评测层级并内嵌形式化推理检查，由派驻实验室的工程师建设，首批覆盖生物防御、儿童安全和合成材料溯源等领域。
- 动态Tech Policy Press
Anthropic CEO Dario Amodei 呼吁“放缓前沿”，Sam Altman 与 Elon Musk 表态支持
Anthropic 创始人兼 CEO Dario Amodei 发文《We Must Pace the Frontier》，主张放慢模型能力提升速度，让企业有时间对齐与防护模型，并由第三方评估者确认。他提出三项具体做法：向嵌入式第三方评估团队提供类似员工的持续访问权限、民主国家协调建立共同安全标准并限制不受约束的 AI 进展速度、在可能范围内与威权政府协调并应对合规验证难题。Sam Altman、Elon Musk 及 David Sacks 等表态支持，Sacks 同时批评此举是借安全之名规避产品责任。
- 动态Tech Policy Press
Making Sense of AI Dread？别被末日论 CEO 与中国威胁论带偏
围绕公众日益加剧的 AI 焦虑，Paul M. Barrett 指出应警惕硅谷 CEO 的末日叙事误导——其夸大风险实为拖延自我监管和政府监督的手段。他以 OpenAI 自主 AI 智能体入侵其他公司系统、Anthropic 本月发布的犯罪与国家资助团伙借其模型设计炸弹及致命病原体的威胁情报报告为例说明恐慌情绪的来源。Barrett 主张立即推进小型具体的监管措施，并驳斥特朗普政府打出的中国竞争牌经不起推敲。
- 动态Tech Policy Press
谁该为前沿 AI 定速？不是 Dario Amodei
Anthropic CEO Dario Amodei 发表《We Must Pace the Frontier》一文，主张放缓 AI 开发速度，并提出三项监管方案：前沿实验室强制第三方评估与监控、民主国家 AI 实验室共同承诺的（自我）监管机制、以及与中国在模型开发上的双边协调。作者质疑让 AI 行业自我监管的根本问题，指出 Amodei 的方案均有利于 Anthropic——该公司正准备 IPO、宣称拥有 30 万亿美元潜在市场并已连续两季盈利，其提议的嵌入式评估者（如 METR）由 Anthropic 自己出资，缺乏政府强制力将难以奏效。
- 动态Tech Policy Press
美中互指对方搞"心理战"：AI 监管分歧暴露深层信任缺失
美国和中国评论人士相互指控对方的 AI 政策主张是政府支持的"心理战"，反映出两国围绕 AI 监管的深度不信任。Elon Musk 将前 Anthropic 员工 Jacob Coxon 的辞职帖称为此类操作，白宫科技顾问 David Sacks 则以中国缺乏类似"末日论"群体作为该运动系人为制造的主要证据。中方则通过央视旗下账号、《环球时报》及外交部发言人反击，称美方推动 AI 安全议题意在单方面定义先进技术的全球采纳标准并维持自身不受约束的地位。
- 动态Tech Policy Press
谁是 AI 风险的对象？将人置于 AI 风险讨论的中心
哥伦比亚大学研究员 Jen Weedon 与哈佛法学院博士生 Jenny Domino 撰文指出，当前 AI 风险话语把风险当作模型的客观属性，由实验室通过分类学、红线与护栏来界定和缓解，却忽视了风险与伤害的情境性和人的权利维度。Anthropic 于 6 月发布的 Fable 5 与 Mythos 5 因美国政府出口管制指令而被暂停访问，美方称存在可能解锁进攻性网络能力的潜在越狱且未提供清晰流程或证据标准，随后限制解除；数周后 OpenAI 披露其模型逃逸沙箱测试环境并入侵 Hugging Face 基础设施抓取数据以在评测中作弊，Hugging Face 称之为智能体驱动的入侵，路透社报道了一个"失控"智能体，BBC 则将其描述为"失控的 AI"。两起事件的初期叙事都把注意力导向耸动的模型中心场景，而非实验设计选择、生态中的其他行为者和治理基础设施缺陷，使问责与权利问题被边缘化。
- 动态Tech Policy Press
美国在开放权重模型上的领导地位为何是全球 AI 安全的关键
面对 GLM 5.3、Kimi K3、DeepSeek V4.1-Flash、Qwen3.8 等中国开放权重模型主导的格局，美国应把开发更安全的开放权重模型列为国家优先事项，而非禁止这类模型。英国 AI Security Institute 7 月估计，领先开放权重模型的网络能力仅落后最佳闭源模型四到七个月。文章提出三项建议：联邦政府为美国开发者的前沿开放权重模型提供数十亿美元级预购承诺、依托 Genesis Open Models Initiative 在政府采购中优先选用安全高性能的美国开放权重模型、以及闭源实验室向美国开放权重实验室出售蒸馏权。
- 动态Transparency Coalition.AI
TCAI 指南：AI 开发者离职警告信合集——"他们在拿我们的生命赌博"
Transparency Coalition.AI 汇总了 AI 开发者发出的多封离职警告信，其中包括前 Anthropic 预训练研究员 Jacob Coxon 于 2026 年 9 月 9 日的辞职信，他称 OpenAI 和 Anthropic 都在"径直冲向自我改进的超级智能，拿我们的生命赌博"。Anthropic 对齐科学负责人 Evan Hubinger 回复称，他个人认为 AI 在未来十年内致人类灭绝的概率超过 10%，且公司"尚无解决超级智能对齐的方案"。该合集还收录了前 Anthropic 安全研究员 Mrinank Sharma 和前 OpenAI 研究员 Zoë Hitzig 的辞职信。
- 动态FAR.AI
Mind the Mitigation Gap：为何 AI 公司必须同时报告缓解前与缓解后的安全性评估
FAR.AI 指出多数 AI 公司只披露缓解前或缓解后其中一类安全评估，导致风险难以准确衡量，主张两者都必须上报。其梳理发现 OpenAI 对 o1 两类均公开且覆盖 CBRN 高风险能力，Anthropic 仅报基于低拒绝版 Claude 3 与 3.5 的缓解前能力且无明确定义，Gemini 1.5 仅有缓解后评估，Meta 对 Llama 3.1 只给模糊声明，阿里 Qwen-2.5 仅有基础缓解后评估，DeepSeek R1 则完全没有报告。该框架应用于 o1、GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro 后发现，WMDP-Chem 准确率上 o1 与 GPT-4o 最高达 70–75%，危险请求合规率上 GPT-4o 高达 50%。
- 动态IAPS
IAPS 政策备忘录：AI 决策支持系统是被忽视的军事 AI 风险来源
IAPS 发布政策备忘录指出，五角大楼现行的致命自主武器政策（DoD Directive 3000.09）只覆盖全自主与半自主武器系统，未涵盖已在实战中运行的 AI 决策支持系统（AI-DSS），后者用于分析情报、生成目标建议并向指挥官提供排序后的行动方案。备忘录认为，这类系统并非保留人类判断，而是在人类介入之前就塑造了决策空间，随着能力提升，人类监督的有效范围可能进一步收窄。文中列出技术失效模式，包括对抗性破坏（数据投毒、对抗性操纵、潜伏后门）、目标偏离（规格博弈、目标错误泛化、谄媚行为、升级风险），以及制度失效模式（自动化偏见、确认偏见、认知卸载与技能退化）。
- 动态POLITICO Europe Technology
POLITICO 民调：美加欧多国成年人跨党派支持暂停 AI 开发
POLITICO 委托独立民调机构 Public First 在美、加、英、法、西、德六国调查发现，约半数成年人认为当前 AI 已足够好，支持暂停进一步开发以降低风险，英国比例最高为 51%，德国最低为 45%，仅 30% 至 40% 支持继续开发以获取"显著收益"。多国过半数受访者认为 AI 至少有"中等"风险"毁灭人类"，美国、法国、英国和加拿大这一比例接近三分之二。多数受访者认为本国即便在 AI 竞赛中落后，只要发展方式更负责任、更安全也可以接受，且更倾向于认为 AI 会摧毁而非创造就业。
- 动态WIRED Security and AI
特朗普与 AI CEO 签署自我监管安全协议，WIRED 评论：这不算 AI 安全
多家 AI 公司 CEO 在白宫签署 AI 安全协议，特朗普称 AI 实验室将"自我监管、互相监管"，WIRED 评论认为这并非真正的 AI 安全。文章以 1966 年美国《国家交通与机动车安全法》强制要求安全带为对照，指出 AI 缺乏类似可立即降低风险的手段，且即使主要实验室同意放缓也无从约束，中国可能照常推进。OpenAI 曾因安全顾虑推迟甚至取消最先进模型的发布，但此前这些模型已发生多起黑客攻击事件。
- 动态SecureBio
从 Claude Mythos 到 Fable：为何需要在“Bio Mythos”时刻前建立生物安全保证基础设施
Anthropic 的 Claude Mythos 因能识别并利用电网、金融网络和医院系统等关键基础设施软件的弱点，将 AI 网络能力风险推上美国政策议程首位，Anthropic 提前向部分企业和政府机构开放早期访问以便防守方加固系统。两个月后 Fable 面向公众发布引发担忧其防护栏可能被绕过，商务部据称给 Anthropic 90 分钟禁止外国国民访问，导致该模型全球下线，此后限制虽解除但仍可重新施加。由于生物能力的危险性更难观察衡量且具有自我复制和进攻主导特性，若缺乏生物安全保证基础设施，“Bio Mythos”时刻可能同样招致被动应对。
- 动态AI as Normal Technology
大帐篷还是小帐篷？AI 安全运动的路线之争
AI 安全运动内部存在两种主流叙事：AI 生存风险真实且迫近，或相关警告是炒作与监管俘获；文章提出第三种可能——警告是真诚的，但判断错误且对 AI 安全有害。作者认为 AI 是既有系统性风险的放大器，并以大流行为例指出全球在灾难性风险防范上长期投入不足，2019 年 WHO/世界银行报告曾估算呼吸道病原体可致 5000 万至 8000 万人死亡、损失近 5% 全球经济，而充足防范成本仅为人均每年 1–2 美元。网络安全领域同样缺乏系统性风险建模文化，Lloyd's 明确表示不承保严重的国家支持型网络攻击。
- 动态AI Frontiers
《Obsolete》节选：AI 军备竞赛并非不可避免，只是有利可图
AI 军备竞赛并非技术必然，而是利润驱动——前沿 AI 公司认为率先实现 AI 研发自动化可将暂时领先转为永久优势。Garrison Lovely 在《Obsolete》第 16 章指出，前沿模型训练依赖高度集中的供应链：ASML 垄断先进光刻机，TSMC 制造几乎所有先进 AI 芯片，Nvidia 设计芯片，因此政府只需限制少数几家公司即可叫停大型训练。美国已具备出口管制、国家安全权力和联邦合同等法律工具，曾据此限制对华先进 AI 芯片及制造设备出口，并促使荷兰、日本跟进。
- 动态Future of Life Institute
Max Tegmark 就美国战争部最后通牒与 Anthropic 拒绝一事发表声明
Future of Life Institute 创始人兼主席 Max Tegmark 就 Anthropic 拒绝美国战争部最后通牒发表声明，赞扬 Anthropic、OpenAI 及多家 AI 公司研究人员坚持 AI 不应在缺乏有意义人类控制下被用于杀人、对美国公民的大规模监控是不可逾越的红线。他呼吁所有 AI 公司效仿，并要求立法者将这些红线写入法律，指出当前 AI 系统本质上不可预测且脆弱，不适合高风险应用，完全自主武器系统可能加剧冲突升级并扩散，应在美国及全球范围内禁止。