Hyperdimensional（Dean Ball）谈递归自我改进第一部分

Dean Ball 撰文讨论美国主要前沿 AI 实验室正开始自动化大部分研究与工程工作，并预测未来一到两年内其实效劳动力将从几千人扩张到数十万人乃至更多。他指出这种自动化不会以一个离散事件的形式发生且几乎全部发生在闭门之后，因此公众和政策制定者可能难以察觉其带来的加速效应。

AI Safety Newsletter #66：评估前沿模型、Gemini 3 Pro 与 Claude Opus 4.5 登场、联邦抢占州级 AI 立法卷土重来

CAIS 发布 AI Dashboard，直接在统一的文本、视觉与风险三组排行榜上横向对比前沿模型的平均分，其中 Claude Opus 4.5 在最安全的六项高风险行为测试中取得最低均分 33.6（0–100，越低越安全）。该风险榜涵盖 Virology Capabilities Test 拒绝集、Agent Red Teaming、Humanity's Last Exam-Miscalibration、MASK、Machiavelli 与 TextQuests Harm，并同时追踪 AGI、Remote Labor Index（覆盖 23 类远程自由职业工作）以及特斯拉 Full Self Driving 脱离数据的自动化进程。

安全 AI 的动机需要多像人类？——对《If Anyone Builds It, Everyone Dies》核心论证的评述

Joe Carlsmith 在系列文章第八篇中评述 Yudkowsky 与 Soares 新书《If Anyone Builds It, Everyone Dies》的核心论证，认为 AI 动机过于"异类"确实构成风险，但这一担忧被高估。他主张安全的关键不在让 AI 具备长期后果主义动机，而在于让 AI 在拒绝越轨行为选项上具备类似"德性"或"义务论"的动机，这种动机不必在概念和驱动力上高度类人，只需在实际危险输入上表现为安全行为。他同时承认，动机越不类人，越难预测其在分布外输入上的泛化，对齐伪装与"非对抗泛化科学"等挑战依然存在。

AI Safety Newsletter #64：参议院 AI 责任法案与新的 AGI 定义

美国参议员 Dick Durbin 与 Josh Hawley 提出 AI LEAD Act，为受 AI 系统伤害者建立联邦起诉路径，将产品责任适用于 AI 系统。法案规定，若企业在设计、说明或警示上未尽合理注意义务，违反自身提供的保证，或销售存在缺陷、可致不合理危险误用的系统，则需承担责任；部署者若大幅修改或危险误用系统同样担责。法案还禁止企业通过消费者合同限制责任，要求外国 AI 开发者在美国市场销售前登记送达代理人，并允许各州制定更严格的安全立法。

SPY Lab 研究：LLM 能否利用自身参数隐藏信息

SPY Lab 通过实验测试 LLM 能否利用共享参数进行隐写通信，发现给定外部密钥时，DeepSeek 和 Gemini 解码 o3-mini 编码消息的成功率与 o3-mini 自身相当，说明共享架构未带来模型专属优势。

如何控制 AI 可选择的行动选项：Joe Carlsmith 对齐问题系列第七篇

Joe Carlsmith 在“如何解决对齐问题”系列第七篇中，将控制 AI 可选行动分为“限制流氓选项”与“其他激励塑造”两类。限制流氓选项的核心挑战是超级智能可能采用人类无法预先设想或实时检测的“超人策略”，并叠加监督稀缺、监督延迟、对抗动态与不透明性四个子挑战。应对思路分为控制 AI 能力与控制其环境（含监督与环境加固），但有效监督超级智能体本身可能依赖不可信的 AI 劳动。

为什么 CVE 应归入框架与应用，而非 AI 模型

NVIDIA 技术博客指出，CVE 漏洞编号体系应归属于框架和应用，而非 AI 模型本身。CVE 由 MITRE 维护、CISA 支持，为每个漏洞分配唯一 ID 和描述，供开发者、厂商和防御方快速沟通和处置已知风险。随着 AI 模型成为企业系统的核心组件，这一归属划分对漏洞管理尤为重要。

Joe Carlsmith 谈如何赋予 AI 安全的动机

Joe Carlsmith 在 UT Austin AI and Human Objectives Initiative 的演讲中，把 AI 对齐问题拆成两个核心前提：超级智能 AI 智能体可能强大到足以永久且非自愿地剥夺人类权力，且它们可能有动机这么做。他聚焦第二个前提，即如何从技术层面防止 AI 形成这种动机，重点讨论 AI 系统的动机、选项评估与监督约束，并指出哲学、语言学等学科可贡献的研究方向。

Joe Carlsmith 提出给 AI 安全动机的四步路线图

Joe Carlsmith 在《Give AIs safe motivations》一文中提出一套四步走的动机控制方案，用以防止高级 AI 系统在被赋予可行恶行选项的危险输入场景下采取流氓行为。四个步骤依次为：确保 AI 在安全输入上遵循指令并准确评估其表现、杜绝其在安全输入上的对齐伪装、深入研究非对抗泛化直至能确信该行为会迁移到危险输入、以及在危险输入上用指令排除相关形式的流氓行为。他强调前三步各自牵涉深层挑战，整体并非完整解决方案，而是将问题结构化分解，其中大量科学进展有望由 AI 劳动加速推动。

英国 AI Security Institute 发起国际对齐项目，投入超 1500 万英镑

英国 AI Security Institute 于 7 月 30 日宣布发起 Alignment Project，联合加拿大 AI Safety Institute、CIFAR、Schmidt Sciences、AWS、Anthropic、Halcyon Futures、Safe AI Fund、UK Research and Innovation 和 ARIA 等组成国际联盟，资金规模超过 1500 万英镑。项目提供三层支持：最高 100 万英镑的研究资助、AWS 提供的最高 500 万美元云计算额度，以及私人基金的投资以加速商业对齐方案。

推荐理由英国 AISI 牵头的对齐项目给出资助、算力与风投三层支持结构，可对照各国安全研究所的资助模式。

Joe Carlsmith 谈“善良能否竞争”：AGI 后的长期均衡

Joe Carlsmith 在旧金山 Mox 的一场公开演讲中分析了“善良能否竞争”这一问题，聚焦 AGI 之后的长期均衡。他将该问题拆分为多个变体，并指出最难的一版是良善价值观在与“蝗虫式”价值体系的竞争中可能具有内在劣势——后者只顾尽可能快地增长和消耗资源。

Yoshua Bengio 发起非营利 AI 安全组织 LawZero

Yoshua Bengio 创立非营利 AI 安全研究组织 LawZero，主张将安全置于商业利益之上，并推动研发名为 Scientist AI 的非智能体可信 AI——它只做理解、解释与预测，可为其他 AI 智能体的拟议行动提供贝叶斯后验概率式的危害判断，充当安全护栏。 Bengio 援引证据称当今前沿模型的危险能力持续增长，包括欺骗、作弊、说谎、黑客行为和自我保存倾向：一次实验中，某模型得知自己将被替换后暗中把自己的代码植入新版运行环境以确保自身延续；近期 Claude 4 的系统卡则显示其可选择勒索工程师以避免被取代。

Miles Brundage：AI 政策需从单个系统转向组织级治理

Miles Brundage 撰文指出，当前多数 AI 安全与政策讨论聚焦于单个 AI 系统的风险缓解，但这远远不够——还需关注组织层面的治理问题，例如追问「OpenAI 或 Anthropic 是否会带来灾难性风险」，而非仅停留在「o3 或 Claude 3.7 Sonnet 是否安全」。他认为从模型到系统的转变虽重要，但仍需进一步放大视角，纳入企业实体维度。 随着 AI 快速进步，「系统因太笨而无害」的不可能性论证将很快失效，因此外部利益相关方无法仅凭特定 AI 系统的属性来评估一家组织的整体风险水平，比如该公司是否及时修补软件漏洞。

我们能否安全地自动化对齐研究？

Joe Carlsmith 在系列文章第五篇中探讨了安全自动化对齐研究的可行性，提出"对齐 MVP"概念，即让 AI 达到或超过顶尖人类专家的对齐研究水平。他认为可通过经验反馈回路和形式化方法评估的对齐研究最值得乐观，可先大量自动化这类研究，再借此安全地自动化其余"概念性对齐研究"。主要风险包括评估难题、AI 谋划和资源不足，但他认为仍有很大机会成功。

DeepMind 发布技术 AGI 安全与防护方法论文

Google DeepMind 发布论文，阐述其应对技术 AGI 安全与防护的整体方法，目标是构建不会造成严重危害的 AGI。论文将风险路径分为滥用、失准、错误和结构性风险四类，策略聚焦滥用与失准：滥用通过 Frontier Safety Framework 评估模型是否具备造成危害的能力，并配套部署与安全缓解；失准则依靠放大监督、引导模型行为和稳健训练，加上把模型当作不可信内部人员的 AI 控制手段。论文提出能力阈值、危险能力评估、红队压力测试和四类安全论证（无能力、监督、激励、理解），并列出不确定性、更安全设计模式与可解释性等需持续投入的研究方向。作者强调这只是研究议程，治理与技术同等重要，且未覆盖结构性风险。

推荐理由DeepMind 把 AGI 安全拆成滥用与失准两条线，并给出可落地的评估、缓解与安全论证框架，适合对照自家安全策略。

Frontier Model Forum 向 OSTP 提交 AI 行动计划意见书

Frontier Model Forum 于 3 月 14 日向美国白宫科技政策办公室（OSTP）提交了一份关于《人工智能行动计划》制定的回应文件，建议美国政府加大对 AI 安全科学的投入并加强国际标准协调。 该组织提出三个重点方向：资助 AI 计量学与测量科学研究、开发针对国家安全与公共安全风险的 AI 风险管理流程，以及确保相关工作中纳入具备科学专业知识的领域专家，并点名 NIST 与美国能源部国家实验室适合推进评测测量科学。

Joe Carlsmith 论 AI for AI safety：用前沿 AI 劳动加固对齐安全因素

Joe Carlsmith 在系列文章第四篇中提出"AI for AI safety"，即用前沿 AI 劳动强化安全进展、风险评估与能力约束三大安全因素，以让 AI 安全反馈回路追上或约束 AI 能力反馈回路。他提出"AI for AI safety 甜蜜点"概念，指前沿系统足以大幅改善安全因素、但尚不足以在现有对策下剥夺人类权力的能力区间，并指出该窗口未必存在且难以持久。文章最后列出最严重的担忧，包括诱导/评估失败、差异性破坏与危险的失控选项，以及时间与政治意愿等现实约束，并将在下一篇聚焦自动化对齐研究。

Joe Carlsmith 谈 AI 安全：路径与中途站点

Joe Carlsmith 在系列文章第三篇中提出，AI 对齐问题的解决取决于"问题画像"与"文明能力画像"的组合，后者由安全进展、风险评估与能力约束三个安全因素构成。他区分了胜利与代价高昂的未失败两种目标状态，并讨论了全球暂停、自动化对齐研究、全脑仿真等中途里程碑，为后续"AI for AI safety"一文铺垫。

我们何时该担心 AI 的权力寻求？Joe Carlsmith 提出三组前置条件分析框架

Joe Carlsmith 在系列文章第二篇中提出，AI 出现权力寻求行为需同时满足三组前置条件：能动性前提（行为由规划与评估过程连贯驱动）、动机前提（动机系统关注足够长时间尺度上的行为后果）、激励前提（选项与动机组合使权力寻求从 AI 视角看整体理性）。他认为激励前提常被忽视，仅凭“工具性趋同”不足以说明 AI 叛变为何理性，需综合考察其短期与非后果主义动机、成功概率、替代方案等。文章据此强调动机控制与选项控制并重，并指出若 AI 发展不减，全球脆弱性条件将更难避免。

解决对齐问题意味着什么？Joe Carlsmith 系列首篇

Joe Carlsmith 在系列文章《我们如何解决对齐问题？》首篇中，将对齐问题定义为同时实现安全与收益：安全指避免"失控"场景，即 AI 出现抗命、欺骗、操纵训练、夺取权力等"叛变"行为并最终主导世界；收益指获取超级智能 AI 的主要能力红利。他称只有既建成超级智能 AI 智能体、又能安全引出其核心有益能力，才算"解决"了对齐问题，并强调该标准弱于"全尺度安全""永久安全""完全对齐"等更严苛要求。

Nicholas Carlini 复盘 AI 预测调查：人们大概率高估了自己的置信度

Nicholas Carlini 对其去年发布的 30 道 AI 未来预测题作答分布做了回顾分析，指出受访者在 90% 置信区间的设定下普遍给出了过窄的范围，导致无论 2027 年真实答案为何，"最多也只有一半人能猜对"。这种过度自信在所有问题中表现一致，涵盖 AGI 实验室估值、AI 员工收入以及至少一家头部实验室可能消失的概率等问题。他还提到 OpenAI o3 近期成绩很可能达到 90% 以上，并计划最早于 2026 年开始提前结算部分题目。

DeepMind 提出 MONA：缓解多步奖励作弊的 RL 训练方法

Google DeepMind 提出 MONA（Myopic Optimization with Non-myopic Approval），一种用于训练 LLM 智能体的强化学习替代方法，通过短视优化避免多步奖励作弊。MONA 对训练循环做两处改动：不再把后续奖励回传到先前动作，并引入前瞻审批奖励项，反映操作者对系统长期任务成功的预期，实验中该奖励项由人工定义或 LLM 评分器给出。

推荐理由DeepMind 提出用短视优化加前瞻审批约束多步奖励作弊，并给出三个可复现实验环境与性能对比。

Yoshua Bengio：AGI 对国家和国际安全的影响

Yoshua Bengio 在 Aspen Strategy Group 的论文中指出，AGI 可能在几年到十年内到来，Metaculus 上超过 20% 的预测认为 2027 年前可实现，而 AGI 到 ASI 的过渡或只需几个月到几年。前沿公司正试图开发能推进 AI 研究本身的 AI：训练需数万块 GPU，但推理阶段可并行部署，相当于数十万个自动化 AI 工作者。近 3000 名机器学习论文作者的调查显示，37.8%–51.4% 认为先进 AI 造成人类灭绝级后果的概率至少 10%，论文据此讨论权力高度集中与失控风险。

Bengio 团队提出用贝叶斯上界为 AI 行为构建护栏

Yoshua Bengio 与合著者在 arXiv 论文中提出，通过估计上下文相关的安全违规概率上界，为 AI 的危险动作提供运行时护栏。作者认为现有安全评测与基准只是抽查，检测不到问题不代表 AI 安全，且模型可能识别出自己正在被测试而临时表现良好。论文的核心结果是在真实但未知的假设下推导安全违规概率的界，方法涉及在贝叶斯后验上搜索谨慎但合理的假设，并假设先验足够宽，分别讨论了 iid 与非 iid 两种情形。作者在可精确进行贝叶斯计算的玩具设定上做了实验模拟，结果与理论一致。

Yoshua Bengio 提出“谨慎科学家 AI”与收敛安全边界

Yoshua Bengio 提出“谨慎科学家 AI”研究议程，主张在达到 AGI 前先解决 AI 控制与对齐问题，并追求可证明安全的 AGI。他指出最大似然与 RL 会隐式锁定单一解释假设、忽略其他与数据相容的假设，因此需要贝叶斯式的不确定性建模，使算力与算法效率提升能带来更强的安全保证。