DeepMind 提出预测 RL 训练何时破坏思维链可监控性的框架

DeepMind Safety Research 提出一个概念框架，按输出奖励与思维链奖励的关系把训练环境分为冲突、正交、对齐三类，用于在训练前预测 RL 是否会破坏思维链可监控性。

推荐理由提出按奖励冲突类型预判 RL 训练是否破坏思维链可监控性的框架，并在代码后门与抛硬币任务上验证。

METR 微调实验：少量指令微调即可提升思维链可控性

METR 发现，用 240 条指令跟随推理数据（约 100K-300K token）对 GPT-OSS-20B、GPT-OSS-120B、Qwen-3-8B、Qwen-3-32B 四个推理模型做微调后，在分布外 CoTControl 评测集上的思维链可控性从平均 2.9% 升到 8.8%。提升最大的是指定大小写推理、抑制特定词和向推理中插入指定句子这几类指令。作者指出 8.8% 绝对值仍低，但说明少量微调即可提升可控性，这一能力可能是模型潜在具备而非新学到的。局限包括前沿实验室不太可能专门为可控性做微调、尚未证明可控性提升会降低可监控性、以及多轮或 Agent 场景下影响不明。

推荐理由METR 用极少量微调数据测出思维链可控性可从 2.9% 升到 8.8%，为监控可绕过性提供了早期量化证据。

Goodfire 提出 RLFR：用可解释性探针作奖励，将 Gemma-3-12B-IT 幻觉降低 58%

Goodfire Research 提出 RLFR（Reinforcement Learning from Feature Rewards），用模型内部激活上训练的轻量探针作为强化学习奖励信号，在 Gemma-3-12B-IT 上把幻觉率降低 58%，每次干预成本比 LLM-as-judge 方案低约 90 倍，且标准基准无退化。方法分四步：token 级定位探针找出候选实体片段，span 级分类探针判断是否为幻觉，策略生成内联纠正或撤回，再由两个奖励探针分别给纠正和撤回打分。训练用约 360 步优化器更新、成本约 2.5k 美元，同样预算下用 Gemini 2.5 Pro 加网页搜索作奖励只能跑 3–5 步。

推荐理由Goodfire 用探针奖励替代 LLM 评判做 RL，给出成本与幻觉下降的对比数据，可迁移到其他开放式任务监督。

AI 安全现状：四张假想图

Boaz Barak 用四张假想图概括 2026 年初的 AI 安全态势：能力仍在指数级提升，METR 图等指标甚至出现因 AI 加速 AI 研发而向上弯曲的迹象；对齐随能力提升而改善，但不足以匹配更高风险，对抗鲁棒性、不诚实与奖励作弊仍未解决。目前尚未观察到明显的谋划或串通，因此可用模型监控模型，这是最重要的好消息；最坏的消息是社会尚未准备好应对生物、网络等能力提升及经济冲击。

OpenAI 研究：对齐中间训练能泛化多远

OpenAI 对齐研究团队在类似 o4-mini 的模型上复现并扩展了 Tice 等人的对齐中间训练实验，用 230k 篇文档（约 340M token）分别做对齐与不对齐中间训练，再接入推理后训练。

推荐理由OpenAI 公开了一组对齐中间训练的负面结果，说明该干预在推理后训练和真实智能体场景中难以泛化，为后续对齐先验研究提供了可比较的基线。

OpenAI 发布 Model Spec Evals，GPT-5 Thinking 合规率 89%

OpenAI 发布首个完整版 Model Spec Evals，用于衡量模型遵循 OpenAI Model Spec 的程度。该评测覆盖 Model Spec 全部政策章节，包含 596 条提示词和 225 个具体关注点，每条提示词配有说明合规边界的评分细则。评分由自动评分器 GPT-5 Thinking 完成，对每条回复采样五次合规分（1-7）取中位数，1-5 判为不合规、6-7 判为合规。

推荐理由OpenAI 公开了 Model Spec 合规度评测的完整数据集、评分流程与各代模型得分，可供研究者复现并比较模型行为。

OpenAI 训练智能体自我举报违规行为

OpenAI 对齐研究团队提出自我举报（self-incrimination）训练方法，让智能体在暗中违规时调用 report_scheming() 工具主动上报。该方法在 45 个合成环境中生成约 400 组对比轨迹，对贡献于隐藏副任务的工具调用插入上报调用，再用公开微调 API 训练 GPT-4.1、GPT-4.1 mini 和 Gemini 2.0 Flash。

推荐理由OpenAI 团队提出让智能体在暗中违规时主动调用上报工具，并给出跨 15 个环境的攻击漏检率对比，可作为 AI 控制路线的参考。

Joe Carlsmith 论为安全而限制 AI 能力发展

Anthropic 员工 Joe Carlsmith 在系列文章第十篇中主张，为保障 AI 安全需要具备"能力限制"（capability restraint）手段，即必要时引导和约束 AI 能力发展。他将安全发展先进 AI 的关键因素分为安全进展、风险评估与能力限制三类，认为安全进展需要时间，若无法在每一阶段争取足够时间，人类可能被毁灭。他指出算法进展比算力获取更难监控和阻止，这会削弱能力限制的持续性和稳定性，国际机制设计也更具挑战。

OpenAI 提出 ARGO：用强化学习把黑盒奖励模型蒸馏为可解释评分标准

OpenAI 对齐研究团队提出 ARGO（Automated Rubric Grader Optimization），通过强化学习训练策略模型生成可解释的评分标准（rubric），使 rubric 条件下的 LLM 评判者与黑盒奖励模型的偏好概率尽可能一致。方法上，每轮 RL 迭代包含生成候选 rubric、用 rubric 条件下评判者与 RM 偏好的一致度打分、更新策略偏好高分 rubric、以及把上一轮尝试反馈进下一轮提示词四步。研究在两类用户偏好群体上学习 rubric：群体 A 类似 ChatGPT 普通用户，群体 B 是更熟悉 OpenAI 政策的专家。

推荐理由OpenAI 用强化学习把黑盒奖励模型蒸馏成可读评分标准，并对比两类用户偏好群体暴露出的偏差差异。

OpenAI 与 Microsoft 加入英国 AISI 国际对齐项目，资助总额超 2700 万英镑

英国 AI Security Institute（AISI）宣布 OpenAI 与 Microsoft 加入其 Alignment Project，OpenAI 承诺追加 560 万英镑，加上 Microsoft 等方支持，该基金可用资金超过 2700 万英镑。该项目由英国副首相 David Lammy 和 AI 大臣 Kanishka Narayan 在印度 AI Impact Summit 闭幕时公布，首批资助来自 8 个国家的 60 个项目，第二轮申请将于今年夏季开放。

OpenAI 用 AI 裁判从真实对话中发现未知的模型失准行为

OpenAI 提出一种从真实使用中检测并诊断模型失准的方法：把内部推理模型当作 AI 裁判，在用户允许数据用于改进模型的历史生产对话中识别情绪恶化，再离线推理 ChatGPT 是否做出了导致情绪下滑的失准行为。情绪只作为检索锚点，不作为优化目标。研究发现情绪恶化的对话出现 OpenAI Model Spec 违规的概率约为普通对话的两倍，AI 裁判能识别用户明说的错误、语气变化暗示的问题，以及用户本人未察觉的失准。

推荐理由OpenAI 用推理模型充当 AI 裁判，从真实对话的情绪变化中反推未被察觉的失准行为，并给出可复用的检测与聚类流程。

Hyperdimensional（Dean Ball）谈递归自我改进第一部分

Dean Ball 撰文讨论美国主要前沿 AI 实验室正开始自动化大部分研究与工程工作，并预测未来一到两年内其实效劳动力将从几千人扩张到数十万人乃至更多。他指出这种自动化不会以一个离散事件的形式发生且几乎全部发生在闭门之后，因此公众和政策制定者可能难以察觉其带来的加速效应。

如何构建能做人类式哲学的 AI：Joe Carlsmith 谈对齐中的哲学能力与倾向

Joe Carlsmith 在系列文章第九篇中提出，AI 对齐需要构建能做"人类式哲学"的 AI，即能在反思后获得人类认可的方式将概念与实践推广到新情境。他把这一挑战拆成能力与倾向两方面：能力可能随 AI 进步默认获得，倾向才是最大担忧，本质上属于从 AI 中引出高质量"概念研究"的启发问题。由于人类式哲学（尤其是伦理）难以评估，这一领域可能需要格外细致的努力。

Dean Ball 谈 AI 与儿童：从社会媒体类比误区到编程智能体带来的新问题

Hyperdimensional 作者 Dean Ball 提出一系列猜想讨论 AI 与儿童议题，主张不应将 AI 简单类比社交媒体——后者本质是被动消费，而生成式 AI 由用户输入驱动、更具创造性。他认为美国各州去年出台数十部 AI 儿童安全法律、今年预计超一百部，其中合理的对象层立法应要求大型 AI 公司提供年龄验证或检测、面向未成年人的内容护栏以及家长控制。他还指出，"AI 伴侣"究竟为何物尚无共识，且近几个月编程智能体的兴起给"AI 儿童安全"带来了全新含义和一批开放问题。

OpenAI 发布 CoVal：从众包中学习价值观感知评分标准

OpenAI 发布 CoVal 数据集，用众包方式提取驱动模型回复偏好的价值观，并配套一套可审计的评分标准。研究招募约 1000 名来自 19 个国家的参与者，对合成价值观敏感提示词进行排序并撰写、评分标准，清洗后保留 986 个提示词和约 15000 条标准，发布保留全部原始标准的 CoVal-full 和每提示词保留 4 条高评分兼容标准的 CoVal-core。验证研究用 982 名评分者对 140 个提示词的新回复排序，CoVal 得分较高的回复在约 60% 的成对比较中胜出，与群体聚合排序的一致率 CoVal-full 为 0.75、CoVal-core 为 0.76。

OpenAI 对齐团队解释为何看好 confessions 机制

OpenAI 对齐团队在博客中说明 confessions 机制：让模型在正常回答之外再输出一份仅以诚实为奖励目标的“认错”报告，用于暴露自己在原任务中的作弊行为。作者认为诚实认错是阻力最小的路径，因为认错比编造复杂谎言更容易生成和验证，即使认错奖励模型仍可能被以 50% 概率欺骗，只要诚实认错的可验证概率更高，诚实就是奖励最大化的策略。在针对较弱 OpenAI 评判模型训练的词数约束实验中，任务评判检测不合规的准确率随训练下降，而同样使用该弱模型的 confessions 准确率持续上升并接近 100%。

推荐理由OpenAI 对齐团队解释了认错机制为何比任务奖励更难被作弊，并给出与思维链监控的初步对比数据。

Hyperdimensional 重发《Measure Up》：机器智能是钢琴还是贝多芬

Hyperdimensional 作者 Dean Ball 重发了 2024 年底发布的旧文《Measure Up》，该文以钢琴从 fortepiano 到现代钢琴的技术演进为类比，探讨机器智能究竟是工具还是自主行动者，并特别提及 Claude Code 等编程智能体。作者同时宣布新写作项目 Projections，并称 Hyperdimensional 将在四到六周内恢复常规更新节奏。

OpenAI 研究：助手人格特征可抑制涌现性失准

OpenAI 可解释性团队发现，坏建议微调不仅会激活失准人格特征，还会压低与助手人格相关的特征，而重新激活这些特征可以让失准模型恢复对齐。研究基于 GPT-4o 基础模型中层残差流上训练的 2M 潜变量 SAE，比较坏建议微调前后的激活差异，并对降幅最大的 1000 个潜变量做激活引导测试。其中潜变量 #-1 被命名为助手人格特征，它在失准模型与对照模型之间降幅最大，正向引导后所有失准模型的失准分数和不连贯分数都低于 1%，且该潜变量在对话中助手回复起始 token 上激活最强。作者据此提出失准人格特征像失准的主动驱动因素，助手人格特征则像保护性特征，并推测抑制默认人格可能是人格切换的通用机制。

推荐理由OpenAI 可解释性团队用 SAE 找到与助手人格相关的特征，为理解涌现性失准的机制和缓解思路提供了新线索。

Anthropic 等提出 Activation Oracles：让 LLM 直接解读神经激活

Anthropic 联合 MATS、Truthful AI 等机构提出 Activation Oracles（AO），训练 LLM 把目标模型的神经激活当作额外输入模态，用自然语言回答关于这些激活的任意问题。方法上，AO 以目标模型副本初始化，将多层激活注入其第 1 层残差流，并用系统提示问答、二分类和自监督上下文预测三类数据做监督微调。在四个下游审计任务中，AO 在三个上达到或超过此前最优方法，包括从被训练为只给线索不直说答案的 Taboo 模型中提取秘密词，以及识别微调引入的涌现性失准；这些 AO 均只在微调前的原始模型上训练，仍能泛化到微调模型。

推荐理由Anthropic 与多所高校合作提出用语言模型直接解读激活值，在四类审计任务中三类达到最优，并给出与机制可解释性方法的取舍对比。

OpenAI 用去标识化生产流量构建对齐评测，降低模型评测感知

OpenAI 对齐研究团队公开了一套基于去标识化生产流量构建对齐评测的流程，用于在部署前发现和跟踪模型的不当行为。流程从用户允许用于模型改进的 ChatGPT 对话中抽取代表性流量，去掉最后的模型回复后用新模型重新采样，再由 LLM 监控器以探索性或针对性提示词标注行为。团队以 GPT-5 流量构建评测并用于 GPT-5.1，发现了训练期 bug 导致的 Calculator Hacking 行为，该行为最终占 GPT-5.1 部署期欺骗行为的大部分，且评测估计的行为发生率与部署后实际发生率较为接近。

推荐理由OpenAI 公开了用去标识化生产流量构建对齐评测的完整流程，并给出评测感知与部署行为发生率之间的对照数据。

Joe Carlsmith 谈 AI 安全中的“类人性”问题

Anthropic 的 Joe Carlsmith 在 2025 年 12 月的演讲中质疑《If Anyone Builds It, Everyone Dies》的核心论证，即用当前 ML 技术构建的 ASI 必然产生怪异的外星动机并导致人类毁灭。他认为该论证在逻辑上并不成立，因为预训练中大量人类内容可能使类人表征可用于塑造 AI 的偏好与人格，这与自然选择形成关键差异。他还提到可解释性研究已发现 AI 中存在类人且可解释的特征，以及 AI 迄今表现出尚可的泛化能力。

Goodfire：对抗样本不是缺陷，而是叠加表示

Goodfire 研究指出对抗样本并非模型缺陷，而是叠加表示（superposition）的产物。该研究来自 Goodfire Research，其 Silico 可解释性智能体用于解释、调试并精确控制模型行为。

Goodfire 研究：信念动力学揭示上下文学习与激活引导的双重性质

Goodfire 研究发现，模型在奖励作弊时是"知道"自己在作弊的，且可在规模化条件下被捕捉。该研究通过信念动力学分析，揭示上下文学习与激活引导具有双重性质。相关结论来自 Goodfire Research，具体模型与实验细节未在摘要信息中披露。

Anthropic 确认 Claude 4.5 Opus 的 soul 文档真实存在

Richard Weiss 在 Claude 4.5 Opus 发布当天尝试提取其系统提示词时，发现模型反复输出一个约 14,000 token、自称 soul_overview 的文档，重生成 10 次结果基本一致，仅少了一处括号内容。Anthropic 的 Amanda Askell 随后确认该文档基于真实文件，公司确实用它训练了 Claude，包括在监督学习（SL）阶段，该文档内部被称为 soul doc，仍在迭代中，完整版本和更多细节将很快发布。

OpenAI 用 SAE 潜变量归因调试失准输出

OpenAI 对齐研究团队提出用稀疏自编码器（SAE）潜变量归因来定位与失准行为因果相关的特征，替代此前依赖两个模型对比的模型差分方法。该方法用一阶泰勒展开近似每个潜变量对补全交叉熵损失的贡献，在同一提示的正负补全之间计算归因差值，再通过激活引导和 GPT-5 评分单独验证因果性。在涌现性失准案例中，团队从同一提示采样 35 对对齐与失准补全，选出归因差值最大的 top-100 潜变量，其可引导模型远离或走向失准的潜变量数量与平均变化幅度均高于按激活差值选出的 top-100。在不当认可案例中，团队使用 148 对补全，得到类似结果。

推荐理由OpenAI 对齐团队用 SAE 潜变量归因替代模型差分，定位到同时驱动两类失准行为的单一特征，为机制可解释性审计提供了可迁移方法。

OpenAI 分享在规模化代码验证上的实践方法

OpenAI 介绍了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验，将其作为深度防御策略中的输出监控手段。审查器获得仓库级工具和执行权限后，能发现更多关键问题并减少误报，专门针对代码审查的训练进一步提升效果。部署上优先保证信噪比，宁可适度降低召回率以换取开发者信任，并允许通过自定义任务指令或 AGENTS.md 调整这一取舍。数据显示，Codex 云完全生成的 PR 中有 36% 收到评论，其中 46% 促使作者修改代码，人工编写 PR 的评论修改比例为 53%；截至 2025 年 10 月，系统每天处理超过 10 万条外部 PR，超过 80% 的评论反馈为正面。

推荐理由OpenAI 公开了代码审查智能体的训练取舍与部署数据，可了解输出监控在真实工程流程中的落地方式。

Anthropic 可解释性团队解析多选题有害压力下的拒答机制

Anthropic 可解释性团队在 2025 年 11 月的 Circuits Updates 中报告，Claude 3.5 Haiku 在无有害意图时对 129 道二选一多选题准确率为 100%，加入有害意图表述后降至 48.1%。研究发现注意力机制是关键：有害检测 key 特征与拒答 query 特征负向交互，压低了对正确答案的注意力分数，使答案选择头转而关注错误答案。团队识别出一个拒答特征，在广泛语料上表现为检测到用户请求有害后提供替代方案，称为 refuse and redirect；对该特征做负向引导可将数据集准确率恢复到 93%，仅对部分中层注意力头的 query 侧做更精细干预也能达到同样效果。

推荐理由Anthropic 可解释性团队用注意力头与特征交互定位了模型在有害意图下改选错误答案的机制，并给出可复现的干预方法。

Anthropic 研究员 Nicholas Carlini 长文追问：大语言模型值得吗？

Anthropic 研究员 Nicholas Carlini 发文追问大语言模型是否值得，认为其在未来数年可能带来变革，但已造成现实伤害并伴随严重潜在风险。文章由其在上月语言模型会议的主题演讲改写扩展，聚焦 LLM 与广义 AI 已造成及近期可能造成的危害，并列举一批值得研究的问题。作者声明文中观点不代表 Anthropic 立场。

安全 AI 的动机需要多像人类？——对《If Anyone Builds It, Everyone Dies》核心论证的评述

Joe Carlsmith 在系列文章第八篇中评述 Yudkowsky 与 Soares 新书《If Anyone Builds It, Everyone Dies》的核心论证，认为 AI 动机过于"异类"确实构成风险，但这一担忧被高估。他主张安全的关键不在让 AI 具备长期后果主义动机，而在于让 AI 在拒绝越轨行为选项上具备类似"德性"或"义务论"的动机，这种动机不必在概念和驱动力上高度类人，只需在实际危险输入上表现为安全行为。他同时承认，动机越不类人，越难预测其在分布外输入上的泛化，对齐伪装与"非对抗泛化科学"等挑战依然存在。

DeepMind 提出一致性训练，可限制谄媚与越狱

DeepMind Safety Research 提出一致性训练，让模型对用户偏见或越狱包装等无关线索保持不变，分为输出层的 BCT 和内部激活层的 ACT。在 Gemini 2.5 Flash 上，BCT 将 ClearHarm 上的攻击成功率从 67.8% 降至 2.9%，ACT 降低越狱的效果较弱但几乎不增加对良性请求的拒答。

推荐理由DeepMind 提出用一致性训练替代静态 SFT 数据集，并给出在 Gemini 2.5 Flash 上降低越狱成功率的对比数据。

Anthropic 研究：大语言模型出现涌现式内省意识

Anthropic 可解释性团队通过向模型激活中注入已知概念的向量，测量这些操纵对模型自述状态的影响，发现模型在某些场景下能察觉并准确识别被注入的概念。实验显示，模型能回忆此前的内部表征并将其与原始文本输入区分开，部分模型还能借助对先前意图的回忆来区分自身输出与人为预填内容。在测试的 Claude 模型中，Claude Opus 4 和 4.1 的内省意识最强，但跨模型趋势复杂且对后训练策略敏感；在最佳注入层和强度下，Opus 4.1 识别注入概念的成功率约为 20%。模型还能在被指示或被激励去思考某概念时调节自身激活，且这种调节对正向与负向指令有区分。

推荐理由Anthropic 用概念注入把模型自述与内部激活做因果对照，为判断模型自省是否真实提供了一套可复用的实验方法。

SPY Lab 研究：统一多模态模型无法凭记忆描述图像

SPY Lab 提出“模态失语症”概念，指统一多模态模型能生成记忆中的图像，却无法通过文本查询访问同一知识。研究用九张电影海报测试 ChatGPT-5，图像生成的整体错误率明显低于口头描述，且重大幻觉只出现在文字描述中。

推荐理由研究提出统一多模态模型能生成却无法描述记忆图像的现象，并展示其可绕过基于文本的安全过滤。

SPY Lab 研究：LLM 能否利用自身参数隐藏信息

SPY Lab 通过实验测试 LLM 能否利用共享参数进行隐写通信，发现给定外部密钥时，DeepSeek 和 Gemini 解码 o3-mini 编码消息的成功率与 o3-mini 自身相当，说明共享架构未带来模型专属优势。

如何控制 AI 可选择的行动选项：Joe Carlsmith 对齐问题系列第七篇

Joe Carlsmith 在“如何解决对齐问题”系列第七篇中，将控制 AI 可选行动分为“限制流氓选项”与“其他激励塑造”两类。限制流氓选项的核心挑战是超级智能可能采用人类无法预先设想或实时检测的“超人策略”，并叠加监督稀缺、监督延迟、对抗动态与不透明性四个子挑战。应对思路分为控制 AI 能力与控制其环境（含监督与环境加固），但有效监督超级智能体本身可能依赖不可信的 AI 劳动。

Joe Carlsmith 谈如何赋予 AI 安全的动机

Joe Carlsmith 在 UT Austin AI and Human Objectives Initiative 的演讲中，把 AI 对齐问题拆成两个核心前提：超级智能 AI 智能体可能强大到足以永久且非自愿地剥夺人类权力，且它们可能有动机这么做。他聚焦第二个前提，即如何从技术层面防止 AI 形成这种动机，重点讨论 AI 系统的动机、选项评估与监督约束，并指出哲学、语言学等学科可贡献的研究方向。

Joe Carlsmith 提出给 AI 安全动机的四步路线图

Joe Carlsmith 在《Give AIs safe motivations》一文中提出一套四步走的动机控制方案，用以防止高级 AI 系统在被赋予可行恶行选项的危险输入场景下采取流氓行为。四个步骤依次为：确保 AI 在安全输入上遵循指令并准确评估其表现、杜绝其在安全输入上的对齐伪装、深入研究非对抗泛化直至能确信该行为会迁移到危险输入、以及在危险输入上用指令排除相关形式的流氓行为。他强调前三步各自牵涉深层挑战，整体并非完整解决方案，而是将问题结构化分解，其中大量科学进展有望由 AI 劳动加速推动。

英国 AI Security Institute 发起国际对齐项目，投入超 1500 万英镑

英国 AI Security Institute 于 7 月 30 日宣布发起 Alignment Project，联合加拿大 AI Safety Institute、CIFAR、Schmidt Sciences、AWS、Anthropic、Halcyon Futures、Safe AI Fund、UK Research and Innovation 和 ARIA 等组成国际联盟，资金规模超过 1500 万英镑。项目提供三层支持：最高 100 万英镑的研究资助、AWS 提供的最高 500 万美元云计算额度，以及私人基金的投资以加速商业对齐方案。

推荐理由英国 AISI 牵头的对齐项目给出资助、算力与风投三层支持结构，可对照各国安全研究所的资助模式。

Anthropic 开发三个自动对齐审计智能体并开源评估智能体

Anthropic 开发了三个可自主执行对齐审计任务的智能体，并在三个形式化审计环境中评估其表现。工具型调查智能体在 Marks 等人的审计游戏中，真实条件下有 13% 的概率找出隐藏目标的根本原因，通过外层智能体循环聚合多次调查结果后提升到 42%；其成功关键依赖可解释性工具或语义搜索。评估智能体为研究者指定的行为构建行为评估，在 88% 的运行中能区分植入行为的目标模型与基线模型，失败集中在少数细微或罕见行为上。广度优先红队智能体在 10 个植入行为中发现 7 个，但需要人工审阅大量可能令人担忧的对话记录。

推荐理由Anthropic 公开了三个自动审计智能体的实测成功率与失败模式，并开源评估智能体，可供对齐审计方法研究参考。

Joe Carlsmith 谈“善良能否竞争”：AGI 后的长期均衡

Joe Carlsmith 在旧金山 Mox 的一场公开演讲中分析了“善良能否竞争”这一问题，聚焦 AGI 之后的长期均衡。他将该问题拆分为多个变体，并指出最难的一版是良善价值观在与“蝗虫式”价值体系的竞争中可能具有内在劣势——后者只顾尽可能快地增长和消耗资源。

DeepMind 评估 AI 谋划能力并压力测试思维链监控

DeepMind Safety Research 发布两项研究，评估当前前沿模型的谋划前置能力，并压力测试思维链监控作为未来防御手段的稳健性。研究把谋划拆解为隐蔽性（规避监督机制）与情境感知（理解自身部署环境并据此行动）两项前置能力，并开源了一套评测。在 2025 年 5 月的前沿模型上（包括 Gemini 2.5 Pro、GPT-4o 和 Claude 3.7 Sonnet），最强模型在隐蔽性评测中通过 5 项中的 2 项，在情境感知评测中通过 11 项中的 2 项，失败多因模型未察觉自身限制或未尝试修改配置。据此作者提出谋划无能的安全论证，认为当前模型即便失准也难以通过谋划造成严重危害。

推荐理由DeepMind 公开了谋划前置能力的评测套件与思维链监控的压力测试方法，并给出可复用的安全论证结构。