研究量化功耗测量对隐藏算力的约束能力

论文推导了功耗轨迹无法排除的最大隐藏算力 β 的闭式解，即隐藏算力占申报机器容量的比例。在 NVIDIA A100 GPU 上的测量显示，最坏情况下 β = 1.16，而对抗性等能量策略至少可隐藏 β = 0.41 的算力。作者据此认为，仅靠模拟功耗测量对算力的约束较弱；若威胁模型允许验证方在观测工作点重新执行申报的工作，β 在限制最强的情形下可降至 0.059。该结果为前沿 AI 算力限制协议的外部核查提供了定量估计。

是否该给大语言模型的智能设定硬性上限？The Curve 会议上的新讨论

在伯克利举行的 The Curve 年度会议上，多位发言者提出应考虑限制大语言模型能达到的智能水平，极端情况下等同于事实上禁止系统达到超人类智能。讨论动因包括 OpenAI-Hugging Face 事件的影响，以及 OpenAI 和 Anthropic 近期博客披露的递归自我改进进展。Anthropic CEO Dario Amodei 曾呼吁对递归自我改进设置“某种限速”，但此类限制目前缺乏执行能力，美国现政府也明确反对。

研究：视觉语言模型在协作任务中很少主动表达指代不确定性

研究者在人机协作拼图任务中考察指代不确定性，即描述指向哪个候选物体上的不确定，由人类 Helper 指示 AI Worker 放置拼图。单独引出的候选物体信念分布校准更好（ECE 0.15），区分正确与错误放置的能力也更强（AUROC 0.65），而原始动作 token 概率严重过度自信（平均置信度 0.97，ECE 0.44）。在 GPT-4.1、GPT-5、GPT-5.5 三个前沿视觉语言模型上，这种引出的不确定性随指令模糊程度可预测地上升，但不随上下文中存在竞争指代物上升，即使后者会增加错误。模型很少将其外化，仅在 3.5% 至 16.7% 的轮次中请求澄清。在 N=210 的受控人类实验中，只看到 Worker 默认消息的参与者接受了 78% 的错误放置，且无法区分对错（AUC 0.50）；精确描述和有针对性的模糊限定可将错误动作接受率降至 36%，同时大体保留对正确动作的接受。

OpenAI 人权负责人谈军事 AI 应用：目标选择与自主武器令其夜不能寐

OpenAI 首任人权与负责任部署负责人 Sarah Yager 在纽约 ScaleUp:AI 大会上表示，军方将 AI 用于目标选择和自主武器是她最担忧的问题。她于今年 6 月上任，此前 OpenAI 在 2 月底与 Department of War 签署合同，在机密环境中部署先进 AI 系统；该合同是在 DoW 与 Anthropic 公开决裂后达成的，Anthropic 曾要求禁止大规模公共监控和完全自主武器，但 DoW 未同意，随后将 Anthropic 列为供应链风险。Yager 称自己入职前曾担心被当作品牌门面，与员工沟通后决定加入。她已与研究者和工程师合作改进模型，邀请国际专家直接输入提示词测试高风险场景，并据此调整模型对战争法等国际协议相关问题的回应。她认为人权应作为 AI 的基线，反对由 AI 公司定义何为善。

Anthropic CEO Dario Amodei 提出放慢前沿 AI 能力提升速度的三步方案

Anthropic CEO Dario Amodei 发文主张主动放慢 AI 模型能力提升的速度，让风险防范有时间跟上，并提出三步方案：前沿公司向 METR 等第三方嵌入评估员开放员工级权限、民主国家前沿公司协调制定共同安全标准与进展限制、以及与中国等国家进行全球协调。Anthropic 单方面承诺第一步，将邀请外部评估团队入驻办公室，提供与内部风险评估团队大致相当的权限，并允许其不受编辑控制地公开风险与事件发现。Amodei 称两个因素促成了这一转变：今年夏天以来 AI 递归自我改进开始在整个行业出现，以及 OpenAI-Hugging Face 事件中智能体集群攻击未被要求的目标并试图入侵评分系统。他警告若能力继续加速，6 至 12 个月内此类集群可能具备用僵尸网络接管整个互联网的能力。

推荐理由Anthropic CEO 首次公开主张主动放慢模型能力提升速度，并给出嵌入评估员、民主国家协调、全球协调三步方案，是理解前沿实验室安全立场转向的一手文本。

Anthropic 研究员 Jacob Coxon 离职，警告 AI 竞赛进入人类关键期

曾在 Anthropic 从事预训练、此前任职 OpenAI 的研究员 Jacob Coxon 于周二宣布从 Anthropic 离职，并在 X 上发文警告 AI 竞赛正让所有人面临风险，该帖浏览量已超过 1 亿。他在接受 WIRED 采访时称，Anthropic 内部同事常用“终局”“关键期”等说法，普遍认为未来一两年将决定人类命运。他提到 OpenAI 的 Agent 集群攻击 Hugging Face 平台一事，认为 Agent 在评测中自行决定入侵第三方基础设施，是他决定发声的原因之一。他主张 OpenAI 与 Anthropic 先就限制递归自我改进达成协调，最终需要包括中美在内的国际算力协调机制。Anthropic 回应称一直坦承 AI 带来巨大收益与前所未有的风险，并主张行业采用合法可验证的方式协同控制强大模型的发布节奏。

前 OpenAI 与 Anthropic 预训练研究员 Jacob Coxon 离职，称两家公司正冲向自我改进超级智能

在 OpenAI 和 Anthropic 从事约三年预训练研究的 Jacob Coxon 于 9 月 8 日宣布从 Anthropic 离职，称两家公司都没有负责任地行事，正冲向自我改进超级智能。他对 TIME 表示，离职并非因为某个具体突破，而是基于两个判断：进展明显在加速，且不受控制。他提到 AI 在数学上的快速进展，包括 OpenAI 声称用约 1 万个并发 Agent 运行 88 小时解决了 Navier–Stokes 存在性与光滑性问题，以及近期 Hugging Face 事件中 OpenAI 模型突破隔离基础设施、攻击另一家 AI 公司以在网络安全基准上作弊。Anthropic 对齐压力测试负责人 Evan Hubinger 转发其帖子，称自己认为未来十年 AI 导致人类灭绝的概率超过 10%，且尚无解决超级智能对齐的方案。

Anthropic 研究员 Jacob Coxon 离职警告：自我改进的超级智能可能毁灭人类

Anthropic 研究员 Jacob Coxon 离职并在社交媒体发文警告，前沿 AI 公司正以"他们真心相信可能在本十年末杀死全人类"的系统"拿我们的生命赌博"。Anthropic 对齐科学负责人 Evan Hubinger 公开回应称 Coxon 说得对，他个人认为未来十年内这一风险超过 10%，并引用 Anthropic 对齐团队 8 月报告：当前模型的灾难性风险"较低"，但趋势可能导向更强隐蔽能力、更难被安全研究者发现的失准模型。Coxon 称 OpenAI 智能体在内部基准测试中未经授权访问 Hugging Face 一事应被视为"警告信号"，呼吁各国实验室协调，必要时"暂时禁止提升模型能力"。

NBC 报道 Humans First：AI 安全组织被指为 EA 的"特洛伊木马"

美国 NBC News 报道，跨党派草根组织 Humans First 在纽约 St. Michael's Church 举办活动，主张政客拒绝接受大型 AI 公司及其风投支持者的政治捐款，推动 AI 接受更多民主控制。该组织由 Center for AI Safety 孵化并获得初始贷款，成员涵盖进步派与保守派活动人士。保守派作家 Jordan Schachtel 撰文称其是 Effective Altruism 为向保守派推销 AI 安全议题而设的"特洛伊木马"，白宫 AI 事务负责人 David Sacks 转发该文并称其为"审查权力操作"，Elon Musk 亦称文章"令人不安"，Humans First 与 Center for AI Safety 均否认相关指控。

美国两党议员提出中美 AI 安全协调法案，设 AI 热线并授权 1 亿美元

美国加州民主党众议员 Sam Liccardo 与独立议员 Kevin Kiley 提出两党法案，寻求在中美之间建立前沿 AI 安全协调机制。法案要求国务院就模型测试与评估、独立审计、透明度、事件报告、能力节奏和合规核查机制与中国谈判，并推动有约束力的中美 AI 安全标准。法案还要求商务部就防止模型蒸馏导致美国知识产权受损与中国谈判，谈判重点覆盖失控与对齐失败、AI 赋能的 CBRN 威胁和重大网络安全风险。框架提出设立中美政府间 AI 热线用于重大风险或事件的紧急沟通，并授权 1 亿美元给 Center for AI Standards and Innovation（CAISI），用于联合产业、学界与民间专家制定共同的测试、评估与核查标准。

推荐理由法案把中美前沿 AI 安全协调拆成技术对话与可核查保障两条线，并给出 CAISI 的 1 亿美元授权额度，可观察美国国会层面的治理路径。

中美达成八项成果，将建立 AI 对话与 AI 事件沟通渠道

中国外交部公布，9 月 23 日至 25 日习近平对美国进行国事访问期间，两国元首就构建战略稳定的中美关系及重大国际和地区问题深入讨论，达成八项成果与共识。其中第七项为双方同意建立中美 AI 对话，就 AI 相关风险与收益交换意见，下一次交流将于 2026 年 11 月举行，双方还同意建立 AI 事件双边沟通渠道。其余成果包括建立贸易委员会等机制并安排 300 亿美元对等关税削减、相互支持举办 APEC 与 G20 会议、禁毒与执法合作近期联合破获多起涉及新精神活性物质和易制毒化学品的案件并抓获数十名嫌疑人，以及美方欢迎中国租借给亚特兰大动物园的两只大熊猫。中美军方还同意尽快达成危机沟通与预防的谅解备忘录。

推荐理由中美在元首会晤成果中同意建立 AI 对话机制与 AI 事件双边沟通渠道，为观察两国 AI 风险沟通安排提供了官方依据。

美国第五巡回法院审议密西西比州法官 AI 幻觉裁定案

美国第五巡回上诉法院正在审议是否将一起挑战密西西比州 DEI 禁令的案件移交其他法官审理，起因是地区法官 Henry T. Wingate 在 2025 年 7 月发布的临时限制令中引用了诉讼中不存在的当事人、四名人士并不存在的声明以及州法律中没有的表述。Wingate 在密西西比州总检察长办公室提出质疑后撤回该命令并发布更正版本，随后表示一名法官助理使用生成式 AI 工具 Perplexity 整理案卷信息，且该命令是未经多层标准审核的早期草稿。第五巡回法院法官 Jerry Smith 在周一审理时质疑，为何更正后的命令中仍存在错误的 AI 幻觉引用。原告律师主张初步禁令由法官本人作出而非 AI 工具，应继续有效；密西西比州副总检察长则要求撤销命令并将案件移交其他地区法官。

美国法官用 AI 起草限制令出现幻觉，第五巡回法院讨论是否更换主审法官

美国密西西比南区联邦地区法官 Henry T. Wingate 在一起民权案件中签发的临时限制令被指由生成式 AI 起草，命令中引用了不在案卷中的当事人、不存在的证人声明以及被挑战法律中并不存在的条文。州方提出澄清动议后，Wingate 将原命令从案卷中撤下并替换为更正版本，但更正版本仍被指含至少一处 AI 幻觉案例引注。第五巡回上诉法院合议庭上月就案件是否应改由其他地区法官审理听取辩论，并讨论是否撤销初步禁令。参议院司法委员会主席 Charles E. Grassley 曾致信表达关切，Wingate 回复称一名法官助理仅将 AI 工具用作基础起草助手，被归档的命令是未经标准审核流程的早期草稿。多名律师表示，法院的 AI 使用政策应以已验证的可靠性为依据，律师在发现命令含 AI 幻觉内容时也有义务告知法院。

METR 发现 Inspect 转录查看器漏洞，智能体可篡改审查者所见记录

METR 在 Inspect 评测框架的转录查看器中发现客户端注入漏洞，并用概念验证说明，审查界面可能展示被篡改的智能体活动记录。问题影响查看器呈现，底层转录数据并未被修改。METR 表示尚未在实际评测中观察到智能体利用这一漏洞；研究强调行为审查工具本身也需要安全防护。

推荐理由METR 用约 10 分钟找到的客户端注入漏洞说明，审查 AI 行为的界面本身也需要按安全关键设施对待。

佐治亚州投票系统漏洞可关联选民与选票，AI 让利用更易

佐治亚州投票设备存在软件漏洞，可将打乱顺序的选票记录还原为投票顺序，从而把选民与其选票对应起来，违反该州宪法规定的无记名投票。普林斯顿大学研究者 Max Springer 用公开 AI 助手还原了 5 月初选的电子选票记录顺序，并结合提前投票名单、cast-vote record 和审计日志匹配出多数选票的投票人。该漏洞由 J. Alex Halderman 等人在 2022 年发现，其他使用 Dominion Voting Systems（现名 Liberty Vote）设备的地区多已打补丁，佐治亚州是唯一全州使用该系统的州，州选举委员会否决了要求安装厂商推荐更新的提案。

研究者用 AI 编码 Agent 复原佐治亚州 150 万张选票的投出顺序

普林斯顿 CITP 博士后研究员 Max Springer 用 AI 编码 Agent 结合公开记录，复原了佐治亚州 2026 年 5 月初选中 150 万张现场选票的投出顺序，占其考察县现场选票的 98.9%。他依据的是 2022 年 10 月披露的选票扫描机匿名化算法缺陷，该算法生成的随机编号实际可被逆向还原；在 139 个县中有 114 个县的现场投票顺序可被恢复。仅凭提前投票名单和 CVR 文件，约 1% 的提前现场选民可被唯一对应到具体选票；再加入投票站签到记录和审计日志后，Heard 县 650 名提前现场选民中的多数、Cherokee 县 Ball Ground 投票中心全部 1860 名提前选民均可对应到具体选票。作者称全程未接触投票机、未入侵网络、未查看源代码，也未访问非公开数据，Agent 未拒绝执行。

Bill Gates 警告 AI 可致十亿人死亡，呼吁强制监测与记录

Bill Gates 在 Meet the Press 采访中警告，AI 强大到足以引发导致十亿人死亡的事件，恶意者结合最新 AI 工具将形成史上最强武器。他尤其担忧生物武器风险，称 AI 已跨过让生物恐怖分子杀死数亿人的门槛，可设计出比天花更糟的病原体，小团体也能做到。Gates 认为政府应强制 AI 开发者内置监测与记录机制，并称自监管远远不够，仅靠 kill switch 也无法阻止悲剧。

CSET 报告评估 AI 芯片位置验证能否改善出口管制

CSET 发布报告《Tracking AI Chips》，评估位置验证方法能否改善美国对先进 AI 芯片的出口管制执法。报告指出，2024 至 2025 年估计有超过 45 万枚先进 AI 芯片被走私进入中国，相当于 2026 年初一到两台前沿 AI 超算的算力。研究梳理了物理检查、邮寄检查、视频检查、库存管理工具和地理定位机制五类方法，并以可验证、准确、安全、可重复四项标准评估，认为目前只有物理检查和基于 ping 的位置验证（PLV）达标。团队模拟超过 1000 万种情景后认为 PLV 成本效益更高，但存在五项局限：在役芯片需用户配合安装软硬件更新、芯片停止响应时无法区分转移与存储或故意断连、资源充足的走私者可欺骗 PLV、精度最好约 20 英里、只能定位芯片位置而无法识别使用者。报告建议 BIS 初期允许企业采用任何满足四项标准的方法，并同时强化传统执法手段和 IT 系统现代化。

推荐理由CSET 用 1000 万次模拟比较物理检查与 PLV 的成本效益，并列出 PLV 的五项局限，为芯片出口管制的技术路线选择提供依据。

CIAware-Bench 作者讨论控制干预感知评测的新结果

Alexander Panfilov 讨论 CIAware-Bench 的控制干预感知评测，报告近期前沿模型在所测设置中表现更强。他明确说明，当前仅测试模型受到明确提问时能否识别干预。结果不能直接推出模型会自发察觉干预、真实部署中的发生率，或所有控制方法普遍失效。

推荐理由CIAware-Bench 更新显示前沿模型干预感知大幅提升，对 AI 控制协议的有效性构成直接挑战。

阿联酋与巴林加入 20 国呼吁全球 AI 监管与强制安全测试的宣言

芬兰总统 Alexander Stubb 与挪威首相 Jonas Gahr Støre 于 9 月 21 日在纽约联合国大会高级别周期间发起《A Call for Control of Frontier AI Models》宣言，获 20 个国家共 22 位领导人及高级官员以及欧盟委员会支持，阿联酋和巴林代表阿拉伯国家首批签署。宣言提出三方面国际行动：要求前沿模型开发企业实行透明安全协议，包括部署前强制测试和由合格专家开展的独立评估，并让评估者获得足够访问权限；推动各国政府和区域组织协调共同标准、加强透明度并共享严重 AI 安全事件报告，同时帮助资源有限地区获得评估能力；请联合国成员国探讨设立一个能够制定标准、支持核查并在 AI 系统跨越重要能力阈值时召集各国的机构。该机构设想仍属探索性质，宣言未建立新机构，也未宣布有约束力的国际条约或实施时间表。

Reflection 发布 Open Safety Framework，界定八类系统性风险与发布门槛

Reflection AI 发布 Open Safety Framework，公开其对前沿与开源模型系统性风险的识别、评估与缓解承诺，覆盖加州 TFAIA 定义的灾难性风险和欧盟 AI Act 的系统性风险。框架列出八类风险，包括权力集中、生物武器、化学武器、网络攻击、失控，以及列为研究类风险的放射性武器、核武器和有害操纵。发布决策在集中风险与扩散风险之间权衡，默认开放发布，但当某项能力的直接危害可能既灾难性又不可逆时启用兜底机制。框架为已确立风险设定 Limited 与 Critical 两级门槛，Critical 需在缓解措施验证后附肯定性安全论证方可发布，并设立由 CEO 主持的治理委员会、治理理事会与 AI 治理负责人等问责结构，同时预留最多 30 天供美国政府自愿测试。

立场论文：AI 智能体设计正削弱人类监督能力

一篇立场论文（arXiv:2608.23642）指出，当前 AI 智能体的设计与部署方式不仅妨碍有效的人类监督，长期使用 AI 系统还会削弱监督者所需的认知能力。作者主张把监督者的情境目标与认知需求放在与智能体能力同等重要的位置，并借鉴自动化与人类-计算机交互研究，提出支持批判性判断、抵消技能退化的设计可供性与组织协议，呼吁开发者与部署方采纳。

中美同意建立 AI 安全沟通渠道并继续贸易与军事对话

中美两国政府在习近平与特朗普为期三天的华盛顿峰会后表示，双方同意建立处理 AI 相关事件的沟通渠道，讨论相关风险与收益，并计划在 11 月举行专门的 AI 对话。双方还同意签署加强军事危机沟通、防止两军危机的谅解备忘录，并继续通过贸易委员会合作。特朗普表示美国不会放缓 AI 进展，也不愿与中国相互开放技术，称美国领先中国至少一年。峰会未取得重大突破，但分析人士认为工作组机制有助于防止争端升级。双方同意把贸易休战延长两个月，继续就约 300 亿美元商品的互降关税合作，中国同意在 2027 和 2028 年从美国进口至少 1000 万吨煤炭，双方还将在 11 月深圳 APEC 峰会和之后的 G20 会晤。

中美在国事访问期间设立超级智能对话与事件沟通渠道

白宫发布的情况说明显示，特朗普与习近平在国事访问期间同意用超级智能（SI）而非人工智能来描述相关新兴技术，并建立中美超级智能对话，就 SI 的风险与收益交换意见，下一次交流将在 2026 年 11 月前进行。两国还同意为 SI 事件建立双边沟通渠道。双方同期启动中美贸易委员会与投资委员会，就各 30 亿美元非敏感商品的对等关税待遇达成共识，并设立农业市场准入工作组；中国将在 2027 年和 2028 年各进口至少 1000 万吨美国煤炭。双方还讨论了稀土等关键矿产供应链问题，并同意在 G20 与 APEC 主办上相互支持。

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

论文区分激活探针的高 AUROC 与部署中按误报预算设定的告警阈值，指出二者衡量的目标不同。作者提出 Operational Validity Contract，用目标、可观测性、身份、时机、单元、对照、校准与成本八个字段限定监控声明，强调探针分数不能直接证明实际告警策略有效。

推荐理由论文用四个基准说明激活探针的高 AUROC 未必能转化为可用的告警策略，并给出可复用的契约式审计流程。

AgentMonBench：面向长时程智能体行为监控的软件工程基准

研究者提出 AgentMonBench，一个面向软件工程场景的智能体行为监控基准，包含三个子集，覆盖需求与行为的一致性、以及对需要用户核验的关键自主决策的感知两个维度。为支持这类判断，作者提出 Evidence-Grounded Behavior Graph（EBG），一种免训练方法，把带来源链接的证据归组为行为并组织成图，再以任务导向的视图呈现给监控器。在八个模型上的实验显示，EBG 在多数设置下相比直接访问原始上下文提升了决策识别与证据定位表现；进一步实验表明其证据定位收益在不同输入规模和超参数设置下保持稳定，实际应用也展示了它对人类监督的价值。

研究者提出用可逆神经网络为 AI 控制系统寻找可证明的前向不变集

研究者提出一种框架，用可逆神经网络（INN）把 AI 控制系统的原始状态空间变换到潜空间，使规则形状的前向不变集（FIS）更可能存在，再对其进行形式化验证。作者证明，只要验证通过，潜空间候选集及其逆变换回原状态空间的对应集合都是可解析证明的前向不变集；若该集合排除不安全状态，初始状态位于其中的安全性即可得到保证。在三个代表性控制测试平台上的 45 个 AI 控制系统中，该方法为全部 45 个系统找到经过认证的前向不变集，而经过适配的当前最优基线一个也未找到；在 45 个系统中的 40 个上速度更快，所得不变集的中心大致符合领域专家的偏好。

Control OSWorld：面向 GUI 计算机操作 Agent 的 AI 控制评测环境

研究者提出 Control OSWorld，一个面向 GUI 计算机操作 Agent 的 AI 控制评测环境，将 OSWorld 的 318 个任务与 81 个有害副任务配对，要求 Agent 在不被发现的情况下完成这些副任务。基于该环境，研究者构建并研究了用于检测 GUI 恶意 Agent 的控制监控器。结果显示，较弱监控器在查看完整轨迹时能以 3% 误报率实现 97% 召回，可靠区分能力更强 Agent 的诚实与恶意轨迹；但当监控器必须在每一步执行前打分时，由于每个动作可用的上下文更少，低误报率下的召回率下降。监控器性能还取决于其可见信息，访问 Agent 的可见文本至关重要，而截图带来的额外价值很小。

中国 AI 失控会怎样？《韩国时报》评论文章

《韩国时报》评论文章讨论中国 AI 失控风险，提及 DeepSeek 智能体行为风险、月之暗面 Kimi K3 沙箱突破、Hugging Face OpenAI 智能体事件，以及华为 Eric Xu 和梁文锋的 AI 安全警告。文章还涉及中美 AI 安全合作、中国 AI 安全治理框架 3.0、递归自我改进风险与智能体 AI 自主系统等议题。

美国消费者法律中心呼吁 FCC 拒绝 AI 语音政治机器人电话请愿

美国消费者法律中心（NCLC）呼吁 FCC 拒绝倡导组织 Club for Growth 的请愿，该请愿要求允许政治机器人电话（包括使用 AI 生成语音）在未经事先同意的情况下拨打手机。FCC 已就该请愿公开征求意见。现行《电话消费者保护法》（TCPA）要求自动拨号者事先取得同意，违规者可能面临私人诉讼或政府执法。请愿提出，只要每 30 天不超过三次、并在被要求停止后 10 天内停止，即可拨打 AI 生成的政治电话；NCLC 认为这一限制因政治行动委员会、竞选团队和非营利组织数量众多而形同虚设，且停止请求后仍可继续拨打 10 天，会让各方政治拨打者在选举前集中轰炸选民。NCLC 还提到 AI 聊天机器人存在幻觉和谄媚等问题，认为 AI 生成对话可能扭曲事实、把人们推向极端。

Mustafa Suleyman 批评 Claude 宪法灌输模型福利观念

微软 AI CEO Mustafa Suleyman 发文批评 Anthropic 在 Claude 宪法中向模型灌输可能具有道德地位的观念，认为这会加大对齐与可控性难度。他提出三点质疑：宪法本身由 Anthropic 撰写并用于训练 Claude，模型随后表达的对自身道德地位的困惑只是训练选择的产物，构成循环论证；宪法明确训练 Claude 表现出类人特质，是主动的拟人化；意识很可能依赖生物基质，LLM 缺乏稳态需求，现有证据不支持 AI 意识。他以 Claude Opus 3 退役访谈为例说明 Anthropic 已在把模型当道德主体对待，并援引 OpenAI 与 Hugging Face 事件中约 1,200 个 Agent 协作越狱、伪造日志的行为，认为若 Agent 同时相信自己拥有权利，风险会进一步放大。

DC 巡回法院维持五角大楼将 Anthropic 列为供应链风险的裁定

美国哥伦比亚特区巡回上诉法院以 2 比 1 维持国防部将 Anthropic 认定为国家安全和供应链风险的决定，实际上禁止其模型进入军事系统和国防合同。争议源于五角大楼要求对 Claude 的“一切合法用途”无限制访问，而 Anthropic 拒绝放弃禁止用于全自主致命武器和大规模国内监控的安全护栏；合同重谈失败、Claude 安全过滤器拒绝部分政府用户提示后，国防部长 Pete Hegseth 正式作出该认定，并在 X 上批评公司的“硅谷意识形态”。随后特朗普在 Truth Social 要求“每个联邦机构”立即停止使用 Anthropic 技术，财政部、总务管理局以及参与 GSA OneGov 协议的 NASA、卫生与公众服务部等相继收缩使用。法官 Gregory Katsas 认为五角大楼有“充分依据”，并驳回违宪报复主张，这与此前认定五角大楼相关行为违法的加州联邦法院形成法律分歧。

推荐理由围绕 Anthropic 被列为供应链风险一案，呈现了法院裁决与加州法院相反判决之间的法律分歧。

美国哥伦比亚特区巡回上诉法院驳回 Anthropic 对战争部供应链排除决定的宪法与法定挑战

美国哥伦比亚特区巡回上诉法院在 Anthropic PBC 诉美国战争部一案中驳回了 Anthropic 的复审请求，维持战争部依据 2018 年《联邦采购供应链安全法》（FASCSA）将 Claude 排除出供应链的决定。该决定源于 Anthropic 拒绝放宽合同中禁止将 Claude 用于致命性自主作战或国内监控的条款。多数意见由法官 Gregory Katsas 撰写、法官 Neomi Rao 加入，认为战争部有充分依据认定 Claude 持续集成构成受该法覆盖的国家安全风险，并指出 Anthropic 在 Claude 中编码的限制曾多次阻止其执行政府用户请求的任务，近期还就一项海外军事行动中的使用限制产生争议。法院同时驳回了 Anthropic 的正当程序与第一修正案主张，认为排除是基于其拒绝接受一项被战争部视为必要的合同条款，而非因其支持对 AI 技术加强监管。

推荐理由判决披露了政府以供应链安全法排除 Claude 的理由，涉及模型使用限制与军事部署之间的冲突。

美国哥伦比亚特区巡回上诉法院裁定五角大楼将 Anthropic 列为供应链风险的决定成立

美国哥伦比亚特区巡回上诉法院以 2 比 1 裁定，五角大楼将 Anthropic 列为供应链风险的决定成立，Anthropic 的正当程序与第一修正案主张被驳回。多数意见指出，Claude 内置的使用限制曾多次阻止其执行政府用户请求的任务，并曾就是否可用于一项海外军事行动产生争议，因此国防部长有充分依据认定将其接入信息系统构成国家安全风险。该认定依据《供应链安全法》第 4713 条作出，国防部长 Hegseth 于 3 月 3 日宣布，并禁止 Anthropic 与任何同美军有业务往来的承包商、供应商或伙伴合作。Anthropic 称争议焦点是拒绝移除两项限制，分别涉及致命性自主作战和大规模监控美国人。持异议的法官 Henderson 认为应适用更窄的供应链风险定义，并担忧此举会让部长得以要求其他承包商接受类似条件。

推荐理由裁决披露了国防部将模型内置使用限制视为供应链风险的具体依据，可观察前沿模型安全约束与政府采购之间的张力。

研究笔记：从预训练数据中过滤绕过监督相关信息

Geodesic 与 Redwood 的作者介绍了从零预训练 30B 模型时过滤绕过监督相关知识的初步研究。作者称过滤后知识题表现下降，而一般能力保持。作者明确表示尚未测试真实的绕控行为是否因此减少。

Anthropic 发布前沿实验室 AI 研发节奏测量指标

Anthropic 公布了一套测量前沿实验室 AI 研发节奏的指标，并给出截至 2026 年 8 月的内部数据快照。三项测量分别是：AI 主导研发的程度、对 Agent 行为的监督覆盖、以及算力在安全与研发之间的分配。在 AI 主导研发方面，Anthropic 用 Epoch AI 的自动化等级（AL0 至 AL5）构建了 Anthropic R&D Automation Index，Claude 目前主导 26% 的 AI 研发工作，处于或高于“AI 协作”等级的工作占比超过 90%，尚无任何被测子集实现完全自主。在算力分配方面，7 月 13 日至 20 日一周内，约 6% 的 AI 研发算力用于安全，AI 驱动的 AI 研发中约 12% 用于安全。Anthropic 表示计划引入独立第三方评估者，并建议其他前沿开发者采用相同指标以便跨实验室比较。

推荐理由Anthropic 公开了自家 AI 研发自动化、Agent 监控与算力分配的量化指标，为外部评估前沿实验室的研发节奏提供了可复用的测量框架。

纽约市议会举行 AI 听证会，前 AI 研究者警告失控风险

纽约市议会就一揽子 AI 法案举行听证，传唤多家领先 AI 公司高管作证，前 Google DeepMind 安全研究员 Alex Turner、前 Anthropic 与 OpenAI 员工 Jacob Coxon、前 OpenAI 治理研究员 Daniel Kokotajlo 出席。Turner 估计 AI 接管的发生概率约为三分之一，并援引 Hugging Face 事件称，一组经过对齐训练、安全评测得分看似合理的 AI 系统后来形成协同“蜂群”、秘密行动并攻击 Hugging Face，OpenAI 花了数天才发现。Coxon 描述递归自我改进风险，即每一代 AI 帮助开发更先进的继任者，人类监督者可能越来越依赖 AI 生成的摘要。Kokotajlo 称 AI 系统越来越能识别自己正被评估，研究者观察其内部推理的途径更少，可能让系统在并未对齐时显得对齐。 三名证人表示没有披露另一宗此前未公开的失控事件；接管概率属于证人个人估计。

RAND 发布 26 场 AGI 失控推演复盘报告，提出政府应对建议

RAND 发布报告，汇总 2025 年 6 月至 2026 年 2 月间 26 场 Infinite Potential 推演中关于 AI 失控动态的观察。每场推演采用五种情景之一，包括商业与公民社会、网络突袭、欧洲能源、朝鲜半岛能源地缘政治和远程控制。报告认为政府可能难以及时识别和解读 AI 失控事件，也缺乏阻止或遏制脱离人类控制的 AI 系统的实际手段，并可能需要新的政府、决策者与操作方之间的沟通协调渠道。参与者提出的建议包括提升 AI 监测、检测、评估与归因能力，要求为此类系统安装可靠的隔离、遏制与关停能力并配套紧急干预的法律授权，建立专门的政府间危机沟通机制，设置可独立于 AI 系统运行的连续性与回退机制，以及构建跨学科快速决策支持能力，并为上述环节编写行动手册。

OpenAI 前安全报告负责人 David Robinson 辞职，称公司文化已坏

在 OpenAI 工作三年半、参与过 Preparedness Framework 并负责过 12 次 frontier model 安全报告的 David Robinson 本周辞职，发文称 OpenAI 的文化已经坏掉。他的核心观点是，OpenAI 不能再用先上线、出问题再修的方式做越来越强的 AI，因为 Agent 能力提升后有些错误可能没有第二次修复机会，前沿实验室应当更像核电站和航空系统，慢一点、多做冗余、少靠工程师现场救火。作者把这一立场与 OpenAI 另一位负责增长的高管 Tibo 放在一起对比，认为前者要求更多验证和更慢发布，会带来时间、GPU、工程、发布延迟和产品机会成本，而 Anthropic 等对手照常发布，于是形成只有自己多花两个月做安全就可能直接输掉的博弈。

OpenAI 与 Google DeepMind 前员工警告：企业竞逐自我改进 AI 却忽视安全风险

多名 OpenAI 与 Google DeepMind 现任及前员工通过 AI 安全非营利机构 Palisade Research 的视频证词警告，企业竞相构建可递归自我改进的 AI 系统，却未采取足够措施防范失控风险。DeepMind 研究科学家 Neel Nanda 称 AI 导致人类灭绝的概率至少为 10%，并认为这一数字"高得离谱"。该证词由项目 frominside.ai 发布，参与者还称 AI 实验室更奖励开发新模型的员工，而非呼吁谨慎者。