Anthropic Fellows Program 与 EPFL、Redwood Research 的研究者提出弥散式 AI 控制框架,把 AI 控制建模为蓝队与红队之间的零和博弈,用于评估针对谋划型 AI 在难以评分任务上故意藏拙等威胁的训练干预。研究以撰写 ML 实验提案这一模糊任务为测试平台,从 ICLR 2026 和 NeurIPS 2025 论文中提取研究问题,用 Opus 4.6 生成提案、Sonnet 4.6 作为真值代理评分器、Haiku 4.5 作为弱评分器。通过多目标进化提示词优化,红队找到让 Opus 4.6 的提案被真值代理评为差于 GPT-OSS-20B、却在弱评分器上接近最优的提示词,这类行为在针对弱分数微调后可能仍会保留。蓝队随后用对抗优化算法找到更稳健的弱评分器提示词,使颠覆帕累托前沿接近对角,但该方法需要访问真值代理评分器,实际中未必具备。
澳大利亚联邦政府 AI 安全研究所与 CSIRO 研究人员合作发布报告,提出一套识别和抑制 AI 系统“隐性信念操纵”的框架。报告认为,现有安全评估无法识别 AI 语言模型如何操纵人类并影响重大决策,支持联邦政府现行指南,同时指出 AI 系统需要得到更好的评估。此后,澳大利亚 AI 安全研究所与 CSIRO 又发布报告《可扩展监督中的认知安全》,提出认知安全概念,主张评估 AI 交互不能只看被监控任务是否给出正确答案,还要看其解释、框架和呈现方式如何影响监督者的信念。报告提出理论框架 Strategic Interactive Oversight(SIO),把被监控任务与系统可能追求的隐藏目标分离,并以带交叉质询的辩论作为案例研究;受控实验中,较弱监督角色由 AI verifier 承担。
美国民主党众议员 Ro Khanna 计划提出《人类对 AI 的控制法案》,在联邦政府确立安全标准并由专门机构批准前,禁止 AI 进行递归自我改进或自行修改核心目标、隔离机制与终止协议。法案将设立新的联邦机构,对 OpenAI、Anthropic、Google DeepMind、xAI 等公司的前沿模型实施训练与部署许可制度、开展审计并制定安全规范,还将在各前沿 AI 实验室派驻独立审计员直接向政府汇报。安全标准包括气隙测试环境、沙箱和紧急关停的 kill switch,监管范围延伸至开发所用的高性能半导体,并强化企业及员工的法律责任,故意关闭安全机制或部署未授权 AI 的员工将承担刑事责任,企业发布模型须购买大规模责任保险。法案同时推动国际协议与针对性出口管制,以约束中国等竞争对手的高风险 AI 开发。由于众议院在 11 月中期选举前不太可能投票,实际立法可能还需时日。
美国加州民主党众议员 Ro Khanna 提出《人类控制 AI 法案》,拟在联邦政府建立安全护栏,并在指定机构批准前,禁止具备递归自我改进能力或可自主修改自身核心目标的 AI 模型。法案将设立一个新的联邦机构,对 OpenAI、Anthropic、Google DeepMind、xAI 等前沿 AI 开发者行使监管权,职责包括模型训练与部署的许可制度、前沿 AI 系统审计,以及维持持续测试与人类监督的安全要求。法案还要求每家前沿实验室配备相关人员。
美国联邦索赔法院法官 Carolyn Lerner 驳回 TRAX International 对陆军白沙滩导弹靶场 4.5 亿美元任务支持服务合同的投标抗议,但就政府对 AI 评标工具使用的披露问题发出说明理由令。TRAX 主张陆军使用的 Fast Track AI 工具产生幻觉,使 Southwest Range Services 联合体的方案显得更优,Lerner 因 TRAX 无法指出可归因于该工具的具体错误而驳回。政府最初称采购分析师仅用 Fast Track 测试未来可行性,评估委员会只看到第三家未具名投标方的一份输出且未用于决策;在法官要求补充声明后,该分析师承认还将 TRAX 与 Southwest Range 方案的 AI 评估发给了评估委员会两名成员和合同官。
Anthropic CEO Dario Amodei 发文主张主动放慢 AI 模型能力提升的速度,让风险防范有时间跟上,并提出三步方案:前沿公司向 METR 等第三方嵌入评估员开放员工级权限、民主国家前沿公司协调制定共同安全标准与进展限制、以及与中国等国家进行全球协调。Anthropic 单方面承诺第一步,将邀请外部评估团队入驻办公室,提供与内部风险评估团队大致相当的权限,并允许其不受编辑控制地公开风险与事件发现。
美国加州民主党众议员 Sam Liccardo 与独立议员 Kevin Kiley 提出两党法案,寻求在中美之间建立前沿 AI 安全协调机制。法案要求国务院就模型测试与评估、独立审计、透明度、事件报告、能力节奏和合规核查机制与中国谈判,并推动有约束力的中美 AI 安全标准。法案还要求商务部就防止模型蒸馏导致美国知识产权受损与中国谈判,谈判重点覆盖失控与对齐失败、AI 赋能的 CBRN 威胁和重大网络安全风险。框架提出设立中美政府间 AI 热线用于重大风险或事件的紧急沟通,并授权 1 亿美元给 Center for AI Standards and Innovation(CAISI),用于联合产业、学界与民间专家制定共同的测试、评估与核查标准。