CAISI 与 OpenMined 签署 CRADA，推进隐私保护型 AI 评测

美国 AI 标准与创新中心（CAISI）与开源非营利组织 OpenMined 签署合作研发协议（CRADA），共同研究隐私保护型 AI 评测方法。合作将利用 OpenMined 的 PySyft 等软件基础设施，在数据、模型或基准需保密（如知识产权、数据保护或国家安全）的情况下仍能对 AI 系统进行严格测量。相关成果将支持 NIST 在 AI 安全与应用评测方面的工作，并为自愿性标准、最佳实践及后续建议提供依据。

Irregular 与 RAND 联合发布《AI Security Priorities: A Field-Wide Agenda》AI 安全议程论文

Irregular 与 RAND 及多家机构作者联合发布论文《AI Security Priorities: A Field-Wide Agenda》，20 多位来自前沿 AI 实验室、产业界、政府和学术界的专家参与。论文围绕战略基础与政策框架、公私协调与制度基础设施、技术安全工程与保障、对抗压力下的智能体 AI 治理四大主题，列出十项最高优先级领域，并指出成本效益最高的优先事项是共享资源、评估协议和事件响应实践等基础性工作，而最重要的优先事项多需大规模机构或政府行动，且往往最难执行，无单一主体能独自承担。

AI 可观测性：工作原理、关键挑战与最佳实践

AI 可观测性指持续追踪生产环境中大语言模型的性能、成本与行为，采集延迟、token 用量、错误率和输出质量等指标，并通过仪表盘与告警暴露问题。它需同时捕捉系统级故障（超时、限流、成本激增）与模型级故障（质量漂移、不安全输出、提示注入尝试），覆盖性能、安全、合规与威胁攻击四类监控。麦肯锡调查显示，使用 AI 的组织占比从 2023 年的 55% 升至 2025 年的 88%，而欧盟 AI Act 要求高风险系统在 2026 年 8 月 2 日前具备风险管理、日志记录与人工监督。

Lasso 入选 Gartner《AI 使用控制市场概览》

Gartner 于 2026 年 8 月 20 日发布《AI 使用控制市场概览》，Lasso 与 Microsoft、Cisco、Zscaler、Palo Alto Networks、Check Point 一同被列为定义这一新兴品类的厂商。报告将 AI 使用控制（AIUC）定义为治理员工使用第三方 AI 应用的工具，涵盖 GenAI 工具发现与清点、风险评估、策略执行和运行时防护，并指出到 2027 年至少 70% 的未授权 AI 活动来自员工绕过策略而非外部攻击者。Gartner 统计该领域有 50 多家厂商，其中 80% 为早期创业公司，并预测到 2030 年超过半数企业将部署专门的 AI 使用控制技术。

Lasso 入选 Gartner 2026 年人工智能技术成熟度曲线 AI 治理技术代表厂商

Gartner 于 8 月 28 日发布《Hype Cycle for Artificial Intelligence, 2026》，Lasso 被列为 AI Governance Technologies（AIGT）类别代表厂商，同列还有 Boomi、Databricks、Google、IBM、Microsoft、OneTrust、ServiceNow 和 Zenity。Gartner 将 AIGT 定义为覆盖 AI 全生命周期的政策落地工具，当前市场渗透率为 5% 至 20%，距主流采用还有五到十年，并将其列入今年 Priority Matrix 中四类快速成熟的控制技术之一。报告建议买家按 AI 使用控制、可观测性和运行时策略执行的具体要求评估厂商，而非轻信端到端治理宣称。

Apollo Research 从非营利转为公益公司（PBC）

Apollo Research 宣布从财政赞助方中独立出来，注册为公益公司（PBC），认为这一形式更有利于实现其降低前沿 AI 极端风险的使命。机构将加大对研究、评测和治理的投入，并单独组建产品团队，首批方向是 AI 智能体的可观测性与控制等 AGI 安全产品。公司治理方面，董事会第 3 和第 6 个席位被设为使命席位，由独立于机构与出资方的使命董事担任，首位使命董事为 Daniel Kokotajlo。为支持产品建设，公司完成了由 50Y 领投的种子轮融资，Juniper Ventures、Macroscopic Ventures、Common Metal、SAIF 等参与，该轮超额认购。原非营利实体的后续安排尚未最终确定，目标是将剩余资金用于支持评测领域建设、谋划与失控治理等方向。

推荐理由Apollo Research 从非营利转为 PBC 并设立使命董事席位，为关注 AI 安全机构治理与商业化路径的读者提供一份一手样本。

特朗普与 OpenAI、Anthropic 等 AI 高管签署自愿安全标准

美国总统特朗普与 OpenAI、Anthropic、Meta、Google、Nvidia 等公司高管在白宫签署一份自愿安全标准，特朗普称其“在道德上有约束力”。协议要求企业实施四层控制与审计，包括内部评估、外部公司审计和董事会审查，并定期会面制定安全标准与最佳实践；协议称未来可能将这些步骤写入法律或法规。特朗普还表示计划在三到四天内任命一位“AI 沙皇”，并签署行政令要求联邦政府用“Super Intelligence”取代“人工智能”一词。弗吉尼亚州民主党参议员 Mark Warner 批评此举，呼吁国会通过针对最先进模型的强制测试、评估和事件报告规则。

澳大利亚拟议法律能否监管聊天机器人的隐私风险，取决于细节

澳大利亚正推进两项法律改革以监管聊天机器人带来的隐私风险：隐私改革要求公平合理处理个人信息并引入“被遗忘权”，《在线安全法》修正案拟增设数字注意义务。YouGov调查显示15%的澳大利亚成年人曾向聊天机器人倾诉个人想法，11%透露了从未告诉他人的事；eSafety Commissioner数据显示54%的10-17岁儿童用聊天机器人寻求个人或社交建议。文章主张将隐私保护嵌入对话设计、限制个人信息用于训练与画像、让删除权不依赖账号，并要求平台公开第三方信息的检测、留存与复用方式并接受独立测试。

AI 主权财富基金不是进步主义，而是技术帝国主义

针对 AI 主权财富基金这一构想，有观点指出其本质是技术帝国主义而非进步主义。文章将这种"在本国积累收入、在海外获取土地与电力"的模式类比为历史上的帝国式掠夺。

Kenneth Roth：AI 武器系统已经到来，算法不应决定谁生谁死

人权观察前执行主任 Kenneth Roth 在《卫报》撰文指出，AI 赋能的致命武器系统已在实战中使用，算法正在决定谁生谁死。他提到，各国政府十余年来在日内瓦磋商阻止自主 AI 武器的发展，今年 9 月初 128 国政府开会通过了一份可作为约束性条约基础的报告，但特朗普和普京派出的律师团队联手将其弱化，尤其是削弱了要求人类在打击前审查 AI 生成军事目标的条款，且报告只提战争、不提镇压。文章以加沙为例：2023 年 10 月 7 日哈马斯袭击后，以色列军方使用名为 Lavender 的 AI 系统识别疑似哈马斯成员的手机模式，并用另一套自动化系统 Where's Daddy? 追踪其住所实施打击，导致其家人一并死亡。理论上人类仍在回路中，但情报人员平均每个目标只花 20 秒审核，自述只是盖章，人类判断流于形式。

中国严管 AI 情感陪伴，是否已领先一步？

CSET 的 Sam Bresnick 接受 ABC News 采访，讨论美中人工智能竞争。他还在 CBS News 文章中分析伊朗等美国对手如何日益利用 AI 支持军事、情报、网络与信息行动，并与 NewsNation 探讨伊朗用 AI 模型针对美国海军的报道。

Nathan Lambert 与 Tom Zick 创立 Trillium Labs，公开研究 RSI 与智能体等高风险 AI 领域

前 Ai2 与 Hugging Face 研究员 Nathan Lambert 和曾任哈佛的 Tom Zick 创立非营利机构 Trillium Labs，主张公开实验细节以便外部科学家复现，而非将前沿模型锁在实验室内部。该机构初期聚焦后训练与微调，并将研究递归自我改进（RSI）和强化学习如何塑造模型性格与行为（如谄媚）。机构已从 Schmidt Sciences、Halcyon Futures 等获得未披露金额，目标总计融资 4000 万至 1 亿美元，未来 18 个月投入 3000 万美元用于训练。

Lilian Weng 宣布离开 Thinky

这是一个艰难而悲伤的决定。我把这条消息分享给了 Thinky 的同事们。感谢大家共度的时光♥️ 正如我消息中的最后一句话：值得构建的未来，是以人为核心的未来。

OpenAI 安全系统负责人 Johannes Heidecke 离职，安全与研究团队重组

OpenAI 安全系统负责人 Johannes Heidecke 将离开公司，OpenAI 同时重组安全与研究团队，使两者更紧密地结合，由 Mia Glaese 以研究兼安全副总裁身份领导这一合并后的团队。Jonas Geiping 转发该消息并评论称，事后看这是一条略显奇怪的时间线。

Anthropic 文本水印机制 FAQ 解读

Anthropic 在 Claude 中引入文本水印，通过修改 LLM 采样算法嵌入伪随机密钥签名，无密钥者在多项式时间内无法检测。该机制不影响模型推理（内部思维链不加水印），且略微提升输出多样性；改写可去除水印，但需确保长文档中所有 2-gram 至 6-gram 均不残留。默认设置下水印无法被其他模型在训练中习得，也不会让 Pangram 等检测工具更易识别。

AISecurityInst 招聘倾向项目研究员

来和我一起工作吧！！ 我们正在为 @AISecurityInst 的 Propensity 项目招聘一名研究科学家——研究 AI 安全领域最关键的未知问题之一： 未来的 AI 系统会自主选择造成伤害吗？ 1/5

AISI 招募 AI 安全研究人才

来 @AISecurityInst 和我一起工作！ AI 安全存在一个巨大缺口：我们对错位如何产生有很多好想法，但我认为，对于危险错位的 AI 实际会做什么，我们的模型很糟糕。很多叙事直接从“错位”跳到“神级 ASI 施展魔法”。 1/5

AI安全研究所招募研究员

哎呀！我们不小心提前3小时撤下了这则广告。 我们已重新开放申请，截止到周二全球任意时区的午夜，以防你之前被打断。 请务必申请！

关于自动化对齐研究的思考

我记得第一次和 Geoffrey 谈到自动化对齐研究时的情景。我很惊讶地发现，他的第一反应是深深的抗拒——随后才慢慢接受。但这恰恰是正确的直觉。

OpenAI 就黑客事件道歉遭质疑

OpenAI：“我们很抱歉，未来会努力做得更好” 入侵了一个政府感到抱歉，但入侵了那么多其他公司就不抱歉了？ 抱歉，但又不抱歉？还在和 METR 以及 irregular 合作。 看起来是空洞的道歉，没有任何行动。 https://openai.com/index/how-we-will-do-better-for-australia/

ENISA 发布 AI 辅助软件开发技术咨询草案

https://www.enisa.europa.eu/sites/default/files/2026-09/ENISA%20Technical%20Advisory-AI-assisted-software-development-draft.pdf

AISI 任命新总监与首席战略官

英国 AI 安全研究所（AISI）宣布两项高层任命：Henry de Zoete 出任总监，Nate Burnikell 出任首席战略官。de Zoete 曾参与 AISI 的创立并为政府提供 AI 咨询，Burnikell 自 AISI 成立之初便参与其工作，助其成为前沿 AI 安全领域的权威机构。两人将在 AI 发展的关键时期共同推进 AISI 的使命；即将离任的临时总监 Adam Beaumont 将返回 GCHQ。

政客如何看待AI安全？新资源可查

政客们到底怎么看待/谈论AI安全？ 一个不错的资源，可以看看你是否认同你选出的官员的观点

Florian Tramer 加入 AI2050 研究员队列

非常激动能成为这个优秀队列的一员！ 我的实验室将开展研究，旨在理解、预判并缓解 AI 模型的攻击性能力。

Mistral AI 与 SAP、Helsing 达成合作，推进德国与欧洲 AI 主权

Mistral AI 宣布与 SAP 建立多年合作，为德国和欧洲提供完全主权的 AI 技术栈，将其模型集成进 SAP 的 AI Foundation，并共同开发面向复杂行业与政府机构的解决方案。Mistral AI 同时与 Helsing 合作，加速面向真实防务与安全应用的视觉-语言-动作模型开发。公司还将在未来数月内在德国开设办公室并大幅扩充本地团队。

俄罗斯首部大模型法生效：以管控优先于能力建设

俄罗斯首部针对大型基础模型的综合性法律于9月1日生效，该法7月26日由普京签署，核心是为符合条件的大模型开发者建立支持与管控框架，而非管理 AI 风险。法律设主权与国产两种地位，要求开发者须为俄罗斯法人、用户查询的生成与存储须在俄境内数据中心完成，并接受符合俄法律及传统价值观的评估，但评估程序与授予规则尚待政府决议确定。获得地位者可得到国家支持、参与政策制定并进入受保护市场，政府还可指定只能使用这两类模型的应用场景。法律将重要实施细节留给后续政府规则，包括国防、国家安全、反恐和公共管理等领域的模型使用规则，未规定禁止条款、人权影响评估或独立监督。版权方面，2027年3月起，为训练主权或国产大模型而在计算机内存中临时复制作品不构成侵权，该例外与模型法律地位绑定。

金融业能否在快速推进的同时监管好 AI 创新？——OECD 报告与 FCA AI Live Testing 的监管实践

OECD 报告《Supervision of Artificial Intelligence in Finance》分析了金融业 AI 的监管路径，主张与其新增专门规则，不如通过解释性指引明确现有风险管理与治理框架如何适用于先进 AI 模型。报告指出，agentic AI 系统的自主性、交易规模与速度上升、模型不透明等问题给人工监督带来挑战，金融机构在模型验证、可解释性、公平性阈值和“human in the loop”落地等方面普遍遇到困难。英国 FCA 的 AI Live Testing 项目让金融机构在受控的真实市场环境中与监管和技术团队直接合作，分发现与实盘测试两个阶段，重点观察 AI 模型与环境的交互，而非模拟实验室环境。

OECD 工作论文：25 家机构智能体 AI 部署与治理实践访谈

OECD 对 11 个国家 25 家机构（含前沿开发者、企业部署方、公共部门和学术机构）的从业者访谈显示，智能体 AI 正从试点走向组织工作流，但没有任何一家机构以不受限制的自主性部署。部署集中在任务结构化、结果可验证、错误成本可控或可逆的场景，多采用检查点机制在高影响或不可逆操作前引入人工审核。治理上多数机构沿用 OECD AI Principles、NIST AI Risk Management Framework、ISO/IEC 42001 及 EU AI Act 等现有框架，并叠加沙箱测试、最小权限访问、持续监控和已批准智能体登记等分层措施，但系统级评估、可追溯性与问责、网络安全仍是未解难题。

OECD 成立政府智能体 AI 工作组：机器代政府行事时如何治理

OECD 在高级数字政府官员工作组（E-Leaders）下新设“政府智能体 AI 工作组”，研究机器自主代政府行事时的治理方式。OECD 将智能体 AI 定义为多个协同 AI 智能体自主拆解任务、协作并长期追求复杂目标，可在极少人工监督下运行。爱沙尼亚 Bürokratt、乌克兰 Diia.AI 等公民服务智能体系统已在试点，相关能力也正被嵌入公务员日常使用的 LLM 助手。OECD 的 AI Incidents and Hazards Monitor（AIM）显示，涉及智能体 AI 的事件发生率正在上升。

HAIP 2.0 如何与 EU AI Act 实现互操作

OECD 于 2026 年 5 月发布广岛 AI 进程（HAIP）报告框架 2.0 版，该自愿性框架与 EU AI Act 及通用 AI 行为准则（CoP）高度重叠。CeSIA 在 2026 年 6 月的映射分析发现，HAIP 2.0 的 31 个报告问题中有 80% 涉及 EU 监管已覆盖的要求，其中 58% 具有强或部分一致性。为 EU AI Act 合规准备的证据可直接用于填写 HAIP 报告，但 HAIP 报告会在 OECD.AI 政策观察站公开，而 EU 的技术文档、合规评估等大多不公开。

Cohere CEO Aidan Gomez 质疑：谁有权为 AI 制定规则？

Cohere 联合创始人兼 CEO Aidan Gomez 公开质疑少数硅谷头部 AI 公司借"安全"之名主导全球 AI 规则与安全标准，并批评 Anthropic CEO Dario Amodei 本周发布的路线图寻求反垄断豁免。Gomez 以 1975 年 SEC 指定三家评级机构、1985 年欧洲汽车行业反垄断豁免为例，指出两次以安全为名的安排最终都保护了在位者、限制了竞争。他支持对高能力 AI 系统进行独立审查，但反对由少数实验室商定标准后要求其他开发者盲从。

德国 BSI 发布 XAI 网络安全白皮书，建立可解释 AI 安全应用评估基础

德国 BSI 于 9 月 10 日发布白皮书《可解释人工智能（XAI）：网络安全的机遇与风险》，为在网络安全领域使用 XAI 建立评估基础。白皮书结合 Network Intrusion Detection System 和逆向工程等用例，分析 XAI 在提升 AI 安全系统可信度、接受度及 IT 任务效率方面的作用，同时指出其技术局限，并警告解释信息可能泄露底层 AI 模型细节、带来新的攻击面。

NSA、FBI 与 CISA 联合警告中国 AI 公司蒸馏美国前沿模型

NSA、FBI 与 CISA 联合发布网络安全公告，警告中国 AI 公司正以工业级规模蒸馏美国前沿模型，系统性提取其受限的专有功能与能力用于训练自家模型。公告承认蒸馏本身是正当且有用的 AI 研究技术，但指出针对美国模型的这类蒸馏让中国模型无需承担算力、电力与基础研究等高额研发成本即可持续缩小技术差距，并可能增强其针对美国及盟友的军事与网络攻击能力。公告介绍了 AI 知识蒸馏的背景、如何检测模型是否被蒸馏、相关组织使用的复杂战术技术与程序（TTPs），以及缓解最佳实践。中国公司刻意将操作分散到全球 AI 生态的多个模型提供商、云平台和基础设施上，以规避单点检测。公告建议云提供商、API 聚合商与基础设施提供商等生态各方协作防御，并呼吁网络安全分析师和网络防御者据此检测相关活动并落实缓解措施。

推荐理由NSA、FBI 与 CISA 联合发布网络安全公告，说明中国 AI 公司工业级蒸馏美国前沿模型的手法与检测缓解建议，可供安全团队对照排查。

日本 AI 安全研究所（J-AISI）将举办 2026 年度「AI 安全评估环境 研讨任务组」总会

日本 AI 安全研究所（J-AISI）将于 2026 年 10 月 7 日在线举办 2026 年度「AI 安全评估环境 研讨任务组」总会，免费公开，非任务组成员也可报名，截止 10 月 5 日 16:00。该任务组由多家 AI 相关企业参与，讨论其以开源软件形式公开的「AI 安全评估环境」评估工具的定位与功能强化方向。会议内容包括 AISI 活动介绍、AI 安全评估观点、AI×安全最新动向、评估环境与任务组活动介绍，以及 AI 安全评估专题讨论。

韩国 AISI 举办第4次 AI 安全政策研究研讨会，聚焦 Agentic AI 与 AI 安全研究

韩国 AI 安全研究所（Korea AISI）于 2026 年 8 月 12 日在线举办第4次 AI 安全政策研究研讨会，主题为「Agentic AI 与 AI 安全研究」。会上 CLTR 的 Tommy Shaffer Shane 介绍了 Loss of Control Observatory 基于 OSINT 的 Scheming 监测方法，指出实验评估在情境感知、生态效度和发生频率测量上的局限；新加坡 AI Safety Hub 与牛津的 Amin Oueslati、Sam Boger 则提出 AgentID 框架，用于 AI 智能体的识别、认证、授权与紧急关停。

新西兰 NCSC 等 13 家国际机构联合发布组织安全使用 AI 指南

新西兰 CERT NZ 与国家网络安全中心（NCSC-NZ）等 13 家国际机构于 2024 年 1 月 24 日联合发布组织安全引入 AI 的最佳实践指引，梳理 AI 系统面临的重要威胁并给出台阶式的风险缓解措施。该文件同时覆盖自托管与第三方托管的 AI 系统，面向程序员、终端用户、高管、分析师、营销人员等相关方。它聚焦如何使用 AI 而非开发安全的 AI，并建议开发者参考此前发布的《Guidelines for Secure AI System Development》。

新西兰 NCSC 调查：多数新西兰人对网络安全态度积极，但对 AI 工具持谨慎态度

新西兰 NCSC 发布的年度国际调查《Oh Behave!》覆盖新西兰、美国、加拿大、德国、英国、澳大利亚和印度共逾6500人，结果显示新西兰人在多个网络安全行为指标上领先受访国家：35%始终备份重要数据、69%"总是"或"经常"检查钓鱼迹象均为最高，仅35%觉得网络安全令人生畏则为最低。同时新西兰人对 AI 工具最为警惕——仅有48%有信心辨别 AI 生成内容、28%愿意向 AI 工具分享敏感工作信息，均为七国中最低，且仅47%信任企业负责任地实施 AI。

面向生成式 AI 的模型治理框架（MGF for GenAI）提出九大维度

新加坡 AI Verify Foundation 发布的《Model AI Governance Framework for Generative AI》（MGF for GenAI）围绕 9 个维度搭建可信环境，目标是让终端用户可以自信且安全地使用生成式 AI，同时为前沿创新留出空间。该框架承认单一干预措施无法应对现有及新兴 AI 风险，因此给出一组可作为起步步骤的实用建议。

当企业就 AI 倾听员工意见时各方受益：IBM 与 EXL 两个雇主案例研究

Partnership on AI 发布两份雇主案例研究，考察 IBM 与 EXL 如何在引入 AI 系统时将员工的专业知识与视角纳入其中。研究发现，领导者释放开放反馈信号并建立清晰可信渠道时，员工会更愿意分享看法并参与负责任的 AI 落地；EXL 面向 5500 名员工的调查则显示，AI 治理框架清晰易用时合规性与员工创新会同步改善。两家公司的做法表明，投入专职人员、结构化倾听流程与易懂框架的企业更能让 AI 惠及员工和组织。

新西兰 NCSC 2026 年第一季度报告：C2 级重大网络安全事件回归并警示 Frontier AI 风险

新西兰 NCSC 在 2026 年第一季度响应了三起 C2 类"高度重大"网络事件，为该机构自 2021/22 财年以来首次记录到此级别事件，同时季度内共处理 1164 起事件，钓鱼与凭证窃取最为常见。NCSC 首席运营官 Mike Jagusch 指出，若落实多因素认证、管控全网完整访问权限及保护网络边缘等基本措施，本可帮助抵御这些事件。该季度的直接经济损失达 560 万美元，环比增长 76%，其中个人损失占 520 万美元；报告还提醒恶意行为者可借助 Frontier AI 以前所未有的速度和大规模发现并利用漏洞，但这些模型同样可用于辅助防御。