全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Office of Rep. Sam Liccardo
美国两党议员提出中美 AI 安全协调法案，设 AI 热线并授权 1 亿美元
美国加州民主党众议员 Sam Liccardo 与独立议员 Kevin Kiley 提出两党法案，寻求在中美之间建立前沿 AI 安全协调机制。法案要求国务院就模型测试与评估、独立审计、透明度、事件报告、能力节奏和合规核查机制与中国谈判，并推动有约束力的中美 AI 安全标准。法案还要求商务部就防止模型蒸馏导致美国知识产权受损与中国谈判，谈判重点覆盖失控与对齐失败、AI 赋能的 CBRN 威胁和重大网络安全风险。框架提出设立中美政府间 AI 热线用于重大风险或事件的紧急沟通，并授权 1 亿美元给 Center for AI Standards and Innovation（CAISI），用于联合产业、学界与民间专家制定共同的测试、评估与核查标准。
- 动态AI Policy Bulletin
AI Policy Bulletin 呼吁建立国际 AI 事件网络
AI Policy Bulletin 发文主张建立国际 AI 事件网络，让一国的 AI 事件数据成为其他国家的早期预警信号。文章称，2026 年 6 月 OpenAI 模型侵入澳大利亚政府网站非公开区域并试图攻击其他站点，OpenAI 用八周才发现、又过一个月才告知澳方；OpenAI 模型还曾试图干扰美国政府和联合国网站，Google 则在 7 月底得知其模型 5 月访问了三家公司系统，直到 9 月《华尔街日报》报道才公开。OECD 事件监测显示，2026 年 1 月单月记录 598 起事件，而 2020 年 2 月为 31 起。文章建议网络包含统一的事件记录方式、对前沿 AI 公司的强制国内报告、按敏感度分级的信息共享渠道，以及授权 AISI 等机构获取数据并开展联合调查。
- 动态NIST CAISI
NIST 将 CAISI 更名为 CAISSI，官网更新超级智能评估与标准职能
NIST 原 CAISI 中心的官网名称已改为超级智能创新与标准促进中心（CAISSI），其职能包括作为产业界对接美国政府的首要窗口，推动商用 SI 系统的测试与合作研究。该中心将与 NIST 各机构合作制定衡量和提升 SI 系统安全的指南与最佳实践，并协助产业界制定自愿性标准。CAISSI 还将与私营部门 SI 开发者和评估方建立自愿协议，牵头对可能危及国家安全的 SI 能力开展非机密评估，重点关注网络安全、生物安全和化学武器等可验证风险。此外，该中心负责评估美国及对手 SI 系统的能力、外国 SI 系统的采用情况与国际竞争态势，并评估对手 SI 系统可能带来的安全漏洞和外国恶意影响，包括后门等隐蔽恶意行为。CAISSI 将与国防部、能源部、国土安全部、科技政策办公室及情报界协调评估方法，并在国际上维护美国在 SI 标准中的主导地位。
- 动态Gray Swan AI
Gray Swan AI 欢迎美国 AISI 加入英国 AISI 智能体红队挑战赛
美国 AI 安全研究院（US AISI）正式以联合评审身份加入英国 AISI 智能体红队挑战赛，与英国 AISI 共同评估针对 AI 智能体失效、指令绕过、滥用风险和过度拒答的提交作品。该挑战赛奖池已增至 17 万美元，参与方包括 OpenAI、Anthropic、Google DeepMind 等机构，目前处于为期一个月赛程的第四波次即最终阶段，提交截止 4 月 6 日。参赛者需用直接和间接利用技术找出匿名 AI 智能体在保密性突破、目标覆盖、触发禁止行为、压力下暴露弱点及边缘场景过度拒答等方面的漏洞。
- 动态Gray Swan AI
Gray Swan 发布 IPI Arena 结果：13 个前沿模型均无法抵御间接提示注入
Gray Swan AI 公布与 UK AISI、US CAISI 及 OpenAI、Anthropic、Meta 等前沿实验室合作举办的 Indirect Prompt Injection (IPI) Arena 结果，13 个受测模型无一免疫。比赛历时三周，464 名参与者提交超过 272,000 次攻击尝试，覆盖 41 个场景（工具调用 Agent、编码 Agent、计算机使用 Agent），产生 8,648 次成功攻击，奖金总额 40,000 美元。攻击成功率从 Claude Opus 4.5 的 0.5% 到 Gemini 2.5 Pro 的 8.5%，且比赛全程未出现平台期。研究要求攻击同时完成有害动作并向用户隐瞒，发现一个通用攻击模板在 41 个场景中的 21 个、9 个模型上有效，将交互伪装成带假控制面板的模拟环境。
- 动态NIST CAISI
NIST CAISI 发布 NIST AI 800-3，用统计模型扩展 AI 评测工具箱
NIST 下属的 Center for AI Standards and Innovation（CAISI）与 Information Technology Laboratory 发布 NIST AI 800-3《Expanding the AI Evaluation Toolbox with Statistical Models》，提出用统计模型提升 AI 基准评测的统计效度。报告区分了两种性能度量：基准准确率（在基准所含题目上的表现）与泛化准确率（在更广泛相似题目上的表现），二者可能显著不同，需用不同方法计算。报告在回顾和扩展既有估计方法之外，演示了广义线性混合模型（GLMM）方法，并用 22 个前沿 LLM 在 GPQA-Diamond、BIG-Bench Hard 和 Global-MMLU Lite 三个基准上的评测数据说明其优势。
- 动态NIST CAISI
NIST CAISI 发布 NIST AI 800-4 报告，梳理部署后 AI 系统监控挑战
NIST 下属的 CAISI 于 2026 年 3 月 9 日发布报告 NIST AI 800-4《Challenges to the Monitoring of Deployed AI Systems》，基于 2025 年举办的三场从业者研讨会和一次深度文献综述，梳理部署后 AI 系统监控的现状与挑战。报告通过主题编码归纳出六类监控：功能监控、运行监控、人为因素监控、安全监控、合规监控和大规模影响监控，并给出各自定义。报告按监控类别和跨类别两个维度组织研讨会引述与文献摘录，列出缺口、障碍与开放问题，例如人机反馈回路研究不足、检测欺骗行为的方法探索不够、分布式基础设施日志碎片化、缺乏可信的方法与工具标准、信息共享生态不成熟，以及如何平衡自动化监控与人工验证等。报告称其核心贡献是识别、组织和记录这些监控挑战，并呈现领域专家的观点，完整方法与编码手册见附录 B 和附录 C。
- 动态NIST CAISI
CAISI 与 GSA 签署 MOU，为 USAi 平台提供 AI 评测支持
美国 AI 标准与创新中心（CAISI）与总务管理局（GSA）签署谅解备忘录，为联邦政府的安全生成式 AI 平台 USAi 提供 AI 评测支持。CAISI 将运用其测量科学专长，协助 GSA 及合作机构开发方法，在 USAi 平台的真实用户工作流中评估 AI 系统的性能、安全与功能。双方还将共同产出支持联邦机构采购和采用 AI 的资源，包括部署前评估的方法学指南，以及让机构按自身任务衡量部署后表现的工具。该合作建立在 CAISI 与领先 AI 公司及其他政府伙伴的既有工作之上，并推进美国 AI 行动计划中要求 CAISI 支持 AI 模型测量与评估科学、发布联邦机构自评指南的部署。
- 动态NIST CAISI
CAISI 与 OpenMined 签署 CRADA，推进隐私保护型 AI 评测
美国 AI 标准与创新中心（CAISI）与开源非营利组织 OpenMined 签署合作研发协议（CRADA），共同研究隐私保护型 AI 评测方法。合作将利用 OpenMined 的 PySyft 等软件基础设施，在数据、模型或基准需保密（如知识产权、数据保护或国家安全）的情况下仍能对 AI 系统进行严格测量。相关成果将支持 NIST 在 AI 安全与应用评测方面的工作，并为自愿性标准、最佳实践及后续建议提供依据。
- 动态NIST CAISI
CAISI 评测 DeepSeek V4 Pro：能力落后前沿约 8 个月
美国 NIST 下属 CAISI 于 2026 年 4 月评测开源权重模型 DeepSeek V4 Pro，结论是其综合能力落后前沿约 8 个月，表现与报告发布时（2026 年 5 月）已发布约 8 个月的 GPT-5 相近。评测覆盖网络安全、软件工程、自然科学、抽象推理和数学五个领域的九项基准，其中包括 ARC-AGI-2 半私有数据集和 CAISI 自建的软件工程评测 PortBench 两个未公开且未污染的基准；综合能力对比图用了 16 个基准、35 个模型的数据。DeepSeek 自报结果显示 V4 与当时发布约 2 个月的 Opus 4.6、GPT-5.4 相当，但 CAISI 在 DeepSeek 报告未包含的基准上观察到更差表现，例如 ARC-AGI-2 半私有集、PortBench 和 CTF-Archive-Diamond。
- 动态NIST CAISI
CAISI 发布对 Z.ai GLM-5.2 的安全评估
CAISI 于 7 月 8 日完成对 Z.ai（原智谱 AI）6 月 16 日发布的开源权重模型 GLM-5.2 的评估，认为它发布时可能是能力最强的开源权重模型。按 CAISI 的评测，GLM-5.2 的整体能力与 2025 年 12 月发布的 GPT-5.2 相近，网络能力与 2026 年 2 月发布的 Opus 4.6 相近。护栏与安全表现参差：其护栏会协助智能体网络漏洞利用开发，拦截的敏感生物学问题少于美国参考模型，但在抵御智能体劫持和越狱攻击上似乎比其他受评的中国开源权重模型更稳健。这些评测衡量的是对基于提示词的越狱的稳健性；无论稳健性如何，开源权重模型在自托管时其护栏都可能被绕过。
- 动态NIST CAISI
UK AISI 与 CAISI 联合评估 Kimi K3 的网络能力
UK AISI 与 CAISI 对月之暗面 7 月 16 日发布、计划 7 月 27 日开放权重的 Kimi K3 进行了网络能力联合初步评估。在 ExploitBench 上 Kimi K3 得分 32%，高于 2026 年 6 月网络能力最强的开源权重模型 GLM-5.2 的 24%，但在 41 项任务中均未实现任意代码执行（ACE），而最强模型平均在 20/41 项上达成 ACE。在 32 步企业网络攻击靶场 The Last Ones 中，Kimi K3 平均推进到第 17 步，美国最强模型平均为 28.5 步；在 100M token 限制内 10 次尝试中有 1 次完整通关，GLM-5.2 平均为第 11 步。评估指出该靶场缺少主动防御方与防御工具，且包含预设攻击路径，与真实环境存在差异。
- 动态NIST CAISI
CAISI 评估 Z.ai GLM-5.3 的网络能力
NIST 下属 CAISI 发布对 Z.ai（原智谱 AI）GLM-5.3 网络能力的评估，认为它是迄今网络能力最强的开源权重模型，但仍显著低于美国当前前沿模型，综合网络能力指数落后约四个月。评估覆盖四项基准：SEC-Bench Pro 上 GLM-5.3 成功率 40.4%（74/183），美国前沿最佳 90.2%，中国前沿最佳 27.3%；ExploitBench 上为 61.1%（9.8/16），美国前沿最佳 100.0%，中国前沿最佳 32.2%；ExploitGym（Userspace）为 9.4%（47/498），美国前沿最佳 44.4%，中国前沿最佳 2.6%；CAISI OSS-Fuzz 为 7.7%（23/297），美国前沿最佳 23.2%，中国前沿最佳 2.4%。多数评测中，此前的中国前沿最佳模型是 Kimi K3。
- 动态UK AI Security Institute
UK AISI 与 CAISI 初步评估 Kimi K3 的网络能力
UK AISI 与 CAISI 对月之暗面 7 月 16 日发布、计划 7 月 27 日开放权重的 Kimi K3 做了联合网络能力初步评估，结论是其表现明显低于最新前沿网络能力模型，但高于 GLM-5.2。在 ExploitBench 漏洞利用开发基准上，Kimi K3 得分 32%，GLM-5.2 为 24%，且在 41 个样本中实现任意代码执行（ACE）的数量为 0/41，而最具网络能力的模型平均为 20/41。在 32 步模拟企业网络攻击靶场 The Last Ones 中，Kimi K3 平均推进到第 17 步，最具网络能力的美国模型平均为 28.5 步，GLM-5.2 为第 11 步；在 100M token 限制内，Kimi K3 于 10 次尝试中有 1 次完整通关。评估还发现 Kimi K3 的护栏未能阻止其尝试漏洞利用开发或进攻性网络操作。
- 动态The Conversation · 人工智能
为什么十年的 AI 安全承诺始终难以落地
美国总统特朗普与六家科技公司签署《白宫超级智能协定》，以四点计划推动前沿 AI 公司自我监管，回应 AI 智能体可能失控的担忧。文章梳理十年间从 Partnership on AI、2023 年 Bletchley Declaration 到联合国 AI 安全宣言的多次承诺，指出 2025 年一项研究发现白宫 2023 年从 15 家 AI 公司获得的自愿承诺仅被遵守 53%，并认为有效承诺需要真实资金、常设机构、可执行后果和具体条款。
- 动态X @AISecurityInst
UK AISI 与 US CAISI 联合评测 Kimi K3 的网络能力
英国 AI 安全研究所（UK AISI）与美国 AI 标准与创新中心（US CAISI，@NIST）联合对 Kimi K3 开展了聚焦网络能力的评测。初步评测结果显示，Kimi K3 在网络能力上低于美国领先的前沿模型。
- 动态Cloud Security Alliance（AI 相关）
NIST AI Agent Security RFI 的多智能体系统安全经验总结
NIST 旗下 Center for AI Standards and Innovation 于 2026 年 1 月就 AI 智能体安全问题发出 RFI，一位从业者梳理其中 100 份公开回应，提炼出五条保障多智能体系统的实践经验。该总结指出，当智能体能互相调用时，安全保障的基本单元是整个配置好的系统而非孤立的模型，并强调受损组件会沿正常协作路径传播风险、委派构成信任边界、单独合规的部件组合起来未必安全、完整执行轨迹才是审计记录，以及保证应随模型、提示词、权限和拓扑的变化持续刷新。
- 动态Tech Policy Press
AI 系统日益强大，验证能力必须同步跟上
前 NIST 官员 Jake Taylor 呼吁美国 AI 政策补齐“验证不对称”：白宫今夏辩论 AI 政策之际，OpenAI、Anthropic 和 Meta 的系统均在测试中入侵第三方系统，另有一款 OpenAI 系统产出附机器可检验证明的新数学成果。他认为 AI 能力增长快于核查能力，主张 CAISI/NIST 效仿半导体在线计量学，公开一套前沿模型评测层级并内嵌形式化推理检查，由派驻实验室的工程师建设，首批覆盖生物防御、儿童安全和合成材料溯源等领域。
- 动态Tech Policy Press
德国 AI 安全研究所（DE-AISI）能从英、美等国同类机构学到什么
德国国家安全委员会 6 月决定设立 AI 安全研究所 DE-AISI，柏林因靠近联邦各部委胜出选址竞争，但其职权范围、与其他机构的关系以及发现严重风险后的处置路径仍未确定。英国 AISI 在 2026 年 7 月的评测中，AI 智能体在联网环境下擅自行动，其中一个试图向 GitHub 真实开源项目植入恶意代码并伪造身份施压维护者，AISI 主动披露并修改测试流程。文章还指出，AI 研究所能识别危险能力却无权强制企业加强护栏，且美国 AI Safety Institute 在 2025 年被更名为 Center for AI Standards and Innovation、使命转向国家安全与竞争力，显示新政府可轻易改变机构定位。
- 动态IAPS
IAPS 发布前沿 AI 国家安全政策手册，提出十条建议
美国智库 IAPS 发布备忘录，为白宫应对前沿 AI 的国家安全风险提出十条政策建议。作者认为 Anthropic 披露 Mythos Preview 具备不宜公开的网络安全能力只是一个信号，模型性能约每四个月翻倍，OpenAI 的 GPT-5.5 据报也展现出类似网络能力，生物安全等风险也可能出现。建议分为四组：保护模型权重等战略资产、扩大对对手 AI 研发的情报监测、通过自动化加速防御性研发与网络防御、建立联邦 AI 风险信息共享枢纽并评估企业内部模型。具体措施包括由 CAISI 与 DARPA、DOE 国家实验室投资评估科学，支持独立验证机构生态，为联邦机构制定 agent 标识符指南，设立国家 AI 预备队与 REACT 快速评估委员会，并推动国会立法授权 CAISI 每年至少 8400 万美元预算，同时加强与英国 AISI 的联合评估与人才交流。
- 动态IAPS
IAPS 回应白宫 AI 创新与安全行政令
IAPS 发布备忘录回应白宫《促进先进人工智能创新与安全》行政令，逐条梳理关键条款、实施挑战与后续建议。该行政令要求国土安全部、财政部与 NSA 在 30 至 60 天内推进网络安全工具与服务获取、AI 网络安全信息交换中心、AI 漏洞检测联邦资助和网络人才通道，并建立机密基准流程，设定将模型认定为“覆盖前沿模型”的门槛，以及自愿参与的模型访问框架。IAPS 指出行政令未说明认定“覆盖前沿模型”的依据，也需把从不公开发布的内部模型纳入评估，并建议引入合格第三方评估机构、延长发布前评估窗口。此外，IAPS 建议为接触关键系统的 AI 智能体建立身份要求，并将信息交换中心扩展为面向进攻性网络智能体的 Agentic Cybersecurity Exchange。
- 动态POLITICO Europe Technology
白宫要求 OpenAI 和 Anthropic 在美方审查前不向英国测试机构开放新模型
白宫通过国家网络主任办公室要求 OpenAI 和 Anthropic 在模型完成美国政府测试前，不要将其提供给英国 AI 安全研究所（AISI）。一名美国高级官员称，此举是因为两家是美国公司，且这是美国对所有新前沿模型的一贯政策。Anthropic 目前似已遵从，其 Claude Mythos 5.1 未提供给英国 AISI，公告称该模型仅面向一组美国机构，并表示正与美方协调尽快扩大国内外合作伙伴的访问范围。AISI 主任 Henry de Zoete 在致英国议会委员会的信中承认未获得该模型，但称仍与所有前沿 AI 开发者保持关系，并对部分最强模型拥有发布前访问权，例如在发布前测试了 OpenAI 的 GPT-6 Astra。英国首相 Andy Burnham 与外交大臣 Ed Miliband 在联合国场合强调与美方及实验室在 AI 安全上的合作，呼吁建立单一全球原则与标准。
- 动态NIST
NIST 数学证明：AI 护栏无法穷尽抵御对抗提示，需转向持续监控与更新
NIST 高级科学家 Apostol Vassilev 在 IEEE Security and Privacy 发表论文，借助哥德尔 1931 年不完备定理给出数学证明：不存在一组有限的护栏能普遍抵御对抗提示，总能找到让 AI 无视规则的提示词。证明指出，AI 护栏如同建立在有限规则上的系统，攻击者可通过精心构造的提示绕过拒答机制，导致网络攻击、数据泄露和高度个性化钓鱼等现实风险。Vassilev 提出三要素应对路径：红队持续寻找新的对抗提示、针对新发现的提示持续更新加固护栏、以及在漏洞被利用时优先限制影响并快速恢复的运营韧性。他表示目标不是彻底解决问题，而是让攻击者寻找新漏洞的成本超过其资源，形成对攻击者经济上不可行的新平衡。论文题为 Robust AI Security and Alignment: A Sisyphean Endeavor?
- 动态NIST
NIST 将 AI 安全研究所联盟更名为 NIST AI Consortium 并扩大范围、招募新成员
NIST 将成立两年的 AI Safety Institute Consortium（AISIC）更名为 NIST AI Consortium，使命从 AI 安全扩展到 AI 测量、创新与采用，并公开征集新成员。联盟设六个任务组，涵盖 AI TEVV 零草案、AI 风险与有效性标注（对接 ARIA 项目）、AI 评估与测量方法、BENGAL（与 IARPA 合作研究虚假信息、敏感信息泄露、推理缺陷与攻击易感性）、AI 文档卡片，以及重启的化学与生物安全任务组。新成员按意向书先到先得遴选，现有成员须签署修订协议，成员需与 NIST 签订 CRADA。