跳到正文

US CAISI · 精选

10月10日 · 周六

US CAISI · 精选

今天还没有新的精选
US CAISI

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月7日周三
  1. Office of Rep. Sam Liccardo · 53

    美国两党议员提出中美 AI 安全协调法案，设 AI 热线并授权 1 亿美元

    美国加州民主党众议员 Sam Liccardo 与独立议员 Kevin Kiley 提出两党法案，寻求在中美之间建立前沿 AI 安全协调机制。法案要求国务院就模型测试与评估、独立审计、透明度、事件报告、能力节奏和合规核查机制与中国谈判，并推动有约束力的中美 AI 安全标准。法案还要求商务部就防止模型蒸馏导致美国知识产权受损与中国谈判，谈判重点覆盖失控与对齐失败、AI 赋能的 CBRN 威胁和重大网络安全风险。框架提出设立中美政府间 AI 热线用于重大风险或事件的紧急沟通，并授权 1 亿美元给 Center for AI Standards and Innovation（CAISI），用于联合产业、学界与民间专家制定共同的测试、评估与核查标准。

10月5日周一
  1. CSA Labs Research、NIST CAISICSA Labs Research 等 2 个来源 · 2 篇报道 · 52

    NIST 将 CAISI 更名为 CAISSI，聚焦超级智能评测与标准

    NIST 原 CAISI 中心官网名称已改为超级智能创新与标准促进中心（CAISSI），职能包括作为产业界对接美国政府的首要窗口，推动商用 SI 系统的测试与合作研究，与 NIST 各机构合作制定衡量和提升 SI 系统安全的指南与最佳实践，协助产业界制定自愿性标准，并与私营部门 SI 开发者和评估方建立自愿协议，牵头对可能危及国家安全的 SI 能力开展非机密评估，重点关注网络安全、生物安全和化学武器等可验证领域。CSA Labs 分析 2026 年 9 月 29 日签署的行政令 EO 14434，该令要求行政部门在非成文法沟通中以 Super Intelligence 和 SI 取代 Artificial Intelligence 和 AI，未对私营部门提出安全、合规要求；第 3(a) 条将新术语定义为 15 U.S.C. § 9401(3) 中的人工智能，因此不改变现有法规、合同或拨款，第 2(b) 条明确不要求修改此前发布的法规、总统文件。

    事件进展

    1. CSA 分析 EO 14434 与 CAISSI 改名影响

    2. NIST 设立 CAISSI 中心负责超级智能系统评测与标准

10月3日周六
  1. NIST CAISI · 46

    NIST CAISI 发布 NIST AI 800-4 报告，梳理部署后 AI 系统监控挑战

    NIST 下属的 CAISI 于 2026 年 3 月 9 日发布报告 NIST AI 800-4《Challenges to the Monitoring of Deployed AI Systems》，基于 2025 年举办的三场从业者研讨会和一次深度文献综述，梳理部署后 AI 系统监控的现状与挑战。报告通过主题编码归纳出六类监控：功能监控、运行监控、人为因素监控、安全监控、合规监控和大规模影响监控，并给出各自定义。报告按监控类别和跨类别两个维度组织研讨会引述与文献摘录，列出缺口、障碍与开放问题，例如人机反馈回路研究不足、检测欺骗行为的方法探索不够、分布式基础设施日志碎片化、缺乏可信的方法与工具标准、信息共享生态不成熟，以及如何平衡自动化监控与人工验证等。报告称其核心贡献是识别、组织和记录这些监控挑战，并呈现领域专家的观点，完整方法与编码手册见附录 B 和附录 C。

10月2日周五
  1. IAPS · 46

    IAPS 发布前沿 AI 国家安全政策手册，提出十条建议

    美国智库 IAPS 发布备忘录，为白宫应对前沿 AI 的国家安全风险提出十条政策建议。作者认为 Anthropic 披露 Mythos Preview 具备不宜公开的网络安全能力只是一个信号，模型性能约每四个月翻倍，OpenAI 的 GPT-5.5 据报也展现出类似网络能力，生物安全等风险也可能出现。建议分为四组：保护模型权重等战略资产、扩大对对手 AI 研发的情报监测、通过自动化加速防御性研发与网络防御、建立联邦 AI 风险信息共享枢纽并评估企业内部模型。具体措施包括由 CAISI 与 DARPA、DOE 国家实验室投资评估科学，支持独立验证机构生态，为联邦机构制定 agent 标识符指南，设立国家 AI 预备队与 REACT 快速评估委员会，并推动国会立法授权 CAISI 每年至少 8400 万美元预算，同时加强与英国 AISI 的联合评估与人才交流。

  2. POLITICO Europe Technology · 56

    白宫要求 OpenAI 和 Anthropic 在美方审查前不向英国测试机构开放新模型

    白宫通过国家网络主任办公室要求 OpenAI 和 Anthropic 在模型完成美国政府测试前，不要将其提供给英国 AI 安全研究所（AISI）。一名美国高级官员称，此举是因为两家是美国公司，且这是美国对所有新前沿模型的一贯政策。Anthropic 目前似已遵从，其 Claude Mythos 5.1 未提供给英国 AISI，公告称该模型仅面向一组美国机构，并表示正与美方协调尽快扩大国内外合作伙伴的访问范围。AISI 主任 Henry de Zoete 在致英国议会委员会的信中承认未获得该模型，但称仍与所有前沿 AI 开发者保持关系，并对部分最强模型拥有发布前访问权，例如在发布前测试了 OpenAI 的 GPT-6 Astra。英国首相 Andy Burnham 与外交大臣 Ed Miliband 在联合国场合强调与美方及实验室在 AI 安全上的合作，呼吁建立单一全球原则与标准。

9月30日周三
已经到底了