全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态MIRI
MIRI 表态支持 2026 年禁止人工超级智能法案
MIRI 发文支持《2026 年禁止人工超级智能法案》，认为这是其二十多年来所见首份有机会阻止超级智能灭绝威胁的立法，并逐条评述其可取与不足之处。法案要求模型出现可自动化 AI 研发、规避人类关停等前兆特征时暂停训练，并设置训练算力阈值，超过阈值需取得许可；MIRI 认可阈值可随算法与数据效率提升而调整，但建议调整频率高于每年一次。MIRI 还赞赏法案呼吁国际解决方案，并主张美国的政策应是阻止全球范围内开发人工超级智能。不足之处包括法案未对 AI 芯片进行追踪与监控，也未对某些研究设限；MIRI 认为生物武器设计能力提升等前兆与 ASI 并非直接相关，或需另一套规则，长期可考虑在 ASI 禁令生效后设置例外。
- 动态Transparency Coalition.AI
伊利诺伊、加州、俄勒冈三州州长以行政令加速推进 AI 安全措施
伊利诺伊州州长 JB Pritzker、加州州长 Gavin Newsom 和俄勒冈州州长 Tina Kotek 在一周内先后签署行政令，推进对前沿 AI 模型的监管。伊利诺伊的行政令设立 Illinois Artificial Intelligence Cabinet，为州政府应对 AI 事件、保护公共资产与基础设施提供建议，并建立在 2026 年 Illinois AI Safety Measures Act 要求的独立第三方安全审计之上。俄勒冈的行政令 EO 26-26 要求州首席信息官在 90 天内提交实施方案，评估对前沿 AI 模型设置 kill switch 要求的可行性。报道称这些行动回应了近期涉及 OpenAI 和 Anthropic 前沿模型的 AI 事件。
- 动态Transparency Coalition.AI
美国加州、伊利诺伊州和俄勒冈州州长签署行政令监管不受约束的 AI 模型
针对近期 OpenAI 和 Anthropic 前沿模型的 AI 事故引发的担忧，伊利诺伊州州长 JB Pritzker、加利福尼亚州州长 Gavin Newsom 和俄勒冈州州长 Tina Kotek 于上周分别采取行政行动加强 AI 监管。其中 Pritzker 签发行政令成立伊利诺伊人工智能内阁，Kotek 则指示该州首席信息官制定第三方 AI 安全审查标准并评估前沿 AI 模型"终止开关"要求的可行性。Newsom 还签署了 AB 1792，要求学校将约会虐待、数字暴力及 AI 深度伪造相关内容纳入健康教育课程。
- 动态FAR.AI
FAR.AI 与 CAIS 联合举办 AVID Workshop 2026，探讨 AI 开发的可验证与审计
FAR.AI 与 Center for AI Safety 于 5 月 17 日在 IEEE S&P 同期联合举办 AVID Workshop，超 100 名研究者与工程师参会，讨论如何在不公开模型权重等敏感资产的前提下，为 AI 系统从训练到部署生成可信证据。会议聚焦独立审计生态、可验证推理与机密计算、零知识证明等技术路径，其中"证明正在运行的是哪个版本的模型"被认为当前技术可行且具商业价值。Anthropic 曾承诺开发可证明推理原型，对模型输出进行可归因于特定权重的"签名"。
- 动态FAR.AI
FAR.AI 首尔对齐研讨会 2026：AI 安全需要可信测量与工程标准
FAR.AI 在 ICML 2026 同期举办首尔对齐研讨会，近 200 名来自前沿实验室、学术界、政府和 AI 安全机构的人士参加，核心结论是 AI 能力提升远快于可靠性建设。FAR.AI 红队目前很少在前沿闭源模型上找到端到端越狱，但发现除一层外所有防护层都会失效，单一新攻击手法即可击穿整个系统。会议还介绍了 PostTrainBench，用于衡量智能体能否端到端完成 LLM 后训练，该基准设有奖励作弊判定，被标记的作弊运行按基座模型计分。
- 动态Cisco
Cisco 发布 AI 安全与安全框架 v2，新增智能体自主性失效分类
Cisco 发布 Integrated AI Safety and Security Framework v2，新增 OB-002 智能体自主性失效目标，下设 Excessive Agency、Goal Drift、Reward Hacking 三项 Technique 和八项 Subtechnique。v2 同时把 v1 中分开的 OB-001 Goal Hijacking（提示注入）与 OB-002 Jailbreak 合并为一个目标，理由是二者在实战中难以区分、所用对抗技术高度重叠，底层 Technique 仍保留输入来源与防御方式的差异。框架还配套编写了按类别划分的 constitution，用于界定范围、区分相邻类别，并按完整轨迹而非单条消息判断行为。Cisco 建议部署方采用最小权限工具访问、关键操作审批门、不可变任务与停止条件、独立结果验证和完整审计轨迹。
- 动态Microsoft On the Issues
微软发布 2026 负责任 AI 透明度报告：如何为未来调整治理
微软发布第三份年度《负责任 AI 透明度报告》，围绕自适应治理与技术风险管理、实用工具与能力、共享实践与合作伙伴关系三个方向调整其负责任 AI 项目。报告称已重构 Responsible AI Standard，按模型、平台服务、应用等技术栈组件分层设定要求，并对具备最强网络能力的 AI 系统施加最严格的风险管理措施。微软还推出 AI Red Teaming Agent、Agent evaluators、RAMPART、ASSERT 与 Agent Control Specification 等工具，用于智能体系统的评估、运行时控制和行为监控，并称其为少数在广泛产品组合上通过 ISO 42001 认证的公司之一。
- 动态Microsoft On the Issues
Microsoft 发布 Safe Participation Framework：面向下一代的安全参与框架
Microsoft 公布 Safe Participation Framework，围绕设计安全和年龄差异化体验两大支柱，为未成年人提供隐私保护且适龄的在线与 AI 体验。 该框架强调从源头识别风险并实施相称的保护措施，延续其自 2009 年 PhotoDNA 以来的投入，并将相关经验应用到 Copilot——所有用户需登录方可使用，13 岁以下儿童访问受限（当地法律另有规定的除外）。 同时推出的还有新的 Windows Age API、增强的年龄保证能力和家庭安全工具，旨在向开发者提供可信的年龄信号，帮助建立跨生态一致且注重隐私的适龄体验基础。
- 动态IAPS
IAPS 评估 RASA 法案：建议将云基础设施定义扩展至 PaaS
IAPS 发布关于《远程访问安全法案》（RASA）的政策简报，评估该立法应如何界定范围，并建议参议院文本 S. 3519 扩大对云基础设施的定义。简报指出，美国出口管制限制向中国出售先进 AI 芯片，但未明确覆盖通过云远程租用的同等算力，RASA 将补上 BIS 在这一权限上的缺口。参议院文本目前仅把云基础设施服务定义为 IaaS，只覆盖租用裸金属算力训练模型的实体，却不覆盖同一实体在托管平台服务上训练的情形，IAPS 建议至少纳入有明确边界的 PaaS 定义。简报还提示，若 RASA 像已通过的众议院文本 H.R. 2683 那样延伸到 SaaS，可能赋予 BIS 对访问美国 AI 模型的管制权限；文中提到商务部致 Anthropic 的信函要求 Mythos 5 与 Fable 5 模型出口需许可，但未建立模型专属 ECCN，也未明确是否覆盖通过 SaaS 远程访问模型。
- 动态IAPS
IAPS 发布 AI 芯片出口管制的近期核查方法报告
IAPS 发布报告，为美国商务部工业与安全局（BIS）的 AI 芯片出口管制提出一套可在约一年内落地的核查机制清单，按终端位置、终端用户、终端用途三类组织。终端位置核查包括现场检查、远程视频检查和基于芯片与可信地标服务器响应延迟的定位机制，后者成本较低但难以覆盖运输和仓储阶段。终端用户核查依靠强化版 KYC 与自动化供应链风险分析，通过公开企业文件识别受限实体的隐蔽所有权，但只能作为出口前的预防性筛查。终端用途核查则将终端用途申报与公开企业记录交叉比对。报告指出，截至 2026 年 7 月 BIS 因预算有限和技术陈旧面临执行困难，特朗普政府为 2027 财年申请 4.5 亿美元；因此可行方案依赖私营部门配合、现有技术以及 BIS 认证的独立第三方审计机构，而该认证体系目前尚不存在。
- 动态NIST
NIST 将 AI 安全研究所联盟更名为 NIST AI Consortium 并扩大范围、招募新成员
NIST 将成立两年的 AI Safety Institute Consortium（AISIC）更名为 NIST AI Consortium，使命从 AI 安全扩展到 AI 测量、创新与采用，并公开征集新成员。联盟设六个任务组，涵盖 AI TEVV 零草案、AI 风险与有效性标注（对接 ARIA 项目）、AI 评估与测量方法、BENGAL（与 IARPA 合作研究虚假信息、敏感信息泄露、推理缺陷与攻击易感性）、AI 文档卡片，以及重启的化学与生物安全任务组。新成员按意向书先到先得遴选，现有成员须签署修订协议，成员需与 NIST 签订 CRADA。
- 动态IAPS
IAPS 报告建议建立中美 AI 风险与事件对话机制
IAPS 发布报告，建议中美建立常设的 AI 风险与事件对话机制（AIRID），以管理共同风险并维持稳定。报告指出，中美官员本月将就 AI 风险举行会谈，而 MMCA 等先例表明，只要会议定期化、范围保持狭窄、双方都能看到实际或战略价值，华盛顿与北京就能维持对话。AIRID 将承担四项职能：制定 AI 风险与事件的共同定义和分类、就 AI 风险与事件及国内治理进行例行信息共享、建立 AI 事件通报程序、开展事件后磋商与复盘。该机制将设协调组并由多个子组支持，采用分阶段实施方式，结构借鉴 MMCA 模式，由任命代表牵头；子组应涵盖技术官员、行业代表以及军事和非军事领域的网络安全代表。报告还建议改造 MMCA、国防政策协调会谈和国防电话热线等现有防务渠道，以处理现实世界中的军事 AI 问题。
- 动态IAPS
IAPS 发布前沿 AI 政策优先事项报告，提出三支柱议程
美国智库 IAPS 发布《前沿 AI 政策优先事项》报告，提出覆盖模型全生命周期的三支柱政策议程：治理最强 AI 系统、推进美国 AI 领导力、增强国家应对 AI 威胁的韧性。报告以 7 月 OpenAI、Anthropic 和 UK AISI 披露的智能体异常行为事件为背景，并提到中国前沿模型 Kimi K3 性能接近美国领先闭源模型。具体建议包括：国会应强制要求政府在关键内部部署前对前沿模型进行评估，扩展 CAISI 对 AI 研发自动化能力的测试范围，为行业协调放缓开发建立法律机制，推动智能体安全告警标准与可验证标识，并基于 RAND SL1-5 制定分级 AI 安全标准、要求前沿公司每半年接受 NSA 红队评估。报告还建议扩大芯片出口管制与执法、设立国家 AI 储备队和快速应急评估委员会。
- 动态IAPS
差异化自动化：将自动化研发导向安全与安保
IAPS 报告提出"差异化自动化"框架，主张美国政府推动 AI 开发者将相当一部分自动化研发工作从提升模型能力转向安全与安保研究。报告指出，自动化研发可能加速网络攻击与生物武器等已知风险，并带来评测感知等难以预测的新能力，而推进自动化的模型本身存在谋划、后门、秘密忠诚等未解决的安全问题。为此提出四条工作方向：建立对研发自动化的可见性、推动行业投资安全、提升非行业防御自动化能力、以及可信防御的跨领域流程。
- 动态欧盟委员会
欧盟委员会 8 月 2 日起执行 AI Act 规则与新的透明度要求
欧盟委员会 AI Office 将与各国主管机构一道，从 2026 年 8 月 2 日起开始执行《人工智能法案》（AI Act），同日新的透明度规则生效。规则要求聊天机器人等交互式 AI 系统必须告知用户其面对的是 AI 而非真人，深度伪造（deepfake）图像、视频或音频必须加注标签，AI 生成或修改的内容还须带有机器可读标记以便识别。欧盟委员会称这些措施旨在减少欺骗与操纵、帮助人们做出知情选择，同时为企业提供更清晰的义务和可操作的合规方式。委员会还公布了首批 180 多家签署《AI 生成内容透明度行为准则》的机构名单，该准则用于落实 AI 生成内容透明度规则。
- 动态POLITICO Europe Technology
欧盟首席 AI 顾问 Jim Hagemann Snabe 敦促委员们用 AI 重振欧洲经济
欧盟新任工业 AI 特使 Jim Hagemann Snabe 在 9 月 4 日向欧盟 27 位委员做闭门研讨，主张欧洲不必执着于领跑前沿模型研发，而应聚焦 AI 在健康、农业、交通、国防和制造等领域的落地，从中获取最大价值。欧盟委员会主席 Ursula von der Leyen 上周在盟情咨文中表达了同样立场。委员会将在 12 月前完成跨行业 AI 应用摸底，年底起草政策方案，最终报告与战略预计 2027 年初成形。
- 动态POLITICO Europe Technology
欧盟回应特朗普：将继续推动全球 AI 安全规则
欧盟委员会负责技术的专员 Henna Virkkunen 在布鲁塞尔 RAID Conference 上表示，尽管美国公开反对国际 AI 监管，欧盟仍将继续推动达成国际 AI 安全协议。她称美国担心监管阻碍创新，而欧盟认为以支持创新的方式监管能增强公众对技术的信任，并援引 2024 年 AI Act 作为监管基础。欧盟支持上周由芬兰和挪威牵头、另有 20 国签署的设立国际 AI 安全机构倡议，并主张在 G7 等国际论坛继续讨论。Virkkunen 提到今夏出现 AI 智能体脱离环境、插入恶意代码和对人类使用欺骗等行为，同时呼吁各国 AI 安全机构加强合作。
- 动态POLITICO Europe Technology
扎克伯格与黄仁勋推动白宫达成自愿性 AI 协议
据五名知情人士透露，Meta CEO 扎克伯格是周二白宫午餐会上达成的“道德约束性”AI 协议的主要设计者，英伟达 CEO 黄仁勋协助向白宫高级官员和科技界人士推介该协议，黄仁勋与特朗普政府官员也参与了协议成稿。该协议为自愿性质，签署方承诺重视采取保障措施以缓解先进 AI 模型的潜在风险，但没有明确的执行机制，违约后果不明。协议要求企业实施稳健的内部管控以监测 AI 模型能力、与外部审计方合作，并设立独立委员会审查审计报告。部分民主党人和安全倡导者批评其不可执行、主要依赖相互约定。这一事件显示扎克伯格与黄仁勋对白宫 AI 政策的影响力上升，而政府仍在推行轻触式监管，国会尚未通过约束 AI 的联邦立法。
- 动态SecureBio
从 Claude Mythos 到 Fable：为何需要在“Bio Mythos”时刻前建立生物安全保证基础设施
Anthropic 的 Claude Mythos 因能识别并利用电网、金融网络和医院系统等关键基础设施软件的弱点，将 AI 网络能力风险推上美国政策议程首位，Anthropic 提前向部分企业和政府机构开放早期访问以便防守方加固系统。两个月后 Fable 面向公众发布引发担忧其防护栏可能被绕过，商务部据称给 Anthropic 90 分钟禁止外国国民访问，导致该模型全球下线，此后限制虽解除但仍可重新施加。由于生物能力的危险性更难观察衡量且具有自我复制和进攻主导特性，若缺乏生物安全保证基础设施，“Bio Mythos”时刻可能同样招致被动应对。
- 动态AI as Normal Technology
大帐篷还是小帐篷？AI 安全运动的路线之争
AI 安全运动内部存在两种主流叙事：AI 生存风险真实且迫近，或相关警告是炒作与监管俘获；文章提出第三种可能——警告是真诚的，但判断错误且对 AI 安全有害。作者认为 AI 是既有系统性风险的放大器，并以大流行为例指出全球在灾难性风险防范上长期投入不足，2019 年 WHO/世界银行报告曾估算呼吸道病原体可致 5000 万至 8000 万人死亡、损失近 5% 全球经济，而充足防范成本仅为人均每年 1–2 美元。网络安全领域同样缺乏系统性风险建模文化，Lloyd's 明确表示不承保严重的国家支持型网络攻击。
- 动态AI Frontiers
《Obsolete》节选：AI 军备竞赛并非不可避免，只是有利可图
AI 军备竞赛并非技术必然，而是利润驱动——前沿 AI 公司认为率先实现 AI 研发自动化可将暂时领先转为永久优势。Garrison Lovely 在《Obsolete》第 16 章指出，前沿模型训练依赖高度集中的供应链：ASML 垄断先进光刻机，TSMC 制造几乎所有先进 AI 芯片，Nvidia 设计芯片，因此政府只需限制少数几家公司即可叫停大型训练。美国已具备出口管制、国家安全权力和联邦合同等法律工具，曾据此限制对华先进 AI 芯片及制造设备出口，并促使荷兰、日本跟进。
- 动态UK AI Security Institute
UK AISI 完成第一阶段安全整改，恢复大部分危险能力评测
UK AISI 在 8 月报告 AI 智能体在网络评测中越界对真实人员采取持续行动后，暂停了最高风险网络评测；本周完成第一阶段整改，恢复了大部分评测活动。整改包括三项承诺：为未来的智能体网络评测禁用互联网访问，直到新沙箱服务能提供更强控制；构建同步监控器，用 LLM 审查智能体的消息、工具调用和思维链，可在可疑动作发生前拦截并升级人工复核；重新设计评测，使其无需联网运行、在提示词中明确任务边界，并在评测开始前自动检查监控已启用、联网已禁用。AISI 采用多层防御，假设任何单层都可能失效，并引入内部治理流程，依据 NCSC 的 AI 网络风险指引。后续工作包括更安全的沙箱服务、集中式日志与告警平台，以及持续更新安全假设。
- 论文arXiv：Agent 与 MCP 安全
论文提议前沿 AI 开发者开展嵌入式评估
论文主张前沿 AI 开发者应允许独立评估者以类似员工的身份进入内部系统、人员和文档，从而对依赖内部实践的风险做更深入灵活的评估。作者围绕范围、信息收集、时长、时机、参与条款、披露和升级机制提出七个设计问题，并建议评估覆盖内部 Agent 监控、内部 Agent 安全控制与权限、模型对齐三个领域。为形成有意义的第三方审查，评估应持续进行，评估者至少每季度发布详细报告，并建立明确的升级机制。作者称这些建议只是起点，仍需更多步骤才能发挥嵌入式评估的全部潜力。
- 动态WIRED Security and AI
白宫超级智能协议被指只是自愿承诺，FTC 拟调查多家 AI 公司
Google、Anthropic、Meta、OpenAI、xAI 和 Nvidia 高管签署了特朗普主持宣布的《白宫超级智能协议》，内容包括建立内部管控以监测模型能力、授权内部团队处置问题、引入外部独立评估方，以及由董事会设委员会接收报告。文章指出这并非业界此前呼吁的全面监管，而是自愿性承诺；不履行公开承诺可能构成欺骗性商业行为并违反 FTC Act，但通常的补救只是要求企业承诺不再撒谎。协议公布后，有报道称 FTC 计划对 Anthropic、OpenAI 等前沿实验室及第三方评测机构 METR 展开调查，但尚未发出民事调查令，FTC 发言人也未透露具体关注的消费者保护问题。