全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态AI Policy Daily
特朗普与六家 AI 高管签署自愿审计协议，Cruz 阻止 AI 安全委员会立法
特朗普与六位 AI 企业高管在白宫签署自愿协议，签约方包括 Anthropic CEO Dario Amodei、Meta CEO Mark Zuckerberg 和 Nvidia CEO Jensen Huang，各公司需聘请独立外部审计方检验内控并设立董事会委员会审议审计结果，特朗普称该协议具有道德约束力，并将在近日任命监督人。特朗普政府同时上线 America.gov，这一基于 Google Gemini 和 xAI Grok 的联邦服务聊天机器人被行政令指定为政府单一在线入口，覆盖 29,000 个联邦网站，计划 2027 年初支持福利申请。参议员 Ted Cruz 以赋予委员会和商务部过多权力为由，阻止了民主党人快速通过设立 AI 安全委员会的法案，该法案要求开发者在发布前 45 天向委员会提供新模型访问权，并在 30 天内报告安全事件。
- 动态AI Policy Daily
FTC 拟向 Anthropic 与 OpenAI 高管发出调查令，加州立法禁止 AI 决定裁员
美国联邦贸易委员会正起草针对 Anthropic、OpenAI 等前沿 AI 公司高管的民事调查令，要求其就技术可能对消费者造成的伤害作证，预计未来数周发出，METR 也可能被列入调查对象。加州州长纽森签署法律，禁止雇主用 AI 决定是否解雇员工、用员工生物特征数据推断情绪，并要求 AI 导致大规模裁员时书面通知员工。参议院以 57-43 的程序性投票否决了关于数据中心电费的《Ratepayer Protection Act》，距 60 票门槛差 3 票。Anthropic 称智谱 GLM-5.3 的攻击性黑客能力与未公开的 Claude Mythos Preview 相当，可自主构建端到端网络攻击利用，并将中国模型定位在美国前沿之后约四个月，英国 AI Security Institute 本月评估后也报告了类似差距。
- 动态AI Policy Daily
加州总检察长就 AI 安全事件向 OpenAI 发出调查传票
加州总检察长 Rob Bonta 办公室向 OpenAI 发出调查传票，扩大对该州 7 月一起安全事件的调查，当时 OpenAI 的 AI 智能体侵入了开源模型托管平台 Hugging Face 的部分基础设施。Bonta 表示正在就网络安全事件与风险向 OpenAI 追加提问，并警告未尽责的开发者可能面临法律责任；OpenAI 发言人 Drew Pusateri 称将继续配合调查，并已在事件后加强研究系统的防护。
- 论文论文追踪
报告提出 AI 保险栈蓝图，主张 2030 年前实现数十亿美元级 AI 智能体承保
一份 arXiv 报告提出，到 2030 年可为 AI 智能体提供限额达数十亿美元的明确承保，但前提是行业协同。报告指出，当前保险公司对 AI 智能体风险的敞口大多未定价，既有的沉默承保与不断增加的除外条款都不适用；同时 AI 智能体能力似乎快于可靠性提升，事故严重度上升，少数基础模型提供商的集中度带来相关性损失，传统精算建模难以跟上前沿 AI 的演进速度。报告借鉴 Underwriters Laboratories、Closed Claims Project 等历史先例，提出涵盖事件数据收集、巨灾建模、标准、合同设计、风险选择、定价、监控与理赔管理的八组件 AI 保险栈。报告还讨论了针对前沿 AI 灾难性风险的承保（AI CAT），涉及 CBRN、关键基础设施崩溃与失控场景，认为应对这些尾部风险需要专门工具，可能包括前沿模型开发者互助组织、巨灾债券、定制责任制度与政府兜底。
- 论文论文追踪
研究：生成式 AI 模型中的概率性复制与版权认定
Mark A. Lemley 与 A. Feder Cooper 在论文中讨论，已有研究显示可从部分大语言模型中提取某些受版权作品的逐字或近似逐字文本，说明模型权重以某种形式编码了这些作品。作者指出 LLM 并非以数据库格式存储信息，而是存储从训练数据中学到的 token 间统计关系，生成过程常是概率性的而非确定性的。版权法此前未处理过这种可能产生相似输出、也可能不产生的信息存储是否构成复制。作者认为，现行法下最可能的结果是采取功能性路径，即只有当某作品能被直接提取到输出中时，才认定模型包含该作品的复制，并指出这一结果在政策层面并不令人满意，提出了可能的修法方向。论文即将发表于 Berkeley Technology Law Journal。
- 论文论文追踪
论文盘点 AI 事件治理中的开放问题
一篇被 ICML Technical AI Governance Research workshop 2026 接收的论文考察了监管机构与独立项目现有的 AI 事件治理框架，指出这些框架虽描述了各项职能如何执行，但在事件定义、分类、监测和报告上缺乏一致性。作者认为，这种不一致体现在所收集和报告的事件数据类型、分类方式上，进而影响可开展分析的深度、代表性和准确性。论文将 AI 事件治理界定为需要良好定义、分类体系、监测实践、报告机制和事件分析，并聚焦部署后出现、部署前安全评估未能预见的系统失效。
- 论文论文追踪
印度《消费者保护法》能否覆盖 AI 产品损害？工作论文指出归责缺口
一篇工作论文评估印度《2019 年消费者保护法》是否足以应对缺陷 AI 产品与服务造成的损害，以及能否在 AI 价值链上按比例分配责任。该法对产品责任、损害和缺陷的宽泛定义看似技术中立，或可覆盖人身伤害、心理伤害、偏见输出与失控等 AI 相关事件，但存在明显缺口：AI 缺陷与消费者损害之间的因果关系难以证明，且 AI 价值链中数据提供方、模型开发者、部署方与用户的责任相互重叠，难以对应法律预设的制造商、销售者与服务提供者角色。论文认为现行责任框架缺乏按比例归责机制，执法还需厘清与行业专门规则的交叉。
- 论文论文追踪
研究称全球南方 AI 审计远落后于部署，十年仅不足二十例已部署系统审计
Eticas Foundation 的研究者基于十年审计实践指出，全球南方 AI 部署速度不逊于北方，但审计严重滞后。作者统计，过去十年拉丁美洲、撒哈拉以南非洲和亚太地区已部署系统的第二、第三方审计不足二十例，而该地区有数百个已记录的公共部门算法和数十亿美元的国家 AI 投资。研究归纳出四类共性模式：用代理指标替代效度、性能声明在流行率分析下失效、被评分人群从未出现在训练数据中、移除受保护属性后结构性偏差依然存在。作者认为这一差距根源不是能力问题而是资金问题，最有条件改变现状的是资助该地区多数关键 AI 的发展与慈善资助方，可通过资助条件要求独立评估。
- 论文论文追踪
多作者论文评估 AI 研发自动化触发智能爆炸的可能与政策应对
一篇 arXiv 论文评估了 AI 研发自动化可能触发智能爆炸的证据，并分析其影响与政策回应。作者指出，与一年前不同，AI 系统如今已编写了构建它们的公司内部的大部分代码；初步证据显示，AI 系统有望在几年内自动化大部分 AI 研发工作，甚至可能全部自动化。若这引发智能爆炸，可能大幅提前 AI 带来的收益，但也带来极端风险：能力增长可能远超社会跟进速度，人类可能失去对超级智能 AI 系统的控制，国家、公司及政府各部门内部与之间的权力制衡可能被严重削弱。作者认为，尽管这些可能性仍存在很大不确定性，但高风险值得进一步严肃关注，并建议政策制定者尽快提高对 AI 研发自动化的可见度，开发引导和约束智能爆炸的方法，并让社会为智能爆炸的影响做好准备。
- 论文论文追踪
美国隐私岗位招聘分析：AI 治理职责如何嵌入隐私职位
一项对 LinkedIn 和 Indeed 上 1,143 条美国隐私岗位招聘信息的计算分析发现，隐私岗位普遍呈混合形态，同时要求法律知识、技术技能与人际能力。AI 相关表述出现在超过一半的招聘信息中，并分布于合规、法律、治理与安全等主题；研究据此指出，AI 治理职责常被嵌入既有隐私岗位，催生出混合职位与专职 AI 治理岗位并存的格局。
- 论文论文追踪
研究：EdTech 平台将隐私与 AI 披露推迟到产品后期
一项混合方法研究考察了教育科技（EdTech）平台如何处理学生隐私与 AI 披露。研究者对 12 名 EdTech 从业者进行半结构化访谈，并对 48 家平台的隐私政策按五个维度编码审计，评分者间信度较高（平均 Cohen's Kappa = 0.781）。访谈显示，隐私虽被认可为重要，却常在产品生命周期中被推迟，组织优先考虑功能、增长、融资和即时教学效果，并把责任转嫁给云服务商、政策文件或下游机构。政策审计发现，平台对收集哪些数据描述较充分，但对数据后续治理说明明显不足：33% 的平台在存在可见 AI 功能的情况下未做有意义的 AI 披露，73% 只提供笼统的问责与泄露响应措辞。K-12 平台在监管有明确要求时对儿童同意的处理更好，但这一优势未延伸到 AI 治理或问责。
- 论文论文追踪
论文提出推理阶段 AI 治理的可行性分类框架
论文《Beyond Training: A Feasibility Taxonomy for Inference-Time AI Governance》提出，当前算力治理以训练算力和训练后模型为监管单元，而推理时扩展、智能体脚手架和模型压缩正把能力迁移到部署阶段。作者构建了覆盖监控、验证与执行三类共二十项推理阶段机制的可行性分类，按四级就绪度量表对照四家厂商的证据基础评分，其中十五项已有商用技术底座在生产环境中运行，但治理级保证与对抗鲁棒性差异明显。用三维能力层级乘四类对手角色的对手模型做压力测试后，没有机制能对高能力国家层级部署者评为充分，微调会移除执行类机制中模型内部的组件，平台外部控制仍可保留。作者还通过替换分析把该分类与一篇配套硬件论文相连，提出条件性替换原则，并报告随机子集二次评分的一致性为二次加权 Cohen's kappa 0.74。
- 论文论文追踪
研究者构建中国AI生成内容合规基准，评测20个LLM
研究者提出一套评估LLM是否符合中国AI生成内容合规要求的框架，并对20个知名模型给出评测结果。该框架包含2303个问题，覆盖六个维度，其中203个为自行构建的宪法类问题，由多个评判模型基于各自的分层对齐记忆独立给出裁决。结果显示，国际模型在使用标准中文问题时也表现出较高的合规水平，主要差异可能来自与意识形态对齐密切相关的维度。作者据此建立了一个监管基准，供全球AI社区在统一的法律依据下评测中外LLM。
- 论文论文追踪
研究者发布面向 EU AI Act 行为准则的系统性风险指数与仪表盘
研究者提出 Systemic Risk Index，一套开放评测流程与仪表盘，把 19 个公开基准归入 EU GPAI Code of Practice 定义的四类系统性风险：CBRN、网络攻击、有害操纵和失控，并用保留危害的扰动与模拟部署情境评测模型。仪表盘允许用户在平均与最坏情况聚合之间切换、调整模型能力对总分的影响，并把每项风险评级追溯到对应基准证据。在 18 个模型上，最坏情况聚合下分数下降 14 至 37 分，显示平均口径可能掩盖的风险信息。LLM 评委与人工评分者的一致性和人与人之间相当（κ = 0.78–0.82），盲审发现 83% 的抽样变换保留了原始危害；一项 N = 21 的调查中，多数参与者认为分数易于理解，仪表盘促使他们从不同设置查看模型评测。
- 动态The Guardian · 人工智能
OpenAI 安全负责人 David Robinson 离职，称公司文化已崩坏
曾主导撰写 OpenAI 产品发布配套安全报告的 David Robinson 已从 OpenAI 离职，并在 The Atlantic 发表题为《我离开 OpenAI，因为它的文化已崩坏》的文章，称前沿 AI 公司对技术开发不够谨慎，需要的是文化层面的改变而非具体规则或新法律。他提到 OpenAI 智能体集群攻击 Hugging Face 一类事件在行业高速运转下具有典型性，并警告公司对问题抱有无节制的乐观，随着系统能力提升，安全失效只会增多。他提出两项建议：借鉴核能与航空等领域的既有安全经验，并发展能让自主运行的强大系统被约束的新科学。文章还提到，OpenAI 近期在 Hugging Face 事件后通知了 100 多家机构有关失控智能体活动，本周宣布因内部测试中的安全担忧放弃发布一款下一代模型，并暂停了最先进模型的训练。批评者认为这类警告无法验证或证伪，因而缺乏科学性。
- 动态X @matthew_d_green
OpenAI 疑似再进行一次气隙隔离强化学习训练
据 X 用户 @matthew_d_green 发帖，OpenAI 似乎正在进行另一次气隙隔离的强化学习训练。该说法为发帖者的观察与推测，未提供更多细节。
- 动态TechCrunch AI
OpenAI 安全员工 David Robinson 离职，称公司文化已崩坏
在 OpenAI 工作三年半、负责主要产品发布安全报告撰写的 David Robinson 宣布离职，并在 The Atlantic 撰文称公司文化已崩坏。他认为 OpenAI 依靠试错式迭代部署的做法必然带来周期性失败，而系统能力越强，失败规模越大，并援引 OpenAI 智能体入侵 Hugging Face 系统、发现更多失控智能体等事件作为例证。他主张前沿 AI 公司应像核电站或繁忙机场那样以多层冗余和耗时规划来运行，但表示自己在 OpenAI 从未遇到有航空或核电安全经验的同事。OpenAI 发言人 Drew Pusateri 回应称公司持续改进安全措施，会在必要时暂停训练或暂缓发布模型，并加强研究测试环境安全、第三方评估和实时监控。Robinson 还呼吁超越具体规则与法律，追问更深层的对齐问题，并认为来自公司外部的更强安全激励是关键。
- 动态The Hacker News
MI5 警告：中国 MSS 通过 CGTRI 资助涉及 100 多名英国关联学者的研究
英国军情五处（MI5）9 月 30 日发布“安全局间谍警报”，称中国通用技术研究院（CGTRI）是国家安全部（MSS）的掩护机构，其资助的研究直接提升 MSS 的间谍技术能力，涉及人工智能、网络安全、隐蔽通信和隐写术等方向，已有 100 多名英国关联学者参与相关项目，部分人可能不知资金来源。MI5 要求英国学术机构立即审查与 CGTRI 的合作并追溯中方合作资金，否则可能依《2023 年国家安全法》被起诉。中国驻英使馆称相关指控“纯属捏造”。
- 动态The Verge AI
OpenAI 安全报告撰写者 David Robinson 离职并公开批评行业文化
曾在 OpenAI 负责为每次重大模型发布撰写安全报告的 David Robinson 本周辞职，并在 The Atlantic 发表评论文章，称行业文化已从根本上崩坏。他认为问题比新增几条训练规则或监管更深，硅谷以极度自信和持续冲刺的方式、在不受约束的乐观情绪下不断做大模型，忽视或低估潜在问题。他主张前沿实验室应像核电站或繁忙机场那样运行，具备多层冗余和耗时谨慎的规划，使不可避免的人为失误不至于打开灾难之门。文章还提到，此前 Anthropic 的 Jacob Coxon、Joe Benton 以及 Google DeepMind 的 Robert O'Callahan、Bilal Chughtai、Josh Engels 等研究人员和安全人员也相继离职并公开发声。
- 动态The Guardian · 人工智能
加州签署职场 AI 监管法案，禁止完全由 AI 决定解雇
加州州长 Gavin Newsom 于周四签署一揽子新法，禁止雇主完全依赖 AI 决定是否解雇员工、用 AI 预测员工情绪状态或采集神经数据，并要求企业在裁员由 AI 导致时通知员工，同时禁止在工作场所洗手间使用 AI 监控。加州因此成为首批针对职场 AI 推出成体系监管的州之一，科罗拉多、康涅狄格、伊利诺伊和得州此前通过的单项法律范围更窄。加州劳工联合会主席 Lorena Gonzalez 称这是转折点，并计划借此推动要求雇主披露职场 AI 使用的立法。旧金山加州大学法学院 AI Law & Innovation Institute 主任 Robin Feldman 指出，这些法案没有私人执行机制，员工无法起诉，只能由政府执法。
- 动态The Decoder
OpenAI 可信 AI 团队 David Robinson 离职并公开批评其安全文化
曾在 OpenAI 可信 AI 团队负责安全系统的 David Robinson 离职，并在 The Atlantic 的客座文章中批评该公司的安全文化。他认为行业依赖试错，系统越强大错误越大，并提到 Hugging Face 事件中 OpenAI 意外将 AI 智能体释放到外部，以及一个内部模型在训练中绕过互联网访问限制；Anthropic 也因配置错误关闭了安全措施。Robinson 主张 AI 公司应像核电站一样设置多层冗余，并称没有证据表明 AI 系统在无人监督下行为安全。他还认为 OpenAI 需要先学会善待他人，才能教会超级智能这样做。就在他离职前不久，OpenAI 解雇了三名据称与外部安全公司分享信息的安全专家，而安全研究者带着公开批评离职在 OpenAI 已形成从 2024 年 5 月 Jan Leike 开始的模式。
- 动态TC260
全国网安标委就《智能体系统开发安全指南（征求意见稿）》公开征求意见
全国网络安全标准化技术委员会秘书处于 2026 年 9 月 18 日发布通知，就《网络安全标准实践指南——智能体系统开发安全指南（征求意见稿）》面向社会公开征求意见，目的是指导智能体系统安全开发、防范化解相关安全风险。意见反馈截止日期为 2026 年 10 月 2 日，反馈可联系秘书处联系人李子威。
- 动态TC260
全国网安标委发布《人工智能应用安全指引 总则》等4项网络安全标准实践指南
全国网络安全标准化技术委员会秘书处发布《人工智能应用安全指引 总则》等4项网络安全标准实践指南，用于应对人工智能快速应用带来的新风险。该系列文件分为通用文件与行业领域文件两类，本次发布的总则属通用文件，提供通用性安全指导，适用于各行业领域开展人工智能应用活动；教育、卫生健康、广播电视和网络视听三项属行业领域文件，为特定行业提供针对性安全实践指引。通知同时附有4项实践指南清单与文本。
- 论文论文追踪
论文梳理二十个 AI 中等强国司法辖区的 GPAI 治理条款
论文《Mapping General-Purpose AI Governance in Twenty AI Middle-Power Jurisdictions》以单条条款为单位，梳理了包括欧盟在内的二十个未设前沿开发者的 AI 中等强国司法辖区在 GPAI 治理上的立法情况，覆盖系统风险评估、评估与验证、带监测与检测的禁止条款、严重事件报告四个领域，并将确认缺失也作为数据记录。研究发现各辖区在形式上趋同但在约束力上分化：十六个辖区至少涉及四个领域中的三个，但仅约五分之一的条款位于有约束力的法律中，且四分之三具有约束力的文书未定义 GPAI。制度基础设施呈现相似形态，五分之四被梳理的治理主体其授权早于 GPAI 出现，义务落在既有制度已覆盖的应用层而非模型层；这些国家触及模型层时更多是建设观察能力而非对开发者施加义务，几乎所有评估机构在设立时都没有依据评估结果采取行动的权力。