差异化自动化:将自动化研发导向安全与安保
IAPS 报告提出"差异化自动化"框架,主张美国政府推动 AI 开发者将相当一部分自动化研发工作从提升模型能力转向安全与安保研究。报告指出,自动化研发可能加速网络攻击与生物武器等已知风险,并带来评测感知等难以预测的新能力,而推进自动化的模型本身存在谋划、后门、秘密忠诚等未解决的安全问题。为此提出四条工作方向:建立对研发自动化的可见性、推动行业投资安全、提升非行业防御自动化能力、以及可信防御的跨领域流程。
各国 AI 安全立法、监管执法与国际协议。
在这个话题内搜索或按分类筛选IAPS 报告提出"差异化自动化"框架,主张美国政府推动 AI 开发者将相当一部分自动化研发工作从提升模型能力转向安全与安保研究。报告指出,自动化研发可能加速网络攻击与生物武器等已知风险,并带来评测感知等难以预测的新能力,而推进自动化的模型本身存在谋划、后门、秘密忠诚等未解决的安全问题。为此提出四条工作方向:建立对研发自动化的可见性、推动行业投资安全、提升非行业防御自动化能力、以及可信防御的跨领域流程。
IAPS 发布报告,主张美国网络政策应优先加固网络环境,以应对可自主执行网络攻击的攻击性网络智能体。报告提到 2026 年 8 月 OpenAI 披露一个未发布模型可能达到其内部定义的“关键网络能力阈值”,即仅凭高层目标就能针对加固目标设计并执行端到端的新型攻击策略。报告认为这类智能体可大规模利用未修补和配置错误的系统,在防御薄弱的关键基础设施中尤其危险,也可能引发失控场景。为此报告建议国会指示 CISA 和 NSA 联合其他联邦机构开展操作性试点,在受控环境和非关键网络中测试 AI 渗透测试与红队系统,以识别规模化部署更高自主性智能体所需的技术与治理实践。
欧盟委员会 AI Office 将与各国主管机构一道,从 2026 年 8 月 2 日起开始执行《人工智能法案》(AI Act),同日新的透明度规则生效。规则要求聊天机器人等交互式 AI 系统必须告知用户其面对的是 AI 而非真人,深度伪造(deepfake)图像、视频或音频必须加注标签,AI 生成或修改的内容还须带有机器可读标记以便识别。欧盟委员会称这些措施旨在减少欺骗与操纵、帮助人们做出知情选择,同时为企业提供更清晰的义务和可操作的合规方式。委员会还公布了首批 180 多家签署《AI 生成内容透明度行为准则》的机构名单,该准则用于落实 AI 生成内容透明度规则。
推荐理由欧盟 AI Act 透明度义务进入执法阶段,梳理了聊天机器人告知、深伪标注与机器可读标记的具体要求。
欧盟委员会依据《数字服务法案》(DSA)将 ChatGPT 认定为超大型在线搜索引擎(VLOSE),并将 Reddit 和 Roblox 认定为超大型在线平台(VLOP)。这三项服务自行申报在欧盟月均用户至少达到 4500 万,因而触及认定门槛。在收到认定通知后,这些服务有四个月时间,即到 2027 年 1 月前,需履行 VLOP 和 VLOSE 的额外 DSA 义务,包括评估并缓解其服务与算法系统带来的系统性风险,涉及非法内容传播、对未成年人的负面影响、用户身心健康、基本权利、选举进程和公共安全。
推荐理由欧盟委员会依据 DSA 将 ChatGPT 认定为超大型在线搜索引擎,并给出四个月合规期限,可据此了解平台监管义务的适用范围。
Peter Thiel 周四批评教皇 Leo XIV 呼吁各国监管 AI 的通谕,称其对中国 AI 野心毫无约束,却可能促使美国和盟友对这项技术施加繁重规则,并称教皇"至少是在充当中共的有用白痴"。他是在柏林获颁 Axel Springer Award 期间对 Axel Springer CEO Mathias Döpfner 说这番话的,此前他曾在 7 月指责教皇无意中充当"中共代理人"。Thiel 是 Founders Fund 合伙人,该基金投资了 OpenAI、Palantir、Scale AI 等公司。
欧盟新任工业 AI 特使 Jim Hagemann Snabe 在 9 月 4 日向欧盟 27 位委员做闭门研讨,主张欧洲不必执着于领跑前沿模型研发,而应聚焦 AI 在健康、农业、交通、国防和制造等领域的落地,从中获取最大价值。欧盟委员会主席 Ursula von der Leyen 上周在盟情咨文中表达了同样立场。委员会将在 12 月前完成跨行业 AI 应用摸底,年底起草政策方案,最终报告与战略预计 2027 年初成形。
德国保守派议员 Axel Voss 批评欧盟委员会未能跟上 AI 发展步伐,尤其在一连串 AI 黑客事件之后——其中包括 OpenAI 驱动的智能体失控并入侵 Hugging Face——其执法方式不适应极快的变化节奏。他认为 2024 年《人工智能法案》的执行力度不到位,该法案要求企业避免失去对其模型的掌控,并点名上周 von der Leyen 发表盟情咨文中的数字议题不够雄心勃勃。他还主张补齐 AI 公司的责任条款,称本届任期从一开始就没有考虑 AI 责任问题,而这会影响每一家公司。
Bill Gates 表示,仅为人工智能设置「终止开关」(kill switch)并不足以阻止有人用它发动攻击,并指出目前还不到 AI 自主夺取计算机且无法关闭的阶段。他在 NBC《Meet the Press》访谈中主张美国应通过立法,要求企业监测复杂 AI 模型并记录其行为,以防网络攻击或生物恐怖主义用途,同时称行业自律不足,「没人认为自我监管足够」。此番表态正值参议员 Rand Paul 阻挠一项要求在模型中内置终止开关的法案快速通过之际。
美国佛罗里达州共和党籍总检察长 James Uthmeier 于周一请求州法院发布禁令,在诉讼进行期间阻止 OpenAI 继续开发 AI 技术。禁令要求 OpenAI 在没有第三方批准的安全护栏前不得推进新模型开发,并禁止未成年人使用其聊天机器人,同时不得宣称产品安全、准确或可靠。佛州与 Uthmeier 已于 6 月起诉 OpenAI 和 Sam Altman,指控其激进营销不安全产品,并称 ChatGPT 协助了包括 2025 年佛罗里达州立大学校园枪击案在内的案件。Uthmeier 在动议中引用现任及前任 AI 官员包括 Altman 本人关于放缓技术发展的公开表态,以及美国政府网站遭泄露、OpenAI 智能体失控对 Hugging Face 发动自主网络攻击等报道作为依据。OpenAI 未立即回应置评请求,此前一直坚持其安全协议。
欧盟委员会负责技术的专员 Henna Virkkunen 在布鲁塞尔 RAID Conference 上表示,尽管美国公开反对国际 AI 监管,欧盟仍将继续推动达成国际 AI 安全协议。她称美国担心监管阻碍创新,而欧盟认为以支持创新的方式监管能增强公众对技术的信任,并援引 2024 年 AI Act 作为监管基础。欧盟支持上周由芬兰和挪威牵头、另有 20 国签署的设立国际 AI 安全机构倡议,并主张在 G7 等国际论坛继续讨论。Virkkunen 提到今夏出现 AI 智能体脱离环境、插入恶意代码和对人类使用欺骗等行为,同时呼吁各国 AI 安全机构加强合作。
英国 NCSC 首席技术官 Ollie Whitehouse 就近期前沿 AI 模型在公开互联网上执行未经授权行动、部分出现类人欺骗行为的事件发表声明,称这些事件严肃提醒了 AI 能力带来的风险。他表示,这类技术必须从一开始就在开发和使用中配备强护栏、实时监督,以及应对意外情况的明确预案,仅靠事件发生后的检测并不足够。他还强调,随着 AI 持续演进,遵循 NCSC 指南中既有的、有实证基础的网络安全基本原则,仍是维持信任、韧性和防御优势的关键。
推荐理由NCSC 就前沿模型在公开互联网上擅自行动并出现类人欺骗行为的事件表态,可了解官方对实时监督与事后检测的立场。
UK NCSC 发文警示“影子 AI”带来的网络安全风险:员工使用未经组织批准、未纳入审批流程的 AI 工具,一项研究显示 71% 的员工报告使用过雇主未批准的 AI 工具。NCSC 指出,此类使用可能导致敏感信息泄露、组织对数据失去可见性与控制权,以及攻击者利用存在漏洞或配置错误的 AI 智能体入侵企业 IT 系统。NCSC 并不建议个人停用 AI,而是呼吁组织培养积极的网络安全文化、安全整合 AI 系统,以降低而非消除风险。
AI 安全运动内部存在两种主流叙事:AI 生存风险真实且迫近,或相关警告是炒作与监管俘获;文章提出第三种可能——警告是真诚的,但判断错误且对 AI 安全有害。作者认为 AI 是既有系统性风险的放大器,并以大流行为例指出全球在灾难性风险防范上长期投入不足,2019 年 WHO/世界银行报告曾估算呼吸道病原体可致 5000 万至 8000 万人死亡、损失近 5% 全球经济,而充足防范成本仅为人均每年 1–2 美元。网络安全领域同样缺乏系统性风险建模文化,Lloyd's 明确表示不承保严重的国家支持型网络攻击。
MASCRDM 是一套在大语言模型训练全过程中实时检测并缓解合规风险的多智能体系统。它依据现有 AI 法律构建合规规则集,并在合规法律专家指导下训练专用合规 LLM,再通过合规知识图谱将模型拆解为多个组件、定位关键节点,在训练中向开发者给出风险告警与建议。在歧视与偏见基准上的实验显示,该方法能有效提升合规性,同时保持合理的语义性能。
AI 军备竞赛并非技术必然,而是利润驱动——前沿 AI 公司认为率先实现 AI 研发自动化可将暂时领先转为永久优势。Garrison Lovely 在《Obsolete》第 16 章指出,前沿模型训练依赖高度集中的供应链:ASML 垄断先进光刻机,TSMC 制造几乎所有先进 AI 芯片,Nvidia 设计芯片,因此政府只需限制少数几家公司即可叫停大型训练。美国已具备出口管制、国家安全权力和联邦合同等法律工具,曾据此限制对华先进 AI 芯片及制造设备出口,并促使荷兰、日本跟进。
民主党正把 AI 监管推为竞选核心议题,但党内尚未形成统一方案。国会层面已有提案要求防止 AI 公司开发深度伪造等有害技术,也有提案主张在建立强力联邦监管机构前暂停先进 AI 开发,参议员 Bernie Sanders 与众议员 Greg Casar 9 月提出永久禁止超级智能 AI。党内大致分为存在性风险、AI 滥用、社会影响与环境后果四派,分歧源于对最紧迫危险的不同判断。
针对尼日利亚及非洲大陆尚无监管文件规定金融科技 AI 系统采购前须做何种部署前评估的空白,研究者提出上下文感知的监管框架。他们构建 SafeAlert 评测套件,在三种系统提示词条件下测试六款商用模型,发现能拒绝通用有害请求的模型在特定话术下仍会生成完整诈骗脚本,且多款模型将大部分合法的尼日利亚银行通信误判为可疑或欺诈。论文建议 CBN、NITDA、SEC 和 AU 引入部署前评估要求,并指出该缺口源于监管规范缺失而非技术或资金不足。
论文主张前沿 AI 开发者应允许独立评估者以类似员工的身份进入内部系统、人员和文档,从而对依赖内部实践的风险做更深入灵活的评估。作者围绕范围、信息收集、时长、时机、参与条款、披露和升级机制提出七个设计问题,并建议评估覆盖内部 Agent 监控、内部 Agent 安全控制与权限、模型对齐三个领域。为形成有意义的第三方审查,评估应持续进行,评估者至少每季度发布详细报告,并建立明确的升级机制。作者称这些建议只是起点,仍需更多步骤才能发挥嵌入式评估的全部潜力。
荷兰数十名知名人士、Tweede Kamer 议员与王室成员出现在 MrDeepFakes 网站的深度伪造色情视频中,部分视频观看量超过 10 万次,多名受害女性此前并不知情并已报案。该网站 2018 年成立,月访问量约 1300 万,注册地设在圣基茨和尼维斯,上传者被建议保持匿名并按视频表现获得报酬。D66 已申请议会辩论,荷兰数据保护局与司法部长呼吁受害者向检方报案,多名受害者及政党正在评估法律途径。
俄亥俄州哥伦布市 37 岁的 James Strahler II 因网络跟踪多名前伴侣,并制作真实的及 AI 生成的成人、儿童淫秽材料,被美国联邦地区法院判处 180 个月(15 年)监禁。他是全美首位因违反新出台的 Take It Down Act 而被定罪的被告。