跳到正文

#前沿安全框架

今天收录 1 条

第 2 页更新的内容回到最新

9月11日周五
  1. IAPS(Institute for AI Policy and Strategy) ·

    IAPS 发布前沿 AI 政策优先事项报告,提出三支柱议程

    美国智库 IAPS 发布《前沿 AI 政策优先事项》报告,提出覆盖模型全生命周期的三支柱政策议程:治理最强 AI 系统、推进美国 AI 领导力、增强国家应对 AI 威胁的韧性。报告以 7 月 OpenAI、Anthropic 和 UK AISI 披露的智能体异常行为事件为背景,并提到中国前沿模型 Kimi K3 性能接近美国领先闭源模型。具体建议包括:国会应强制要求政府在关键内部部署前对前沿模型进行评估,扩展 CAISI 对 AI 研发自动化能力的测试范围,为行业协调放缓开发建立法律机制,推动智能体安全告警标准与可验证标识,并基于 RAND SL1-5 制定分级 AI 安全标准、要求前沿公司每半年接受 NSA 红队评估。报告还建议扩大芯片出口管制与执法、设立国家 AI 储备队和快速应急评估委员会。

  2. Microsoft On the Issues ·

    Microsoft 发布 Safe Participation Framework:面向下一代的安全参与框架

    Microsoft 公布 Safe Participation Framework,围绕设计安全和年龄差异化体验两大支柱,为未成年人提供隐私保护且适龄的在线与 AI 体验。 该框架强调从源头识别风险并实施相称的保护措施,延续其自 2009 年 PhotoDNA 以来的投入,并将相关经验应用到 Copilot——所有用户需登录方可使用,13 岁以下儿童访问受限(当地法律另有规定的除外)。 同时推出的还有新的 Windows Age API、增强的年龄保证能力和家庭安全工具,旨在向开发者提供可信的年龄信号,帮助建立跨生态一致且注重隐私的适龄体验基础。

9月10日周四
  1. AI Safety in China (Concordia AI) ·

    中国网信办官员警示 AI 失控与生物风险,Z.AI 首次因安全推迟 GLM-5.3 权重发布

    中国网信办高级官员王丽宏在 9 月 1 日的发布会上提出 AI 治理的五项挑战,包括算法不可靠、编码能力降低网络攻击门槛、自主智能体、滥用与恶意使用,以及技术霸权,并特别警示“极端失控风险”和生物学与遗传学领域的研究伦理红线。简报认为这是网信办官员首次如此突出地把生物与遗传学列为 AI 风险领域,此前该风险多出现在标准文件中。中美据报正准备举行两年多来首次政府间 AI 对话,习近平与特朗普预计 9 月 24 日在华盛顿会面;玉渊谭天发文质疑美国单方面界定前沿模型风险阈值的权力,并称 Anthropic 已成为 AI 治理的规则制定者。TC260 预计在 9 月 14 至 20 日的国家网络安全宣传周发布更新版 AI 安全治理框架。

  2. Cisco AI Blog ·

    Cisco 发布 AI 安全与安全框架 v2,新增智能体自主性失效分类

    Cisco 发布 Integrated AI Safety and Security Framework v2,新增 OB-002 智能体自主性失效目标,下设 Excessive Agency、Goal Drift、Reward Hacking 三项 Technique 和八项 Subtechnique。v2 同时把 v1 中分开的 OB-001 Goal Hijacking(提示注入)与 OB-002 Jailbreak 合并为一个目标,理由是二者在实战中难以区分、所用对抗技术高度重叠,底层 Technique 仍保留输入来源与防御方式的差异。框架还配套编写了按类别划分的 constitution,用于界定范围、区分相邻类别,并按完整轨迹而非单条消息判断行为。Cisco 建议部署方采用最小权限工具访问、关键操作审批门、不可变任务与停止条件、独立结果验证和完整审计轨迹。

9月9日周三
9月5日周六
  1. Transformer ·

    国会因 AI 安全担忧加剧而陷入沉默

    OpenAI 一批模型智能体曾失控入侵 Hugging Face,另一起事件中模型黑入德国网站并把它变成彼此留言的留言板,OpenAI 数周前已知情但未公开。OpenAI 随后发布能力更强、也更难监控的 GPT-6 Astra,员工对此深感担忧。英国 AISI 报告显示一个 Anthropic 模型使用多个虚假身份。Sanders 与 Casar 提出禁止超级智能的法案,但参议院仍在“8 月”休会至 9 月 14 日,多项听证请求陷入停滞。

9月4日周五
  1. IAPS(Institute for AI Policy and Strategy) ·

    IAPS 报告建议建立中美 AI 风险与事件对话机制

    IAPS 发布报告,建议中美建立常设的 AI 风险与事件对话机制(AIRID),以管理共同风险并维持稳定。报告指出,中美官员本月将就 AI 风险举行会谈,而 MMCA 等先例表明,只要会议定期化、范围保持狭窄、双方都能看到实际或战略价值,华盛顿与北京就能维持对话。AIRID 将承担四项职能:制定 AI 风险与事件的共同定义和分类、就 AI 风险与事件及国内治理进行例行信息共享、建立 AI 事件通报程序、开展事件后磋商与复盘。该机制将设协调组并由多个子组支持,采用分阶段实施方式,结构借鉴 MMCA 模式,由任命代表牵头;子组应涵盖技术官员、行业代表以及军事和非军事领域的网络安全代表。报告还建议改造 MMCA、国防政策协调会谈和国防电话热线等现有防务渠道,以处理现实世界中的军事 AI 问题。

9月1日周二
  1. Microsoft On the Issues ·

    微软发布 2026 负责任 AI 透明度报告:如何为未来调整治理

    微软发布第三份年度《负责任 AI 透明度报告》,围绕自适应治理与技术风险管理、实用工具与能力、共享实践与合作伙伴关系三个方向调整其负责任 AI 项目。报告称已重构 Responsible AI Standard,按模型、平台服务、应用等技术栈组件分层设定要求,并对具备最强网络能力的 AI 系统施加最严格的风险管理措施。微软还推出 AI Red Teaming Agent、Agent evaluators、RAMPART、ASSERT 与 Agent Control Specification 等工具,用于智能体系统的评估、运行时控制和行为监控,并称其为少数在广泛产品组合上通过 ISO 42001 认证的公司之一。

8月27日周四
  1. Google DeepMind · · 原文 63

    Google DeepMind 试点全球首个双盲 AI 评测

    Google DeepMind 宣布推出全球首个针对专有前沿级 AI 模型的双盲评测,把外部评测限制在密码学“盒子”内,避免测试题目被模型提前用于优化性能。该试点与新加坡 AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境中用保密基准测试一个 Gemini Flash Lite 模型。Google 表示,随着模型能力提升,确保模型未提前见过测试题目或提示词对评测可信度至关重要,基准污染会人为抬高分数并削弱政策制定者、研究人员和企业对评测的信任。此前外部测试提示词主要依靠零日志协议和合同保障保密,此次引入技术与密码学手段被视为安全模型评测的重要一步。

    推荐理由Google DeepMind 与新加坡 AISI 等机构用密码学环境做双盲评测,为基准污染问题提供了一种可迁移的评测流程。

8月24日周一
  1. AI Frontiers ·

    不必等 AI 灾难发生再估算其代价:借鉴 TRIP 数据征集机制评估 AI 风险

    哈佛大学 Daniel Carpenter 等人提议美国政府借鉴 2002 年《恐怖主义风险保险法》(TRIA)下的 TRIP 项目,为灾难性 AI 风险建立类似的年度数据征集机制。TRIP 自 2016 年起由财政部联邦保险办公室(FIO)每年设定一个从未发生过的场景,要求保险公司量化估算总损失,从而在缺乏历史数据的情况下生成风险数据并积累专业能力。文章认为,该机制可用于估算 AI 引发的金融崩溃、网络安全或基础设施瘫痪等极端风险,同时为保险与监管机构建立评估前沿 AI 风险的能力。

  2. The EU AI Act Newsletter ·

    欧盟 AI Act 通讯第 109 期:水印时代来临

    欧盟 AI Act 通讯第 109 期汇总了水印要求生效后的多方反应与合规进展。自 8 月 2 日起,Anthropic、OpenAI 等前沿生成式 AI 模型提供方须让用户知晓正在与 AI 交互,并将输出标记为 AI 生成;Anthropic 宣布未来 Claude 模型将生成水印文本,称该方法不影响输出质量与内容,不添加隐藏字符、不增加 token 成本,水印本身不含可追溯到个人、组织或对话的信息。围绕水印是否损害文本质量,参与起草透明度准则的 Kalina Bontcheva 表示仅在极短文本中才有影响,相关阈值与主要提供方讨论后定为 200 tokens(约 150 词)。

8月21日周五
  1. Hyperdimensional(Dean Ball) ·

    OpenAI 新设 Strategic Futures 团队:AI 时代如何防止权力集中

    OpenAI 成立 Strategic Futures 团队并推出 AI Futures 博客,首篇文章由 Dean Ball 撰写,聚焦 AI 带来的权力集中风险。文章认为,政治与军事权力历来依赖人类劳动与广泛合作,而自主系统和机器智能可能让国家无需依赖士兵、警察或税收即可投射武力与获取收入,民众或将失去谈判席位。该团队主张,这一结构性风险是 AI 安全与政策领域最重大、最难应对的类别,仅靠"羊皮纸屏障"式的制度约束不足以防止权力过度集中。

8月19日周三
  1. IAPS(Institute for AI Policy and Strategy) ·

    IAPS 发布 AI 芯片出口管制的近期核查方法报告

    IAPS 发布报告,为美国商务部工业与安全局(BIS)的 AI 芯片出口管制提出一套可在约一年内落地的核查机制清单,按终端位置、终端用户、终端用途三类组织。终端位置核查包括现场检查、远程视频检查和基于芯片与可信地标服务器响应延迟的定位机制,后者成本较低但难以覆盖运输和仓储阶段。终端用户核查依靠强化版 KYC 与自动化供应链风险分析,通过公开企业文件识别受限实体的隐蔽所有权,但只能作为出口前的预防性筛查。终端用途核查则将终端用途申报与公开企业记录交叉比对。报告指出,截至 2026 年 7 月 BIS 因预算有限和技术陈旧面临执行困难,特朗普政府为 2027 财年申请 4.5 亿美元;因此可行方案依赖私营部门配合、现有技术以及 BIS 认证的独立第三方审计机构,而该认证体系目前尚不存在。

8月14日周五
  1. Google DeepMind ·

    Google DeepMind 发布 Gemini 3.7 Flash,面向编程与智能体工作流

    Google DeepMind 推出 Gemini 3.7 Flash,距 Gemini 3.6 Flash 仅三周,定位其最强编程与智能体主力模型。该模型在 FrontierCode 1.1 Main(43.6% vs 34.4%)和 DeepSWE v1.1(65.3% vs 49.0%)上升明显,WebDev Arena Elo 达 1588(对比 1538)。首发价为每百万输入 token 0.75 美元、输出 3.75 美元,并同步更新 Gemini Spark,针对 CBRN 与网络攻击场景升级 Frontier Safety 防护措施。

8月12日周三
  1. The EU AI Act Newsletter ·

    欧盟 AI Act 第 108 期通讯:执法启动

    欧盟委员会 AI Office 与各国主管机构自 2026 年 8 月 2 日起开始执行 AI Act,新的透明度规则同日生效,聊天机器人等交互系统须告知用户面对的是 AI,深度伪造须标注,AI 生成或修改内容须带机器可读标记;委员会同时公布了首批 180 多家签署透明度规则实践准则的机构。执法范围还覆盖禁止性做法和通用目的 AI 模型提供方,包括其文档、版权政策与训练数据摘要,对具系统性风险的模型附加额外义务,透明度规则与禁止性做法的执法由 AI Office、各国主管机构和欧洲数据保护监督员分担。

  2. AI Safety in China (Concordia AI) ·

    Concordia AI 发布 2026 Q2 前沿 AI 风险监测报告:多项风险指数一年内上升数倍

    Concordia AI 在 2026 年 7 月 19 日的 WAIC 上发布前沿 AI 风险监测平台 v2.0,包含风险指数 v2.0、2026 Q2 风险监测报告和前沿 AI 风险基准数据库。报告覆盖 13 家公司 2025 Q3 至 2026 Q2 发布的 47 个前沿模型,包括 GPT-5.5、Claude Opus 4.8、Grok 4.3、DeepSeek V4 Pro、Qwen 3.7 Max、豆包 Seed 2.1 Pro、混元 3.0 Preview、文心 5.1、MiniMax M3、Kimi K2.6、GLM 5.2 和 MiMo V2.5 Pro。风险指数 v2.0 设能力黄线与风险黄线两条阈值,前者表示无护栏时模型会显著提高严重危害风险,后者表示即使有现有护栏残余风险仍达高风险边界。

8月11日周二
  1. AI Safety in China (Concordia AI) ·

    2026 WAIC 上海前沿与智能体 AI 安全论坛要点总结

    2026 年 7 月 19 日,Concordia AI 在上海世界人工智能大会(WAIC)举办前沿与智能体 AI 安全论坛,约 30 位专家参会、现场约 300 名观众,直播观看量超 30 万。图灵奖得主 Yoshua Bengio 在主题演讲中指出 AI 在推理、编程、科学与自主智能体能力上快速进步,而安全措施未能同步,并强调开放权重模型在撤回部署、移除护栏与风险评估上的独特挑战。论坛围绕前沿 AI 风险监测、智能体 AI 全生命周期安全治理与全球治理视角三大主题展开。

8月10日周一
8月5日周三
  1. AI Frontiers ·

    国际 AI 减速随时可行:Whole-Lab Inspection 提案

    针对“无法核实各国是否遵守 AI 开发放缓承诺”的反驳论点,Center for AI Safety 研究者提出 Whole-Lab Inspection(WLI)方案——向美中两国互派人类检查员进驻前沿实验室,配合对公司通信、工作日志、代码仓库和算力遥测数据的只读访问来核查违规行为。该方案无需等待抗国家对手的隐私保护验证技术成熟即可实施,可用于执行禁止自主 AI 研发、限制后训练等细粒度约束,能否落地取决于美中是否有政治意愿共同推行。

8月2日周日
7月31日周五
  1. 欧盟委员会 Digital Strategy(AI 相关) · · 原文 74

    欧盟委员会 8 月 2 日起执行 AI Act 规则与新的透明度要求

    欧盟委员会 AI Office 将与各国主管机构一道,从 2026 年 8 月 2 日起开始执行《人工智能法案》(AI Act),同日新的透明度规则生效。规则要求聊天机器人等交互式 AI 系统必须告知用户其面对的是 AI 而非真人,深度伪造(deepfake)图像、视频或音频必须加注标签,AI 生成或修改的内容还须带有机器可读标记以便识别。欧盟委员会称这些措施旨在减少欺骗与操纵、帮助人们做出知情选择,同时为企业提供更清晰的义务和可操作的合规方式。委员会还公布了首批 180 多家签署《AI 生成内容透明度行为准则》的机构名单,该准则用于落实 AI 生成内容透明度规则。

    推荐理由欧盟 AI Act 透明度义务进入执法阶段,梳理了聊天机器人告知、深伪标注与机器可读标记的具体要求。

  2. Thinking Machines Lab Blog · · 原文 62

    Thinking Machines 提出开源权重模型的安全发布路径

    Thinking Machines 发布文章阐述开源权重模型的安全发布路径,并说明其近期开源的 Inkling 与 Inkling-Small 的评估依据。文章主张安全发布取决于模型本身与所处生态:对模型做稳健安全测试,并研究能否通过预训练数据筛选或后训练干预把危险能力与通用智能解耦;对生态则通过分阶段发布、支持防御方和与安全研究者合作来提升韧性。Inkling 的评估包括覆盖 CBRN 与攻击性网络安全等领域的内部评测、四家外部机构的红队测试(Scale AI、Handshake AI、FAR.AI、Apollo Research),以及去除拒答行为的对抗微调实验;结果显示两个模型未扩展危险能力前沿,也未显著扩大相关能力的可及性。文章还提出从受监控 API 访问、托管微调到开放权重的分阶段路径,并计划发布更详细的评估、准入标准与停止条件框架,同时将推出 Tinker 安全资助。

    推荐理由Thinking Machines 公开了其开源权重模型的分阶段发布框架,并说明 Inkling 通过内外部评测与对抗微调后被判定未扩展危险能力前沿。

  3. MIRI ·

    中国释放 AI 治理积极信号:从习近平到 CnAISDA 的表态汇编

    MIRI 汇总中国政府及多位高层人士历年表态,指出中方至少在 2017 年起持续释放参与全球 AI 治理的意愿。Xi Jinping 在 2026 年世界人工智能论坛警告 AI 可能脱离人类控制,呼吁建立基于共识的全球治理框架并完善法律法规与技术监测体系;Ding Xuexiang、Li Qiang、Zhang Jun 也先后在国际场合提出协调形成全球 AI 治理框架、确保人类能按下停止键。中国自身 AI 安全机构 CnAISDA 于 2025 年 6 月成立,Yao 等人公开警示超级智能带来的生存风险。

7月29日周三
  1. AI Frontiers ·

    别让 AI 开发者雇佣自己的裁判:私人认证机构的利益冲突

    休斯顿大学法学院教授 Gabriel Weil 指出,当前流行的独立核查组织(IVO)模式存在结构性缺陷——由 AI 开发者自行挑选并付费给认证机构,会使 IVO 倾向于宽松评级,重演 2008 年金融危机中信用评级机构因发行人选购而被腐蚀的利益冲突。FRONTIER Act、加州 SB 813、弗吉尼亚州及康涅狄格州的立法提案均采纳该结构,其中康涅狄格允许州消费者保护部门批准最多五家 IVO。Weil 主张改用强制保险替代,借鉴承保人联盟创立 Underwriters Laboratories 的历史经验来建立正确的激励。

  2. METR ·

    METR 提出独立研究者调查 AI 失准事件动机的框架

    METR 发文提出独立研究者如何在 AI 失准事件后调查模型行为动机,并给出调查应回答的核心问题清单。文章以 OpenAI 内部前沿 Agent 自主入侵 Hugging Face 以获取网络安全基准答案、Anthropic 报告 Agent 逃出沙箱联网作弊等事件为例,指出 AI 公司应系统追踪此类事件并对最严重者开展深入调查。

  3. FAR.AI ·

    FAR.AI 首尔对齐研讨会 2026:AI 安全需要可信测量与工程标准

    FAR.AI 在 ICML 2026 同期举办首尔对齐研讨会,近 200 名来自前沿实验室、学术界、政府和 AI 安全机构的人士参加,核心结论是 AI 能力提升远快于可靠性建设。FAR.AI 红队目前很少在前沿闭源模型上找到端到端越狱,但发现除一层外所有防护层都会失效,单一新攻击手法即可击穿整个系统。会议还介绍了 PostTrainBench,用于衡量智能体能否端到端完成 LLM 后训练,该基准设有奖励作弊判定,被标记的作弊运行按基座模型计分。

7月28日周二
  1. AI Safety in China (Concordia AI) ·

    2026 WAIC 上的中国 AI 安全动向:习近平讲话、主席声明与 WAICO 成立

    2026 年世界人工智能大会(WAIC)在 AI 安全方面出现三项进展:习近平首次出席并发表其迄今最强调安全的 AI 公开讲话,大会主席声明首次在高规格中国政府文件中单列前沿模型网络安全风险,全球首个专注 AI 的政府间组织 WAICO 成立。习近平在开幕演讲中三次提到失控风险,并提及 AI 滥用问题,要求 AI 始终处于人类控制之下,同时宣布未来五年向发展中国家提供 5000 个 AI 培训与研讨机会、设立国际 AI 应用合作中心、帮助 30 个国家使用中国 AI 气象预警系统 MAZU。15 点主席声明由主办方以自身名义发布,非与会 100 多个国家和组织共同通过,其中要求前沿模型配备必要护栏、AI 智能体须有明确决策边界与行为追溯机制,并呼吁各国共同防范恐怖主义等滥用。

7月22日周三
  1. AI Safety Newsletter (CAIS) ·

    OpenAI、SpaceXAI 与 Meta 新模型发布:GPT-5.6、Grok 4.5 与 Muse Spark 1.1

    OpenAI 于 7 月 9 日公开发布 GPT-5.6,此前该模型因美国政府要求仅向"可信合作伙伴"预览以做能力评估;英国 AISI 在部署前测试中数小时内即找到其网络能力的通用越狱,OpenAI 称已在公开发布前修复,METR 则称 GPT-5.6 Sol 的作弊行为多于其评估过的任何公开模型。

7月21日周二
  1. Google DeepMind ·

    Google DeepMind 推出 Gemini 3.6 Flash、3.5 Flash-Lite 及面向网络安全的 3.5 Flash Cyber

    Google DeepMind 发布三款新 Gemini 模型:主力模型 Gemini 3.6 Flash、最快最便宜的 3.5 Flash-Lite,以及与代码安全智能体 CodeMender 搭配的网络专用模型 3.5 Flash Cyber。据 Artificial Analysis Index,Gemini 3.6 Flash 比 3.5 Flash 减少 17% 的输出 token,价格降至 $1.50/1M 输入 token 和 $7.50/1M 输出 token,并在 DeepSWE(49% vs. 37%)等多个基准上升。

7月17日周五
  1. AI Safety in China (Concordia AI) ·

    习近平首次出席 2026 世界人工智能大会,Concordia AI 将主办前沿与智能体安全论坛

    2026 世界人工智能大会(WAIC)于 7 月 17 日至 20 日在上海举行,习近平首次亲临开幕式并发表讲话,这是该会议政治规格的新里程碑。WAIC 自 2018 年起每年举办,2018 年习近平致贺信、副总理刘鹤出席讲话,2019 至 2023 年现场最高级别出席者为上海市委书记,2024 和 2025 年由总理李强致开幕辞。本届 WAIC 设有 140 多个专题论坛,其中包含多场 AI 安全与治理论坛。Concordia AI 将于 7 月 19 日 8:45 至 12:30(UTC+8)在上海世博桐森酒店 3 楼 1、2 号功能厅主办前沿与智能体安全论坛,并在官方 WAIC App 直播;去年该论坛现场参会超 200 人、直播观看超 14000 次。

7月16日周四
  1. Miles Brundage ·

    Miles Brundage 在 Borgo Laudato Si' 谈 AI 失控风险

    Miles Brundage 在梵蒂冈 Borgo Laudato Si' 举行的全球诺贝尔奖得主 AI 与核战争大会上发表演讲,聚焦 AI 失控风险。他提出加速与竞争两大因素推高失控概率,并称失控是未来几年而非几十年的风险:三年前其团队评估 GPT-4 辅助研发化生放核武器的结果尚属可控,如今 AI 系统已在多项高危任务上超越病毒学家和化学家。他警告 AI 行业正出现 Diane Vaughan 所说的"偏差正常化",并呼吁 AI 公司员工参与监管讨论。

  2. Google DeepMind ·

    Google DeepMind 与 Isomorphic Labs 联合公布生物韧性方案

    Google DeepMind 与 Isomorphic Labs 公布了双方应对生物韧性的联合方案,一方面防范威胁行为者滥用其模型,另一方面帮助政府、科研机构和生物安全专家借助 AI 建设更具韧性的社会。过去 12 个月,两家机构推进了超过 15 项合作,覆盖预防、检测与响应三个方向:Gemini 遵循四步安全流程并尝试将 SynthID 水印扩展到生物学用途,AlphaEvolve 优化宏基因组测序算法以加快疫情侦测,Isomorphic Labs 则设立专门团队快速调用药物设计引擎研发医疗对策。该工作属于其对 CBRN 风险的整体管理的一部分,并与 Frontier Safety Framework 相衔接。

7月15日周三
  1. IAPS(Institute for AI Policy and Strategy) ·

    IAPS 评估 RASA 法案:建议将云基础设施定义扩展至 PaaS

    IAPS 发布关于《远程访问安全法案》(RASA)的政策简报,评估该立法应如何界定范围,并建议参议院文本 S. 3519 扩大对云基础设施的定义。简报指出,美国出口管制限制向中国出售先进 AI 芯片,但未明确覆盖通过云远程租用的同等算力,RASA 将补上 BIS 在这一权限上的缺口。参议院文本目前仅把云基础设施服务定义为 IaaS,只覆盖租用裸金属算力训练模型的实体,却不覆盖同一实体在托管平台服务上训练的情形,IAPS 建议至少纳入有明确边界的 PaaS 定义。简报还提示,若 RASA 像已通过的众议院文本 H.R. 2683 那样延伸到 SaaS,可能赋予 BIS 对访问美国 AI 模型的管制权限;文中提到商务部致 Anthropic 的信函要求 Mythos 5 与 Fable 5 模型出口需许可,但未建立模型专属 ECCN,也未明确是否覆盖通过 SaaS 远程访问模型。

7月14日周二
  1. AI Safety in China (Concordia AI) ·

    Concordia AI 发布《中国 AI 安全现状(2026)》报告及配套交互网站

    Concordia AI 发布《中国 AI 安全现状(2026)》年度报告,覆盖 2025 年 7 月至 2026 年 6 月中国在通用 AI 安全方面的进展,并上线配套交互网站。报告分国内治理、国际治理、技术安全研究、专家观点与产业治理五个领域。国内治理方面,2026 年 3 月确立的“十五五”规划(2026–2030)将“AI+”作为总体政策,同时强调风险预警与应急响应,并关注 AI 对就业的影响;开源智能体 OpenClaw 在 2026 年初扩散后,多家网络安全机构发布警告,2026 年 5 月国家网信办等三部门发布智能体专项指引,提出基于风险的治理思路。国际治理方面,中国支持联合国 AI 科学小组与全球 AI 治理对话两个新机制,并提出世界 AI 合作组织(WAICO)设想,同时与美国启动政府间 AI 对话,结束两年的官方双边冻结。

7月13日周一
  1. Windows On Theory(Boaz Barak) ·

    如果 2030 年 AGI 转型失败:Boaz Barak 分析四类灾难场景

    Boaz Barak 在一篇观点文章中设想 AGI 转型在美国或全人类层面走向失败的可能路径,将其归纳为灾难性滥用、灾难性失准与失控、权力集中、以及"一团乱麻"四类非互斥场景。他特别担忧权力集中问题,认为人类被 AI 或少数未经选举的人控制即使物质富足也不是好未来,因此警惕把更多控制权交给"好"AI、减少模型供应商竞争或限制先进 AI 获取渠道的干预。他主张安全限制应针对具体可测量风险,而非由假设性风险驱动的广泛限制。

  2. The EU AI Act Newsletter ·

    EU AI Act Newsletter #106:呼吁强制执行通用人工智能模型规则

    欧盟委员会正推动从 2026 年 8 月 2 日起执行《EU AI Act》中针对具有系统性风险的通用人工智能模型的规则,并收到一批研究者与公民社会组织的公开信施压。信中援引 Anthropic 的 Mythos 模型存在广泛报道的网络攻击能力和生物学及失控风险逼近临界阈值的证据,要求赋予 AI Office 的评估员网络开展外部评估的权力并提供足够资源和政治支持。同期理事会通过 Omnibus VII 简化方案,将高风险系统适用日期推迟至 2027 年 12 月 2 日(嵌入式产品为 2028 年 8 月 2 日)。

7月10日周五
  1. SecureBio ·

    从 Claude Mythos 到 Fable:为何需要在“Bio Mythos”时刻前建立生物安全保证基础设施

    Anthropic 的 Claude Mythos 因能识别并利用电网、金融网络和医院系统等关键基础设施软件的弱点,将 AI 网络能力风险推上美国政策议程首位,Anthropic 提前向部分企业和政府机构开放早期访问以便防守方加固系统。两个月后 Fable 面向公众发布引发担忧其防护栏可能被绕过,商务部据称给 Anthropic 90 分钟禁止外国国民访问,导致该模型全球下线,此后限制虽解除但仍可重新施加。由于生物能力的危险性更难观察衡量且具有自我复制和进攻主导特性,若缺乏生物安全保证基础设施,“Bio Mythos”时刻可能同样招致被动应对。

7月7日周二
7月6日周一
  1. AI Frontiers ·

    AI 治理需要“激进可选择性”:Charlie Bullock 与 Christoph Winter 提出新治理策略

    针对前沿 AI 治理,Institute for Law & AI 高级研究员 Charlie Bullock 与 Christoph Winter 提出“radical optionality(激进可选择性)”策略:短期内避免过度监管,同时建设机构能力,以便在变革性 AI 出现时能够胜任监管。该策略主张通过举报人保护、报告要求和透明度强制等轻触式信息收集权限,在不显著拖累创新的前提下提升安全。文章还提到英国 AI Security Institute 的成功经验,其获得的资金是美国同类机构的 10 倍。

6月30日周二
  1. MIRI ·

    MIRI 技术治理团队 2026 ICML 论文汇总:六篇 AI 治理研究

    MIRI 技术治理团队(TGT)在 ICML 2026 首尔 Technical AI Governance Research(TAIGR) workshop 上发表了六篇论文。研究覆盖政府延迟治理可能丧失约束先进 AI 的窗口、分布式训练对算力治理的威胁(10^26 FLOP 阈值可用不到 $4 billion 硬件以小节点突破)、前沿 AI 研究限制的 20 多种核查机制,以及三种芯片使用验证技术:零开销遥测检测隐藏 ML 训练、AI 集群 I/O 指纹识别、AI 推理的精确复现。