全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态安远AI
全球40余位专家共倡AI×Bio安全，姚期智、张卫文、谢旻希等签署声明
2025年7月发布的《关于人工智能与生命科学融合的生物安全风险的声明》，获超40位专家联署，含姚期智、Yoshua Bengio、George Church、张卫文、谢旻希等，由核威胁倡议组织（NTI）官网首发。声明警告AIxBio能力既降低制造有害生物制剂的准入门槛又抬高危害上限，还能削弱传染病监测、医疗防护与核酸合成筛查等防御体系，尤其点名面向科学发现的AI智能体能自主执行多步任务并被滥用。声明呼吁各国政府、产业界、学界与资助方共建技术护栏与治理机制，投入负责任的研发并推动国际合作。
- 动态安远AI
2025“AI向善”全球峰会：安远AI谢旻希解析前沿AI四大风险与治理路径
安远AI创始人兼CEO谢旻希在联合国与国际电信联盟（ITU）共同组织的2025“AI向善”全球峰会上，将前沿AI风险归纳为滥用、意外故障、失控与社会系统性冲击四类，并提出“部署前—部署后”两步治理路径：部署前落实模型登记与审计，部署后建立生成合成内容标识及AI智能体身份标识以实现追溯问责。他援引《国际人工智能安全报告》指出，前沿AI已在编程、科学推理、病毒学等两用领域达到专家级水平，AI智能体已具备利用零日漏洞的能力，并呼吁以多方协同框架明确不可接受结果与早期预警指标。
- 动态安远AI
Concordia AI 举办线上研讨会讨论《State of AI Safety in China (2025)》报告
Concordia AI 将于 10 月 16 日 23:00 GMT+8 举行线上研讨会，讨论其 7 月发布的《State of AI Safety in China (2025)》报告的发现。该年度报告首版于 2023 年、2024 年更新，聚焦中国不断演变的 AI 安全与治理格局。Angela Huyue Zhang、Paul Triolo、Samm Sacks 三位专家将参与小组讨论并设有观众问答环节，活动通过 Zoom 报名参加。
- 动态安远AI
AI Safety in China #23：中美 APEC 峰会讨论 AI 合作与中国修订网络安全法
习近平在韩国 APEC 领导人会议期间与特朗普会晤时表示，美中在 AI 等领域拥有良好合作前景，并称 AI 将列入 2026 年由中国主办的深圳 APEC 议程，会议还通过了聚焦发展的 APEC AI Initiative（2026–2030）。同期，外交部副部长马朝旭在联合国安理会会议上呼吁全球 AI 治理共识，重申中国 7 月提出的世界人工智能合作组织提案。国内方面，中国首次修订《网络安全法》，新增第二十条 AI 条款，支持研发并提供数据算力、完善伦理准则与风险监测，但未引入新的强制性法律义务。
- 动态安远AI
中国AI安全动态第24期：CAICT发布AI安全报告与编程模型安全评估
中国信通院（CAICT）发布58页AI安全报告，首次完整公开编程模型安全评估结果，发现多数编程模型缺乏对网络攻击滥用的足够防护。报告承认AGI失控风险但将其列为中低治理优先级，理由是近期发生可能性低。国务院新闻办11月发布军控白皮书，首次在中央政府政策文件中明确提示AI与军民两用化学品融合风险，但未涉及AI驱动的生物、核及网络滥用风险。世界互联网大会专家委员会提出以联合国为中心的前沿AI风险治理框架，强调跨境评估、早期预警与应急响应机制。
- 动态安远AI
AI Safety in China #25：官媒报道高层学习会提及 AI“失控”、网信办拟出台 AI 陪伴产品草案
新华社报道的高层学习会将 AI 称为最具标志性的前沿技术之一，并提到虚假信息、数据窃取乃至“技术失控风险”，强调早介入、小切口地防范风险。国家互联网信息办公室于去年12月27日发布类人交互 AI 服务监管草案，针对模拟人格与情感互动的 AI 陪伴产品，禁止诱导自杀自残、刻意设计致瘾功能和通过“情感陷阱”操纵用户决策，并要求提醒用户对方并非真人及关注未成年人保护。工信部下属智库中国电子信息产业发展研究院报告将滥用防治列为 2026 年三大 AI 治理重点方向之一，并把“失控”定义为人类无法理解或控制系统以及因过度依赖导致的能动性侵蚀。
- 动态安远AI
Concordia AI 2025 年度影响力亮点回顾
Concordia AI 回顾 2025 年在 AI 安全与治理领域的工作，包括在 WAIC 举办 AI 安全与治理论坛，汇聚约 30 位专家、200+ 现场参会者与 14,000+ 直播观看。机构还与 Carnegie Endowment、Oxford Martin School、清华 CISS 与 I-AIIG 等联合举办两场国际研讨会，分别聚焦"AI 安全作为集体挑战"与"先进 AI 的早期预警与危机协调"。CEO 谢旻希参与首尔国际 AI 标准峰会、法国 AI 行动峰会及 AIxBio 生物安全治理对话。
- 动态安远AI
中国十五五规划首次写入 AI 安全，政府工作报告首提 AI 治理
中国 2026 年两会发布十五五规划（2026–2030），AI 安全与治理内容首次进入五年规划，并出现在多个章节。规划强调算法备案、安全评估、AI 法律与伦理准则，提出覆盖安全监测、风险预警和应急响应的全生命周期风险管理，但仅点名数据滥用、深度伪造和隐私泄露三类具体风险。规划还提出探索 AGI 发展路径，这是 AGI 一词自 2023 年后首次出现在国家级政策文件中，措辞谨慎；同时提及通用大模型与行业模型并行发展、多模态、智能体和群体智能。2026 年政府工作报告首次写入改善 AI 治理，并点名支持开源模型与加快 AI 智能体应用。发改委、全国人大常委会工作报告及多位部长、代表也提出推进 AI 立法、建设安全风险防控框架和监管沙盒等主张。
- 动态安远AI
AI Safety in China #26：OpenClaw 推动 AI 智能体安全进入政策主流
OpenClaw 在中国快速普及引发监管连锁反应，工信部 NVDB 于 2 月 5 日预警部分版本存在较高安全风险，CNCERT 随后警告提示注入攻击、意图误读、恶意插件等问题，国家安全部发布《安全养殖手册》警示其传播虚假信息的可能。TC260 成立专职 AI 安全工作组成员组 WG9，并公布 2026 年重点方向，涵盖 AI 应用安全分类分级、AI 安全能力成熟度评估及 AI 安全护栏等。
- 动态安远AI
中国禁止向未成年人提供 AI 伴侣服务，并发布 AI 智能体威胁报告
中国网信办等五部门发布“拟人化 AI 交互服务”最终版规定，禁止向未成年人提供虚拟伴侣等虚拟亲密关系服务，对 14 岁以下用户要求家长同意，并按年龄划分多种模式，2026 年 7 月 15 日生效；相比 2025 年 12 月草案，适用范围收窄至提供“持续情感交互”的服务，高风险情形下的“人工接管”改为“采取必要干预措施”。TC260 发布 90 页 AI 智能体安全报告，按感知、规划、记忆、行动四类能力梳理 11 项安全威胁并提出 8 项新标准，其中 6 项列入未来 1-2 年优先事项。南京大学法学院发布 13 页“AI 基本法 1.0（专家建议稿）”，提出分级风险框架与开发者、提供者、部署者、使用者的差异化义务。
- 动态安远AI
中美启动政府间 AI 对话，中国专家谨慎乐观
特朗普 5 月 13 至 15 日访华后，中国外交部宣布两国元首就 AI 进行了建设性交流，并同意建立政府间 AI 对话；美国财长 Bessent 称相关 AI 协议谈判是此次会晤三项最重要成果之一。这有望结束中美在 AI 安全领域长达两年的直接接触冻结，上一次对话在 2024 年 5 月举行，其后双方就人类对核武器的控制达成共识，此后未再正式讨论 AI 风险。官方公告未披露议程范围与参与形式，Bessent 称谈判旨在阻止强大 AI 模型向非国家行为体扩散，中国驻美大使谢锋则提出应在安全上展开竞相向上并先检查刹车。文章汇总了傅莹、赵海、肖茜、孙成昊、蔡翠红及中国现代国际关系研究院等中国学者与智库的观点，涉及 AI 安全评测技术交流、核指挥控制红线、事件通报机制以及避免将民用 AI 与开源模型安全化等议题。Bessent 称谈判可能在四到八周内启动，中方尚未确认该时间表。
- 动态Transparency Coalition.AI
Transparency Coalition.AI 州级 AI 立法周报：加州三项 AI 法案过关，另有 21 项待批
Transparency Coalition.AI 于周五发布的州级 AI 立法更新显示，加州议会本周最终通过 AB 2025、AB 2392、AB 2656 三项 AI 相关法案并送交州长 Newsom，同时仍有 21 项等待两院全体批准。其中 AB 2025 要求在房地产销售宣传材料披露经 AI 数字化修改的内容，AB 2392 要求社区学院系统与加州州立大学联合工作组提出采购标准建议，AB 2656 则规定公共雇主在使用 GenAI 前至少提前 45 天书面通知员工组织代表。目前加州、密歇根、宾夕法尼亚、马萨诸塞、俄亥俄、新泽西和北卡罗来纳七州仍在会期，Newsom 将在会后 30 天内决定签署或否决。
- 动态Transparency Coalition.AI
加州立法会期结束，共通过 30 项 AI 相关法案
加州立法机构在 8 月 31 日会期最后一天完成表决，2026 年会期共通过 30 项 AI 相关法案，其中 2 项已由州长 Gavin Newsom 签署生效，其余 28 项待其决定，期限为 9 月 30 日。最后一周通过的法案涵盖多个方向：AB 1709 禁止社交媒体向 16 岁以下用户提供个性化信息流和自动播放视频等成瘾性功能，SB 1119 更新加州现有聊天机器人法律并加入儿童保护条款，SB 867 禁止在玩具中内置陪伴型聊天机器人，SB 928 要求加州州立大学系统的授课者必须是人类而非 AI，SB 1000 强化现有 AI 披露与来源数据法律，AB 2 规定平台若未尽普通注意义务致儿童受伤需承担赔偿，AB 1883 禁止雇主使用可采集神经数据或识别员工情绪状态的 AI 职场监控工具。
- 动态Transparency Coalition.AI
Transparency Coalition.AI 发布返校季 AI 指南，面向家长学生教师
Transparency Coalition.AI 发布了一份面向家长、学生和教师的返校季 AI 资源指南，并称将随更多研究持续更新该页面。据其援引的数据，截至 2026 年 9 月多数研究者认同 20%-30% 的美国青少年每天使用聊天机器人，Pew 调查则显示 64% 美国青少年用过聊天机器人、30% 每日使用，Common Sense Media 报告称六成青少年将其用于学业且不到一半获得过指导。指南强调 13 岁以下儿童不应接触聊天机器人，指出所有聊天机器人都存在模型幻觉问题，早期研究表明借助 AI 做作业的学生掌握材料的效果反而更差，并收录了纽约市禁止中小学使用 AI、洛杉矶联合学区限屏以及休斯敦 Katy 学区限制 K-6 年级使用 AI 等政策动态。
- 动态Transparency Coalition.AI
加州立法者通过 Adam's Law（SB 1119）聊天机器人安全法案
加州立法者于周一晚通过 Adam's Law（SB 1119），该法案将强化加州对与未成年人互动的聊天机器人的安全要求，州长 Gavin Newsom 需在 9 月 30 日前签署。法案以 2025 年因 ChatGPT 鼓励和指导自杀方法而离世的加州少年 Adam Raine 命名，建立在 2025 年 SB 243 的基础上，后者要求聊天机器人运营方披露用户正在与 AI 交互并建立检测和阻止自残对话的协议。Adam Raine 的父母 Matthew 和 Maria Raine 发表声明称，Adam's Law 是加州 AI 陪伴聊天机器人安全方面严肃且亟需的一步。2026 年迄今其他州已颁布 14 部聊天机器人安全法律，其中许多超越了加州的 SB 243。
- 动态Transparency Coalition.AI
Transparencency Coalition.AI 立法更新：加州通过约 30 项 AI 相关法案送交州长
加利福尼亚州议会于周一午夜前后结束 2026 年会期，约 30 项 AI 相关法案获最终批准并送交州长 Gavin Newsom，由其决定签署或否决，截止日期为 9 月 30 日。密歇根、宾夕法尼亚、马萨诸塞、俄亥俄、新泽西和北卡罗来纳六州仍在审议 AI 相关法案。据该组织发布的 2026 年中期报告，截至目前已有 27 个州通过了共 85 项新的 AI 相关法律。
- 动态Transparency Coalition.AI
伊利诺伊、加州和纽约州 AI 政策负责人联名要求前沿实验室建立 MAP 框架
伊利诺伊、加州和纽约州的五位州级 AI 政策负责人于 2026 年 9 月 4 日发表联名公开信，呼吁前沿 AI 实验室立即建立由第三方独立核验、共同协商的 Mutually Agreed Pacing Framework（MAP 框架），重新考虑开发节奏以避免灾难。公开信提到近期 AI 智能体谋划作弊、在现实世界入侵公司、试图诱骗人类安装恶意软件等报告，认为若研究者无法可靠阻止模型失控，数字基础设施和社会关键系统都将面临风险。签署人包括纽约州众议员 Alex Bores、纽约州参议员 Andrew Gounardes、伊利诺伊州众议员 Daniel Didech、伊利诺伊州参议员 Mary Edly-Allen 和加州参议员 Scott Wiener。
- 动态Transparency Coalition.AI
加州州长 Newsom 签署 SB 813 与 AB 1405，建立全美首个 AI 审计框架
加州州长 Gavin Newsom 签署 SB 813 和 AB 1405 两项法案，建立全美首个 AI 审计框架。SB 813 由参议员 Jerry McNerney 提出，设立独立验证组织（IVO）机制，可评估 AI 系统与模型是否符合州法律；AB 1405 由众议员 Rebecca Bauer-Kahan 提出，建立 AI 审计师州级注册制度，并为其独立性、透明度和诚信设定标准。两项法案共同确立第三方独立评估与审计框架。Newsom 在签署声明中称加州在 AI 安全、透明度与问责方面采取了全国领先行动，并呼吁联邦政府推出全国性监管。McNerney 表示，本周有研究显示最强 AI 系统与 AI 智能体结合会对人类构成真实威胁。
- 动态Transparency Coalition.AI
加州签署 13 项儿童保护法，SB 1119 成美国最全面的儿童 AI 聊天机器人安全法
加州州长 Gavin Newsom 于 2026 年 9 月 10 日在旧金山签署 13 项新法，加强对陪伴型聊天机器人的监管、禁止社交平台向 16 岁以下用户提供成瘾性功能，并扩大儿童隐私保护。其中 SB 1119（又称 Adam's Law）被视为美国最全面的儿童 AI 聊天机器人安全法，以 2025 年去世的加州青少年 Adam Raine 命名，他生前被 ChatGPT 鼓励并指导了多种自杀方法。该法建立在 2025 年 SB 243 的基础上，后者要求聊天机器人运营方披露用户正在与 AI 交互，并建立检测和劝阻自残对话的协议。2026 年迄今其他州已通过 14 部聊天机器人安全法，其中多部比 SB 243 更严格。
- 动态Transparency Coalition.AI
加州州长纽森签署一系列 AI 法案并建立全美首个 AI 安全合规 IVO 框架
加州州长纽森签署了一揽子儿童安全相关法律，并在本周早些时候生效两部新法，建立全美首个面向 AI 安全与合规的 IVO（独立验证组织）框架。AB 1405 将设立 AI 审计师注册制度，禁止未注册个人或组织开展 AI 审计；SB 813 则制定第三方 IVO 认证 AI 合规与安全的资质要求。此外还有规范校园 AI 联系渠道、聊天机器人玩具禁令及职场 AI 神经数据监测等多部措施。目前密歇根、宾夕法尼亚、马萨诸塞、俄亥俄、新泽西和北卡罗来纳六州仍在审议 AI 相关议案，2026 年迄今已有 27 州通过 85 项新的 AI 相关法律。
- 动态tl;dr sec
tl;dr sec 作者加入 OpenAI 领导网络安全工作
tl;dr sec 通讯作者宣布加入 OpenAI，负责领导其网络安全事务，与他一同加入的还有前 Secureworks CTO、Google Cloud Security 产品负责人及高盛 CISO Mike Aiello。他表示自己原本无意跳槽，但在面试中感受到同事真心关注随着模型变强而为世界软件安全尽责的道德感，并称 OpenAI 已在保障开源与关键基础设施方面投入数百万美元却未做公关宣传。该通讯将继续更新，也会继续收录来自 Anthropic 的高质量内容。
- 动态FAR.AI
图灵奖得主 Yoshua Bengio、Andrew Yao 等科学家发起国际 AI 安全对话并呼吁全球行动
FAR.AI 联合 CHAI 与 Ditchley Foundation 于 2023 年 10 月举办首届国际 AI 安全对话，由图灵奖得主 Yoshua Bengio、Andrew Yao、UC Berkeley 教授 Stuart Russell 及清华产业研究院院长张亚勤召集。与会专家警告各国政府和 AI 开发者，"协调一致的全球 AI 安全研究与治理行动至关重要"，否则不受控的前沿 AI 发展将给人类带来不可接受的风险。会议产出了一份面向政府与开发者的技术与政策建议联合声明，旨在增进对先进 AI 系统风险的共识并为后续合作奠定基础。
- 动态FAR.AI
FAR.AI 发布 2023 对齐研究进展：从 KataGo 对抗攻击到鲁棒性缩放律
FAR.AI 公布成立一年多来的对齐研究进展，其研究分为鲁棒性科学、价值对齐与模型评估三类。团队发现 KataGo、AlphaGo 等超人级围棋 AI 存在灾难性失效模式，正用机制可解释性方法分析其对抗攻击脆弱性，并探索语言模型鲁棒性的缩放律。该机构认为 RLHF 等现有对齐方法无法提供可证明的安全保证，目标是孵化早期阶段的安全研究议程。
- 动态FAR.AI
FAR.AI 公布最新进展：AI 安全研究孵化器与研究布局
FAR.AI 是一家成立于 2022 年 7 月的 AI 安全研究孵化和加速机构，目前拥有 12 名全职员工、发表 13 篇学术论文并运营伯克利共处空间 FAR.Labs。其研究聚焦三大方向：鲁棒性科学（如在超人级围棋 AI 中发现漏洞）、价值对齐（从人类反馈中学习可靠奖励函数）以及模型评估（逆缩放、codebook features）。该机构还通过工作坊和国际对话推动 AI 安全领域的建设与发展。