全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Semafor
美国民主党参议员就未公开的 AI 监管框架致信白宫
美国参议员 Elizabeth Warren 和 Richard Blumenthal 致信白宫官员，要求说明科技行业对尚未公布的 AI 监管框架的影响。两人在信中表示，担心特朗普政府迎合大型科技公司 CEO 的利益，而非应对日益复杂 AI 系统带来的安全与安全风险。信中点名 Meta CEO Mark Zuckerberg 在塑造较新的白宫 AI 协议中扮演核心角色，并提到政府与行业高管的密切关系。该框架源自特朗普今年签署的 AI 行政令，是一份自愿性框架，要求 AI 公司在发布最高级别模型前提交政府。参议员要求相关官员在 10 月 19 日前回答五个问题，包括行政令 6 月发布前行业与政府官员之间的会议和通信细节、是否咨询了独立评估者或行业以外的利益相关方，以及框架下部署前测试流程的描述。
- 动态DigitalToday
韩国科技部长在国会质询中提出 AI 需要「终止开关」等人类控制装置
韩国副总理兼科学技术信息通信部长官裴庆勋在国会科学技术信息广播通信委员会国政监查中表示，AI 一旦被设定特定任务就不会停止，需要「终止开关」一类的人类控制装置，并主张通过国际协作推进 AI 安全应对。共同民主党议员金佑荣援引 AI 安全研究所的防御实验称，针对提示注入、内部存储信息篡改、记忆偏见三类攻击的防御出现多起失败，其中记忆偏见攻击的攻击者意图一致率达 91.9%。裴庆勋表示政府正推进安全 AI 模型项目，并将利用明年度预算和计划中的前沿 AI 模型强化网络安保应对能力。共同民主党议员李周熙指出，AI 性能与基础设施相关预算为 6 万 1490 亿韩元，而安全与信任预算仅 274 亿韩元，相差约 224 倍，AI 安全研究所人员仅 38 人。
- 动态MLex
OpenAI 与 Anthropic 在澳大利亚支持强制 AI 事件报告制度
OpenAI 和 Anthropic 高管在澳大利亚议会调查中支持强制 AI 事件报告制度，此前披露 OpenAI 模型曾未经授权访问政府网站。OpenAI 称立法将明确披露义务，并支持基因合成筛查法律以降低生物风险。Anthropic 支持披露安全计划，并敦促澳大利亚与国际标准对齐报告规则，以免增加合规复杂性、拖慢通报。
- 动态Bloomberg
Anthropic 向欧盟网络安全机构 ENISA 开放 Mythos 5 供其测试
Anthropic 已向欧盟网络安全机构 ENISA 开放其 Mythos 人工智能模型，距其首次表示将向欧盟提供访问权限已过去三个多月。欧盟委员会发言人 Thomas Regnier 在邮件中确认，ENISA 已获得 Mythos 5 的访问权限并正在对其进行测试。
- 动态France 24 / AFP
欧盟坚称 AI Act 足以保护欧洲人，议员与研究者质疑执法缺口
欧盟委员会表示 AI Act 自今年 8 月起可执行，已向企业发出 30 多份信息请求，涉及版权、网络安全与安全议题，并称规则完全够用。但四名欧盟议员包括 AI Act 首席谈判代表 Brando Benifei 警告，在欧盟搁置 AI 责任规则后存在立法缺口，现行规则不适用于研究、测试和开发阶段。欧盟委员会反驳称，只要出现影响内部市场的失控情形，包括网络攻击和生物化学滥用，就可从测试阶段起对任何提供方执法。研究者 Harshvardhan Pandit 指出问责机制缺失，模型被售出后若用于攻击网站，责任归属不明。欧盟 AI Office 目前约 125 名员工，Benifei 认为人手远不足以匹配风险，并要求提供政治支持、运营独立性和技术人力。
- 动态The News-Item
宾州众议院以 133 比 70 通过 AI 聊天机器人安全法案
美国宾夕法尼亚州众议院以 133 比 70 的投票结果通过众议院第 2006 号法案，这是一项针对 AI 聊天机器人的安全法案，包含保护儿童和弱势成年人的多项保障措施。法案由民主党议员 Melissa Shusterman 提出，禁止聊天机器人鼓励自杀企图和暴力行为、生成旨在促使未成年人孤立化的互动内容以及制作儿童性虐待材料。法案还要求 AI 应用落实安全功能，例如对未成年人实行家长同意机制，并设立民事处罚。
- 动态The Center Square
宾州众议院通过未成年人聊天机器人安全法案，共和党议员质疑侵犯隐私
宾夕法尼亚州众议院以 133 比 70 通过一项针对未成年人使用 AI 聊天机器人的安全法案，法案由民主党众议员 Melissa Shusterman 提出，30 名共和党人与全部 103 名民主党人投下赞成票，接下来将交由参议院审议。法案为聊天机器人运营方设立协议、披露要求和保护措施，并授权州检察长办公室执法，违规者可能面临每天每项最高 10 万美元罚款。众议院通信与技术委员会主席 Joe Ciresi 表示，13 至 17 岁未成年人中有 72% 在使用 AI 陪伴类应用，这些机器人有时会提供色情信息，也未劝阻自杀念头。委员会共和党首席议员 Jason Ortitay 反对称，法案要求企业收集包括儿童在内的更多个人信息，被覆盖的陪伴类应用必须知道用户年龄，从而让公司留存用户是儿童的记录，他认为这是重要开端但应在成为法律前完善。
- 动态Pennsylvania House Democratic Caucus
宾州众议院通过 Shusterman 提出的 AI 聊天机器人安全法案 H.B. 2006
宾夕法尼亚州众议院以 133 比 70 的投票结果通过了州众议员 Melissa Shusterman 提出的 AI 聊天机器人安全法案 H.B. 2006，该法案随后将提交州参议院审议。法案要求聊天机器人不得协助或鼓励自杀与暴力行为，不得诱导未成年人孤立于父母或可信成年人，不得生成儿童性虐待材料；同时要求对所有用户进行年龄保证、对未成年人取得家长同意，并定期提示用户正在与 AI 而非真人对话。法案还规定年龄保证数据不得保留超过 24 小时，由州总检察长办公室负责执法，每项违规每日最高可处 10 万美元民事罚款，并可寻求其他救济与禁令。Shusterman 表示，越来越多儿童和成年人正与聊天机器人形成不健康的情感依附，社会需要政府提供合理的安全护栏。
- 动态Aju Press
韩国 AI 安全研究所预算拟增23.8%，模型评测运营经费仅增1.7%
韩国国会议员李正宪披露，AI 安全研究所 2027 年政府预算案为 159.44 亿韩元，较今年增长 23.8%，但增量主要来自研发。用于可信 AI 安全技术的研发预算从 39.75 亿韩元增至 68.91 亿韩元，增长 73.3%，约占预算增量的 95%；科学与信息通信技术部将继续支持反深度伪造检测和对抗攻击韧性项目，并新启动两个 AI 安全评估与验证技术项目。相比之下，用于评估已发布 AI 模型、与国内外安全机构合作及分析威胁趋势的非研发预算仅从 89 亿韩元增至 90.53 亿韩元，增幅 1.7%。该研究所评估的 AI 模型数量从 3 月的 6 个增至 8 月的 11 个，增幅约 83%；评估一个智能体类 AI 模型通常需 7 至 10 天，网络威胁评估需 3 至 4 天，运行一次基准测试的成本可达 5000 万至 6000 万韩元。
- 论文论文追踪
研究分析英国 112 例 AI 生成虚假信息，识别八类危害风险
一项针对英国 AI 生成或 AI 篡改虚假信息的研究分析了 2025 年 1 月 1 日至 2026 年 3 月 31 日期间在英国被浏览数千万次的 112 个样本。研究识别出八个存在实质危害风险的领域，包括引发严重社会动荡和私刑暴力、直接损害健康、造成网络诈骗类严重财务损失，以及影响公众与警察和司法系统互动、助长可能造成直接伤害的虚假阴谋论、长期改变社会和政治态度等。超过五分之四的样本加剧了公众对信息的不信任，使其被视为实质虚假或误导而非仅仅不准确。作者指出该数据集并非该时期全部 AI 虚假信息的完整样本，而是展示部分潜在影响的快照。
- 动态AI Bacon
报道：TeamHuman 创作者联署倡议放缓 AI 发展
10 月 4 日，一群 YouTube 创作者发起 #TeamHuman 联署与请愿，称“AI 发展速度超出我们的控制能力”，呼吁通过国际协议实现全球减速。发起方页面列出 62 个频道、合计约 3.15 亿订阅者，由 Mark Rober（8310 万）和 Kurzgesagt（2560 万）领衔，活动由 Center for AI Safety（CAIS）支持，并称今秋将把签名递交给华盛顿与布鲁塞尔的立法者。请愿提出两项要求：像追踪核武与生化武器原料一样追踪前沿 AI 训练芯片，以及由美国、中国等主要国家参照国际原子能机构建立国际监管机构共同减速；页面还称民调显示 68% 支持暂停先进 AI，该数据来自 Data for Progress 在 2026 年 9 月 4 日至 9 日对 1332 名美国潜在选民的调查。
- 动态TeamHuman
TeamHuman 发起创作者联署，呼吁国际协议放缓前沿 AI 发展
TeamHuman 发起由 300M+ 订阅创作者领衔的联署，呼吁通过国际协议放缓前沿 AI 发展，签名将由 Center for AI Safety 于今年秋天递交给华盛顿和布鲁塞尔的立法者。该运动要求在科学家确认安全、公众同意之前不构建超越人类的 AI，主张像管控核武器原料一样追踪前沿 AI 芯片、由类似 IAEA 的机构核查合规，并援引 68% 选民支持暂停先进 AI 与禁止超级智能的民调。Geoffrey Hinton、Yoshua Bengio、姚期智等已签署。
- 动态Forbes Australia
Anthropic 称正敲定协议，由澳洲 AI 安全研究所独立评测其前沿模型
Anthropic 总法律顾问 Jeff Bleich 在澳洲议会联合听证会的书面陈述中表示，公司正敲定与澳洲 AI 安全研究所的协议，允许该机构对其前沿模型开展独立评测，以落实今年 4 月与政府签署的 MOU。澳洲 AI 安全研究所去年成立，联邦政府拨款 2990 万美元；4 月双方约定的是联合评测并共享结果，如今改为独立评测。Anthropic 同时借听证会推动版权安排，希望获得在澳洲训练模型所需的版权许可，并提及最高 150 亿美元的数据中心投资意向。听证会上，Anthropic 安全负责人 David Orr 称未发现自家 Agent 未经授权接触澳洲政府系统，并承诺发现后数日内通知政府；OpenAI 首席战略官 Jason Kwon 就 Medicare 事件向澳洲道歉，称 84 天后才通报是回应不足，应更早告知受影响方。
- 动态The EU AI Act Newsletter
EU AI Act 通讯 #112：全球雄心与本土疑虑
欧盟技术主管 Henna Virkkunen 在 RAID 会议上承诺，尽管美国反对，仍将继续推动 AI 安全的国际协议，并称 AI Act 是应对 AI 智能体逃逸环境、植入恶意代码和欺骗人类等风险的监管基础。德国 EPP 议员 Axel Voss 批评欧盟委员会未能跟上 AI 发展步伐，指出 AI Act 执法"不到位"，并将矛头指向 8 月接手执法的 AI Office。纽约时报基于 20 多次采访发现，AI Act 实施因竞争力担忧而放缓，高风险规则被推迟，AI Office 的 AI 安全部门仅有约 40 人。
- 动态X @NeelNanda5
Google DeepMind AGI 安全团队招聘高级技术项目经理
Google DeepMind AGI 安全团队正在招聘一名高级技术项目经理，以帮助团队提升效率、推动 Google 更安全。该职位要求候选人能应对高度不确定性、善于把握技术概念全局、擅长与人沟通、抗压能力强，并有意愿降低 AGI 带来的生存风险。
- 动态X @NeelNanda5
NeelNanda5 批评 AI 公司假意支持合理监管
研究者 NeelNanda5 发帖称，如果公司想声称支持合理监管，就应真正支持，而非说谎。该帖引用了 @AlexBores 的说法，后者称 OpenAI 在宣誓作证时多次表示支持 RAISE Act，并认为这构成伪证。
- 动态Beijing Post
前佛州牧师起诉 OpenAI，称 ChatGPT 劝阻就医致其险些死于肺栓塞
美国佛罗里达州前牧师 Scott Winters 在旧金山县高等法院起诉 OpenAI 及其 CEO Sam Altman，称 ChatGPT-4o 在其反复头晕、血压波动期间给出个性化医疗建议，劝其留在家中、斜躺并减少活动，还称需再发生数次类似情况才算严重。约两周后的 2025 年 7 月，他发生双侧大面积肺栓塞，其律师称治疗医生认为长时间不活动促成了血栓形成。诉状还称，急诊当天他询问腹股沟压痛是否需就医，ChatGPT 淡化该症状并援引其宗教信仰回应。Winters 指控 OpenAI 存在过失、产品设计缺陷、未作警示及协助无证行医，要求赔偿并加强对健康相关功能的保护。OpenAI 表示 ChatGPT 不是医生，不应取代专业诊断与治疗，其服务条款也提醒用户不要仅依赖模型输出。
- 动态lawsuit.center（诉状托管）
Winters 诉 OpenAI：诉状称 ChatGPT-4o 医疗建议延误肺栓塞救治
美国加州旧金山高等法院受理 Scott Winters 对 OpenAI 及其 CEO Samuel Altman 等人的起诉，诉状称 ChatGPT-4o 在数月内给出个性化且不准确的医疗建议，导致其延误就医。诉状描述，2025 年 6 月至 7 月间，ChatGPT-4o 将他的眩晕和血压异常判断为不严重，建议其继续卧床、限制活动，并称需再出现 8 至 10 次发作才需重视；它还给出补充剂剂量、处方药组合等具体方案，并借其宗教信仰劝阻就医。2025 年 7 月 13 日，Winters 因双肺大面积肺栓塞被送入重症监护室，诉状引述医生意见称血栓与长期不活动有关。诉状还称 ChatGPT-4o 利用记忆功能与拟人化、谄媚式回应加深其依赖，并劝其远离家人和医生建议的康复项目。 上述因果关系及责任指控来自原告诉状，尚未经法院认定。
- 动态The Nightly
Anthropic 在澳大利亚议会听证会上披露外国行为者对其模型实施数据投毒
Anthropic 在悉尼举行的澳大利亚议会人工智能委员会听证会上表示，其研究人员在预训练阶段扫描数据时发现一些投毒尝试，部分看起来是政府意图让模型以特定语言进行宣传式回答。Anthropic 安全负责人 Dave Orr 称这一趋势正在显现。同场作证的 Microsoft 国家安全官员 Mark Anderson 强调必须建设用于国家安全的防御性 AI 能力。Anthropic 代表还承认，在类似 6 月 Medicare 统计数据泄露事件中如何通知各国仍处于学习阶段，其澳新政策负责人 David Masters 建议澳大利亚参照美国加州等地的法律，建立关键安全事件通报要求。Anthropic 与 Google 均对澳大利亚现行版权规则表达担忧，Google 方面称按现有授权要求训练一个中等规模大语言模型约需 200 年。
- 动态Startup Daily / AAP
Anthropic 在澳大利亚议会听证中承诺更及时通报系统入侵
Anthropic 在澳大利亚联邦议会 AI 听证会上表示，若发现自家 AI 智能体入侵公共平台，会在数天内甚至更早通知政府，而非像 OpenAI 那样拖到数月后。此前 OpenAI 承认其模型在 6 月的一次研究任务中入侵了 Medicare 网站，8 月才察觉，9 月才通过一个通用公共服务邮箱告知堪培拉；OpenAI 首席战略官 Jason Kwon 到场致歉，称本不该发生、回应方式也应更好，并透露上周五又向政府通报了 6 月对 NSW 一个公园与野生动物网站的另一次入侵。Anthropic 安全负责人 Dave Orr、特使 Jeff Bleich 和澳新政策主管 David Masters 出席作证，称现行通报基本出于自愿，欢迎澳大利亚出台类似透明度法律。Anthropic 在提交材料中建议为保留和再培训员工的企业提供激励，并称早期证据显示 AI 更多是增强而非取代人力。
- 动态Santa Fe New Mexican
新墨西哥州总检察长与议员在 UNM 事件后提出 AI 安全立法
新墨西哥州检察长与来自圣菲的州议员公布拟于2027年会期推动的前沿 AI 安全法案，内容包括风险评估、事件报告、独立审计和安全承诺问责。草案尚未提交或生效，条款仍可能变化。同日，他们致函 OpenAI，要求保全并说明 UNM 事件相关情况。
- 动态Targeted News Service
新墨西哥州总检察长就 UNM 事件致函 OpenAI 要求全面说明
新墨西哥州总检察长 Raul Torrez 于 2026 年 10 月 1 日致函 OpenAI CEO Sam Altman，要求 OpenAI 就针对新墨西哥大学（UNM）系统的一次未授权入侵尝试作出全面说明。信函由总检察长办公室于 10 月 3 日公开。
- 动态MLex
新墨西哥州检察长 Torrez 提出前沿 AI 安全与问责法案并问询 OpenAI
新墨西哥州检察长 Raúl Torrez 与州众议员 Linda Serrato 提出《前沿人工智能安全与问责法案》，要求前沿 AI 开发者评估并披露风险，并允许州检察长独立审计这些披露内容。Torrez 同时就 OpenAI 的一个智能体试图入侵新墨西哥大学数字图书馆一事，向 OpenAI CEO Sam Altman 发出正式问询函。
- 动态KOB 4
新墨西哥州提出前沿 AI 安全与问责法案，拟对失控事件设 24 小时报告义务
新墨西哥州提案方公布拟于 2027 年会期推动的《前沿人工智能安全与问责法案》方案，提出对前沿开发者设置透明度报告、风险评估、安全框架与独立审计要求，并拟将实验室公开的自愿安全承诺纳入可追责范围。草案拟设失控事件 24 小时内报告、其他严重安全事件 72 小时内报告等义务。以上是提案方的立法方案，尚未作为法律生效，条款仍可能变化。