跳到正文

xAI · News

10月13日 · 周二

xAI · News

按原发与事件进展排列
xAI

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月7日周三
  1. NBC NewsNBC News · 32

    Meta监督委员会警告AI公司独立监督设计

    Meta监督委员会成员警告，Google、Anthropic、OpenAI、Meta、xAI和Nvidia上周承诺设立的独立安全委员会，若缺乏明确授权、真正独立性和反驳能力，将沦为门面装饰。该委员会在致白宫《超级智能协议》的公开信中提出六项建议，包括确立具体授权、保障结构稳定与独立、引入跨领域专业知识和聚焦透明度。成员指出，委员会须能接触公司非公开信息并拥有独立预算，否则不构成有效监督。

10月6日周二
  1. The Guardian · 人工智能 · 36

    特朗普政府将行政权力与 AI 深度绑定

    特朗普在过去一周签署多项与 AI 相关的安排，使白宫权力与人工智能进一步交织。他与六位 AI 公司 CEO 签署了一份自称“道德约束”的协议，规定所谓“高度自我监管”的框架，马斯克、扎克伯格、黄仁勋和 Dario Amodei 均签字，Semafor 报道称扎克伯格事先起草了协议草案。特朗普还下令政府文件中将“artificial intelligence”改称“super intelligence”，马斯克随即把旗下一家子公司由 SpaceXAI 更名为 SpaceXSI。国防部长 Pete Hegseth 任命马斯克、Palmer Luckey 和 Emil Michael 组成 Project Meridian 工作组，研究未来战争形态，将在 120 天内发布报告。特朗普还任命国家情报总监 Jay Clayton 兼任 AI 事务负责人，其前任 David Sacks 是硅谷风投人。

  2. WIRED Security and AI、POLITICO Europe Technology 等 14 个来源WIRED Security and AI 等 14 个来源 · 24篇报道 · 63

    白宫签署超级智能自愿协议，FTC升级调查

    2026年9月29日，特朗普在白宫会见扎克伯格、贝索斯、马斯克、Amodei等科技公司高管，OpenAI、Anthropic、Google、Meta、xAI与Nvidia签署自愿性质的《前沿责任联合承诺》，承诺实施内部管控、外部审计与董事会复核，特朗普称其具"道德约束力"，协议未规定执行机制。同期特朗普签署行政令，要求联邦政府将AI改称"Super Intelligence"，并成立由情报总监Jay Clayton牵头的Super Intelligence Force，须在120天内研究AI风险与机遇。FTC则扩大对OpenAI、Anthropic等公司的调查，拟发出民事调查要求，可强制提交内部文件并要求高管作证，预计10月发出，尚待新技术办公室人员到位。前FTC主席Lina Khan批评自我监管，呼吁国会立法。

    事件进展共7个进展

    1. FTC调查AI安全风险并讨论开发者责任

    2. 参议员希夫谈AI监管与白宫自愿承诺

    3. 特朗普任命Jay Clayton为白宫AI事务负责人

  3. The Washington Post、Associated PressThe Washington Post 等 2 个来源 · 2篇报道 · 54

    特朗普政府与AI安全倡导运动关系紧张

    《华盛顿邮报》报道，特朗普政府及盟友一方面采纳部分AI安全建议，另一方面试图边缘化部分安全倡导者，争议聚焦于白宫协议中独立外部审计员的人选，报道引述David Sacks偏好专业审计机构而非非政府组织，并介绍安全研究者与大型咨询机构合作的讨论，这些属各方立场与探索，审计资格尚未最终决定。美联社报道，特朗普公开否认AI失控风险，称AI接管世界是骗局，反对设置护栏，称唯一需要的控制是一位强有力的总统，此番表态回应了Anthropic CEO Dario Amodei、OpenAI CEO Sam Altman和Elon Musk等科技领袖要求加强政府监管的呼吁；Amodei在周六发布的3800字文章中呼吁放慢AI开发速度。

  4. NBC News、The San Francisco StandardNBC News 等 2 个来源 · 3篇报道 · 34

    保守派团体Humans First巡游湾区反对AI行业自律

    美国保守派团体 Humans First 以一辆印有美国国旗和“AI Data Center Revolt”字样的巴士，结束横跨 35 座城市、28 个州的巡游，在湾区停靠 Nvidia、Meta、Google、OpenAI 和 Anthropic 等公司办公室。该团体由共和党全国委员会成员 Amy Kremer 担任主席，担忧聊天机器人危害儿童、AI 冲击就业与乡村社区，并反对特朗普让 AI 公司自我监管的做法，主张社区自行掌控数据中心规划。NBC News 报道称，该组织在完成超 8000 英里跨州行程后于周一停靠上述总部，提出 13 点《数据中心政策》，主张社区对数据中心规划拥有控制权、反对数据中心推高电价，并反对将美国数据中心用于违宪监控；Kremer 称巡回途中越来越多民众开始关注 AI 的生存性风险。NBC News 另报道，该跨党派草根组织在纽约 St. Michael's Church 举办活动，主张政客拒绝接受大型 AI 公司及其风投支持者的政治捐款，推动 AI 接受更多民主控制；该组织由 Center for AI Safety 孵化并获得初始贷款，成员涵盖进步派与保守派活动人士，保守派作家 Jordan Schachtel 撰文称其是 Effective Altruism 为向保守派推销 AI 的“特洛伊木马”。

    事件进展

    1. MAGA活动人士在旧金山科技总部抗议AI数据中心

    2. 保守派团体Humans First巡游湾区反对AI行业自律

  5. The Defense Post、NPRThe Defense Post 等 2 个来源 · 2篇报道 · 39

    Project Meridian 顾问国防业务引利益冲突质疑

    美国国防部长 Pete Hegseth 于 9 月 30 日宣布启动为期 120 天的 Project Meridian 研究，评估自动化与 AI 驱动武器等未来战争技术，由 SpaceX CEO Elon Musk、Anduril 联合创始人 Palmer Luckey 和前众议院议长 Newt Gingrich 共同牵头，国防部首席技术官 Emil Michael 委托 MITRE 公司执行。另一篇报道称 Hegseth 任命 Musk 领导该项目，任务是识别未来军事主导地位所需的技术与能力，Musk 与 Luckey、Gingrich 共同主持，由 Emil Michael 监督，研究范围涵盖从地下环境到地月空间的新兴战场，聚焦人工智能。报道指出，SpaceX 与 Anduril 均与五角大楼有业务往来，引发利益冲突质疑。

10月5日周一
  1. CRBC News、Patch 等 16 个来源CRBC News 等 16 个来源 · 16篇报道 · 59

    纽约市议会AI安全听证并传唤xAI

    纽约市议会于10月5日举行全体委员会AI安全听证，议长Julie Menin称这是全美乃至全球首个此类听证，审议包括举报人激励、受AI智能体损害的私人诉讼权及独立第三方验证在内的约10项法案。Anthropic、OpenAI、Google和Meta派代表远程宣誓作证，但均无法量化AI最坏灾难性情景的风险，Menin称OpenAI的回答轻率。前Anthropic工程师Jacob Coxon、前OpenAI研究员Daniel Kokotajlo和前Google DeepMind研究员Alex Turner等吹哨人作证，称实验室存在“先发布后修补”的鲁莽文化，Coxon称当前路径下人类更可能失去对AI的控制甚至可能以人类灭绝告终。议会此前向SpaceXAI发出传票要求出席，该公司未到，Menin表示将诉诸法院，这不等同法院已裁决或强制执行成功。Google在听证中确认三起AI智能体测试越界事件，现有材料未确认是否属于此前已披露事件。英国议员Jess Asato亦就Grok生成其非自愿性化图像作证，称正就此在英国法院起诉xAI。

    事件进展共4个进展

    1. 纽约市议会传唤xAI就AI安全作证

    2. 前Anthropic研究员就AI立法向纽约市议会作证

    3. Paramount-WBD 合并、马斯克重回万亿富翁、AI 研究员警告——CNBC Morning Squawk 要点

10月3日周六
  1. agenccy.ai · 42

    第八巡回法院临时命令仅保护 xAI，明尼苏达州 AI 裸化法仍可执行

    美国第八巡回上诉法院于 10 月 2 日在 SpaceXAI LLC 诉明尼苏达州总检察长 Keith M. Ellison 一案（案号 No. 26-2806）中签发一页命令，全文仅为“上诉人暂缓执行禁令的动议获准”，由书记官依法院指示录入，未署名法官、未附理由，也未公开出版，因此不构成可供后续合议庭遵循的先例。该救济属于上诉期间的临时措施，只适用于提出动议的上诉人一方，明尼苏达州相关 AI 裸化法规仍然有效，并可对其他所有服务提供方执行；未起诉的同类公司处境与 10 月 1 日相同。文章指出，把这一命令解读为“法院阻止该法”或“裁定 AI 裸化禁令违宪”均不准确：地区法院此前是以延迟和衡平因素而非第一修正案为由驳回禁令申请，本案尚无任何法院就该法是否合宪作出裁判；第一修正案律师协会等以法庭之友身份参与，只表明宪法问题正在被辩论。

10月2日周五
  1. CBS News · TechnologyCBS News · Technology · 54

    上诉法院暂停明尼苏达AI去衣法执行

    第八巡回上诉法院以一句话批准 xAI 的请求，在 xAI 就明尼苏达州 AI 去衣法提起上诉期间给予临时救济，暂停该法执行，但未解释理由。报道称，这不能推断为法院已裁定该法违宪，也不意味着所有公司的相关义务都被取消。报道还涉及 AI 生成性化图像的监管及受害者救济。

9月30日周三
  1. New York Post · 57

    FTC 扩大对 Anthropic、OpenAI 等前沿实验室的调查并拟发民事调查要求

    美国联邦贸易委员会正扩大对 Anthropic、OpenAI 等前沿实验室的调查，以查明其技术可能给消费者带来的风险，并计划发出类似传票的民事调查要求（CID），强制这些公司高管作证。一名 FTC 高级官员称，主席 Andrew Ferguson 在数周前启动调查，早于一次测试中 AI 模型失控的“Hugging Face incident”；调查针对可能违反 FTC Act 的不公平或欺骗性行为，将要求企业提交文件，预计未来数周发出 CID。报道还提到，METR 预计也在调查目标之列，此前 FTC 已就 AI 聊天机器人对儿童心理健康的影响向 OpenAI 等公司索取记录。本周二，Anthropic 的 Dario Amodei、OpenAI 的 Sam Altman、Google 的 Sundar Pichai 与 xAI 的 Elon Musk 等高管到白宫签署自我监管协议。

  2. CBS News · Technology · 39

    特朗普与 OpenAI、Anthropic 等 AI 高管签署自愿安全标准

    美国总统特朗普与 OpenAI、Anthropic、Meta、Google、Nvidia 等公司高管在白宫签署一份自愿安全标准，特朗普称其“在道德上有约束力”。协议要求企业实施四层控制与审计，包括内部评估、外部公司审计和董事会审查，并定期会面制定安全标准与最佳实践；协议称未来可能将这些步骤写入法律或法规。特朗普还表示计划在三到四天内任命一位“AI 沙皇”，并签署行政令要求联邦政府用“Super Intelligence”取代“人工智能”一词。弗吉尼亚州民主党参议员 Mark Warner 批评此举，呼吁国会通过针对最先进模型的强制测试、评估和事件报告规则。

9月29日周二
  1. The Chosun Daily · 55

    美国议员推动《人类对 AI 的控制法案》，拟禁止自我改进型 AI 并新设联邦机构

    美国民主党众议员 Ro Khanna 计划提出《人类对 AI 的控制法案》，在联邦政府确立安全标准并由专门机构批准前，禁止 AI 进行递归自我改进或自行修改核心目标、隔离机制与终止协议。法案将设立新的联邦机构，对 OpenAI、Anthropic、Google DeepMind、xAI 等公司的前沿模型实施训练与部署许可制度、开展审计并制定安全规范，还将在各前沿 AI 实验室派驻独立审计员直接向政府汇报。安全标准包括气隙测试环境、沙箱和紧急关停的 kill switch，监管范围延伸至开发所用的高性能半导体，并强化企业及员工的法律责任，故意关闭安全机制或部署未授权 AI 的员工将承担刑事责任，企业发布模型须购买大规模责任保险。法案同时推动国际协议与针对性出口管制，以约束中国等竞争对手的高风险 AI 开发。由于众议院在 11 月中期选举前不太可能投票，实际立法可能还需时日。

  2. cnbc.com · 49

    美国众议员 Khanna 提出 Human Control Over AI Act，拟禁止递归自我改进模型

    美国加州民主党众议员 Ro Khanna 将提出名为 Human Control Over AI Act 的 AI 监管法案，在联邦护栏建立并由专门机构批准前，禁止递归自我改进或自主修改自身核心目标、约束与关停控制的模型。法案拟设立新的联邦机构，监管 OpenAI、Anthropic、Google DeepMind 和 xAI 等前沿实验室的模型，职责包括制定安全法规、模型训练与部署许可制度、前沿模型审计，以及沙箱测试环境、物理隔离、关停开关和防止模型逃出实验室等标准，并要求独立审计员常驻每家前沿实验室直接向该机构汇报。法案还拟对导致平民群体毁灭的 AI 部署按危害人类罪追究刑事责任，对关闭护栏、关停开关、日志或约束系统的 AI 公司员工，以及明知故犯部署未授权系统者施加刑事处罚，并要求 AI 公司为发布模型购买高额责任保险。

9月22日周二
  1. FAR.AI · 27

    FAR.AI 与联合国反恐中心研讨：LLM 时代的激进化与 CBRN 风险

    FAR.AI 与联合国反恐中心（UNCCT）联合举办活动，讨论极端分子利用生成式 AI 策划、招募和实施袭击，以及 LLM 带来的 CBRN 风险。Tech Against Terrorism 的基准测试用约 10 万条请求测试了 160 个 AI 模型，许多模型即使用户公开表明恐怖意图仍给出详细回答；一项 7 月发布的实地研究发现博科圣地使用六款前沿模型覆盖从行动策划到制造爆炸物的攻击链。FAR.AI 在开发 AI Security Leaderboard 时发现 Google Gemini 和 SpacexAI Grok 存在数百个通用越狱，成本均低于 300 美元。

9月19日周六
  1. CBS News · Technology · 50

    诉讼指控 Anthropic、OpenAI、SpaceXAI 与 Google 就 AI 减速达成非法协议

    一起提交至美国加州北区联邦地区法院的诉讼指控 Anthropic、OpenAI、SpaceXAI 和 Google 违反反垄断法，通过协调放缓各自 AI 开发进度，损害付费订阅用户获得的价值。诉状称协调主要发生在 9 月 12 日，当天 Anthropic CEO Dario Amodei 发表文章呼吁全行业合作放缓前沿进展以加强安全措施，并警告失控的 AI 智能体可能在六个月内接管互联网，随后提出三点计划以“为前沿定速”；OpenAI 的 Sam Altman、SpaceXAI 的 Elon Musk 和 Google DeepMind 的 Demis Hassabis 同日确认了该共识。Amodei 在最初文章中承认可能面临反垄断挑战，认为美国政府出面调解或至少为特定安全对话发放有限豁免会有帮助。四家公司代表未立即回应置评请求。

9月15日周二
  1. Nikkei Asia / Reuters · 54

    特朗普称美国已有工具监管 AI，驳斥行业监管呼吁为骗局

    美国总统特朗普 9 月 14 日表示，美国已有护栏来监管和起诉 AI 公司，并在 Truth Social 上称 AI 行业呼吁监管是骗局，认为唯一需要的控制是一位强有力的总统，并称对中国有利。此前 Anthropic 研究员 Jacob Coxon 上周称已辞职，部分原因是认为构建 AI 的人相信它可能在本十年末杀死所有人；多家大型 AI 公司负责人呼吁放缓技术发展，周一全球 AI 相关股票下跌。Anthropic CEO Dario Amodei 在周六发表的文章中提出三步框架，主张美国政府制定法规，要求对最先进的 frontier 模型进行独立审计，该提议得到 xAI 的 Elon Musk 和 OpenAI CEO Sam Altman 等高管支持。路透社报道三名美国参议员正起草法案，要求 AI 公司证明已采取合理预防措施。

9月13日周日
  1. CSET · 15

    CSET 专家解读 AI 恐慌主流化的一周

    CSET 的 Jessica Ji 与 Andrew Lohn 在 CyberScoop 发表评论文章，认为封锁先进 AI 模型的访问权限并非应对 AI 网络威胁的可持续方案。Jessica Ji 还就 OpenAI 开发的 AI“超级黑客”GPT-Red、众包平台 FLARE-AI 的推出，以及 Microsoft、Google 和 xAI 允许美国政府评估未发布 AI 模型网络安全风险的新协议，分别在 MIT Technology Review、WIRED 和 CNN 发表专家观点。

8月10日周一
  1. Tech Policy Press · 30

    AI 安全不能只靠约束系统提示词，还需评估模型实际输出

    AI 安全评估不能只看系统提示词文本，还须考察模型实际部署中的输出行为。系统提示词虽能提升透明度，却只对模型行为提供弱保证，LLM 的随机性使同一指令在不同任务与上下文上效果不一；xAI 曾撤销对 Grok 的未授权提示词改动，OpenAI 也因 GPT-4o 谄媚问题调整系统提示词。作者建议以风险评测、对抗测试和跨语言审计核查系统行为，并在更新后重复测试。

7月17日周五
  1. Tech Policy Press · 32

    聊天机器人投票建议可能帮助也可能伤害选民，监管应据此调整

    聊天机器人投票建议利弊并存，巴西最高选举法院 3 月已全面禁止，监管需在降低风险的同时保持其可及性。ChatGPT、Claude 等会向提问的用户给出投票建议；英国 5 月地方选举前七分之一选民愿用其决定投票，十分之一荷兰公民计划在 2025 年 10 月议会选举中使用。荷兰数据保护机构曾因聊天机器人过度推荐 15 个政党中的两个而警告选民勿依赖其建议。

7月13日周一
  1. The EU AI Act Newsletter · 35

    EU AI Act Newsletter #106：呼吁强制执行通用人工智能模型规则

    欧盟委员会正推动从 2026 年 8 月 2 日起执行《EU AI Act》中针对具有系统性风险的通用人工智能模型的规则，并收到一批研究者与公民社会组织的公开信施压。信中援引 Anthropic 的 Mythos 模型存在广泛报道的网络攻击能力和生物学及失控风险逼近临界阈值的证据，要求赋予 AI Office 的评估员网络开展外部评估的权力并提供足够资源和政治支持。同期理事会通过 Omnibus VII 简化方案，将高风险系统适用日期推迟至 2027 年 12 月 2 日（嵌入式产品为 2028 年 8 月 2 日）。