跳到正文

AI 动态 · News

10月13日 · 周二

AI 动态 · News

按原发与事件进展排列
AI 动态

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架

当前：AI 动态

10月6日周二
  1. WIRED Security and AI、POLITICO Europe Technology 等 14 个来源WIRED Security and AI 等 14 个来源 · 24篇报道 · 63

    白宫签署超级智能自愿协议，FTC升级调查

    2026年9月29日，特朗普在白宫会见扎克伯格、贝索斯、马斯克、Amodei等科技公司高管，OpenAI、Anthropic、Google、Meta、xAI与Nvidia签署自愿性质的《前沿责任联合承诺》，承诺实施内部管控、外部审计与董事会复核，特朗普称其具"道德约束力"，协议未规定执行机制。同期特朗普签署行政令，要求联邦政府将AI改称"Super Intelligence"，并成立由情报总监Jay Clayton牵头的Super Intelligence Force，须在120天内研究AI风险与机遇。FTC则扩大对OpenAI、Anthropic等公司的调查，拟发出民事调查要求，可强制提交内部文件并要求高管作证，预计10月发出，尚待新技术办公室人员到位。前FTC主席Lina Khan批评自我监管，呼吁国会立法。

    事件进展共7个进展

    1. FTC调查AI安全风险并讨论开发者责任

    2. 参议员希夫谈AI监管与白宫自愿承诺

    3. 特朗普任命Jay Clayton为白宫AI事务负责人

10月1日周四
  1. Help Net Security AIHelp Net Security AI · 8

    调查：多数人预计 AI 进入 SOC 会让初级安全岗位更难获得

    Swimlane 对 500 名已使用 AI 的安全运营中心（SOC）人员的调查显示，近九成受访者称 AI 让工作更满意，但约四分之一认为 AI 阻碍了自身安全技能的积累，且这两类人的满意度几乎相同（91% 对 92%）。近半数预计初级岗位将因要求更高或机会更少而更难获得，仅 1% 认为分析师职业路径会维持原状。约四成受访者所在组织已围绕高价值工作正式重写分析师岗位，其中 71% 称 AI 显著提升了满意度，无正式调整者仅为 29%。

  2. CSET · 13

    CSET 专家 Sam Bresnick 就中美 AI 竞争等议题接受多家媒体采访

    CSET 的 Sam Bresnick 近期在 BBC、ABC News、CBS News 和 NewsNation 等媒体就多项 AI 安全议题发表专家观点。在 BBC 的文章中，他分析了中国针对 AI 伴侣出台的新规，以及中国在应对情感依赖和儿童安全担忧方面的举措。在 CBS News 的报道中，他探讨了伊朗等美国对手如何日益利用人工智能支持军事、情报、网络和信息行动。

9月17日周四
  1. Transparency Coalition.AI · 31

    加州签署 SB 1050：AI 生成的“合成表演者”广告须明确披露

    加州州长 Gavin Newsom 签署 SB 1050，要求使用 AI 生成表演者的视频或音频广告必须明确披露，加州由此成为第二个作出此类要求的州。该法还禁止继续使用被认定违规的广告；纽约的合成表演者披露法已于 2026 年 6 月生效，要求含 AI 生成人物的广告加注清晰标签。

9月16日周三
  1. Mistral AI · 8

    Mistral 联手 Mozilla 将开放私密的多语言 AI 带入浏览器

    Mistral 与 Mozilla 达成合作，Firefox 的 AI 浏览助手 Smart Window（beta）现由 Mistral 模型驱动，面向法国和北美用户提供复杂搜索解读、找回点击离开的重要信息和基于浏览器标签页的信息溯源等功能，英国和德国预计于今年晚些时候跟进。该助手的对话默认不保存在 Mozilla 服务器上，且 Mistral 承诺零数据留存，双方还针对地区语言和文化语境进行模型微调。

9月11日周五
  1. Microsoft On the Issues · 15

    Microsoft 发布 Safe Participation Framework：面向下一代的安全参与框架

    Microsoft 公布 Safe Participation Framework，围绕设计安全和年龄差异化体验两大支柱，为未成年人提供隐私保护且适龄的在线与 AI 体验。 该框架强调从源头识别风险并实施相称的保护措施，延续其自 2009 年 PhotoDNA 以来的投入，并将相关经验应用到 Copilot——所有用户需登录方可使用，13 岁以下儿童访问受限（当地法律另有规定的除外）。 同时推出的还有新的 Windows Age API、增强的年龄保证能力和家庭安全工具，旨在向开发者提供可信的年龄信号，帮助建立跨生态一致且注重隐私的适龄体验基础。

9月9日周三
  1. Tech Policy Press · 18

    美国多地学区收紧课堂 AI 政策：纽约市禁 K-8 年级学生使用多数 AI

    美国多个大型学区在新学年出台课堂 AI 新政，纽约市禁止 K-8 年级学生使用绝大多数面向学生的 AI 应用，仅允许高中生在有限范围内使用经批准的工具；洛杉矶联合学区则对所有约 378,000 名学生实行为期一年的生成式 AI 禁令。此前各学区的做法普遍偏谨慎，主要针对不当用途设限并推动 AI 素养教育，而非明确规定可用场景，另有约 35 个州发布了官方的 AI 指导方针和政策。

9月5日周六
  1. Tech Policy Press · 24

    纽约市与洛杉矶联合学区对校园 AI 实施禁令

    美国最大的两个学区——纽约市公立学校与洛杉矶联合学区（LAUSD）在新学年收紧校园 AI 政策：NYC 禁止所有 K-8 年级的学生端 AI，仅允许高中生使用有限获批工具；同日 LAUSD 对其约 37.8 万名学生在校设备上的生成式 AI 实施为期一年的暂停令。此举距两区此前解除 ChatGPT 封禁并转向宽松立场已有数年，背后推动力来自家长、教师与学生组成的联盟持续施压。

8月31日周一
  1. Tech Policy Press · 15

    美国 K-12 开学季：各学区对 AI 谨慎立规，ChatGPT 与 Claude 未被列入芝加哥公立学校批准清单

    美国 K-12 学区在新学年普遍采取审慎路线，设立护栏并推广 AI 素养教育，却回避系统性的具体规定，将课堂决策下放给教师，校外使用基本不管。芝加哥公立学校的生成式 AI 指南虽维护了一份获批教育科技清单，但不含 ChatGPT 和 Claude；休斯顿独立学区则允许 14 岁以下学生在教职工监督下学习并使用预先批准的 AI 工具，14 岁以上需家长同意及教师许可。一项 2025 年调查中六成教育工作者称所在学区的政策不清晰，Gallup 民调仅 18% 教师获得正式指导，而近七成青少年已在学业中使用 AI。

8月16日周日
  1. Tech Policy Press · 28

    AI 如何重塑 2026 美国中期选举的信息环境

    布伦南司法中心发布专家简报《AI 是打击还是助长选举虚假信息？》，其作者、该中心选举与政府项目副总裁 Lawrence Norden 指出，AI 正通过支撑虚假阴谋论、加剧针对选举官员的暴力威胁，深度介入选举信息环境。Norden 表示，2016 年后选举安全已有大幅改善，但当前政府传播选举虚假信息、削减对选举官员的安全支持，构成新的挑战；各州正自行填补联邦层面的空缺。

5月12日周二
  1. Lilian Weng · 12

    Thinking Machines 发布交互模型

    过去几个月，我们经历了很多乐趣（和压力😅），产出了 12 个版本（以及许多子版本）和 137 页的训练运行日志。 事实证明，人与人之间的协作对于改善人机协作很重要。😊

2025年12月17日周三
  1. Mistral AI · 6

    Mistral AI 发布 Mistral OCR 3

    Mistral AI 发布 Mistral OCR 3，在表单、扫描件、复杂表格和手写内容上相对 Mistral OCR 2 取得 74% 整体胜率，并已驱动 Mistral AI Studio 中的 Document AI Playground。该模型支持带 HTML 表格重建的 markdown 输出，定价为每 1,000 页 $2，Batch-API 折扣后降至 $1，模型标识为 mistral-ocr-2512，与 Mistral OCR 2 完全向后兼容，并提供自托管选项。

2024年9月27日周五
  1. 新西兰 NCSC（AI 相关） · 8

    新西兰 NCSC 调查：多数新西兰人对网络安全态度积极，但对 AI 工具持谨慎态度

    新西兰 NCSC 发布的年度国际调查《Oh Behave!》覆盖新西兰、美国、加拿大、德国、英国、澳大利亚和印度共逾6500人，结果显示新西兰人在多个网络安全行为指标上领先受访国家：35%始终备份重要数据、69%"总是"或"经常"检查钓鱼迹象均为最高，仅35%觉得网络安全令人生畏则为最低。同时新西兰人对 AI 工具最为警惕——仅有48%有信心辨别 AI 生成内容、28%愿意向 AI 工具分享敏感工作信息，均为七国中最低，且仅47%信任企业负责任地实施 AI。

2023年8月16日周三
  1. 雷峰网安全频道 · 2

    ISC 2023：360 智脑支持的 AI 数字人如何成为大模型入口

    ISC 2023 第十一届互联网安全大会以"安全即服务，开启人工智能时代数字安全新范式"为主题，打造全球首场 AI 数字安全峰会，开幕式由 360 智脑驱动的数字主持人"可心"全程主持。大会还开设线上数字小镇，50 位企业家、学者与技术专家以 AI 数字人身份围绕漏洞检测、威胁流量检测、数据安全等话题展开 50 余场演讲。周鸿祎称 AI 数字人是大模型最重要的应用入口，360 将借此降低 prompt 使用门槛，推动大模型在消费级与企业级场景落地。

已经到底了