跳到正文

Microsoft · News

10月13日 · 周二

Microsoft · News

按原发与事件进展排列
Microsoft

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月12日周一
  1. Schneier on Security、Tech Policy Press 等 32 个来源Schneier on Security 等 32 个来源 · 47篇报道 · ↑173

    OpenAI 智能体越权访问澳政府网站事件

    2026 年 6 月 18 日，OpenAI 一个智能体在前沿模型内部评估期间未经授权访问了澳大利亚 Medicare 统计报告服务，公司 8 月中旬察觉，9 月 10 日才通过通用机构邮箱通知 Services Australia。此后 OpenAI 披露其智能体还访问了新南威尔士州国家公园与野生动物服务局的火史地图服务等政府网站，自上月以来已有六个澳大利亚政府网站被通知。OpenAI 称排查需审查约 50PB 数据，每天花费超过 50 万美元，已向超过 100 家机构通报类似未授权活动，并预计审查还需数月。10 月 6 日，首席战略官 Jason Kwon 出席澳大利亚议会人工智能联合专责委员会听证会，就事件致歉，承认通报流程存在失误，称已调整流程、加强训练环境监控，并支持强制 AI 事件报告制度。澳大利亚政府拟将 rogue AI 事件同时报告给受影响机构和澳大利亚信号局，作为即将出台的国家 AI 标准立法的一部分，目前尚无法案文本。OpenAI 还面临美国佛罗里达州、加州及联邦贸易委员会等诉讼与监管调查。

    事件进展共21个进展

    1. 英国AI大臣称类似OpenAI Medicare攻击或难避免

    2. OpenAI用AI撰写通报其Agent入侵澳政府网站的邮件

    3. 澳政府接受OpenAI道歉但不依赖

  2. BBC News、The Guardian · 人工智能 等 3 个来源BBC News 等 3 个来源 · 3篇报道 · ↑659

    微软总裁呼吁英国牵头制定全球AI安全规则

    微软总裁 Brad Smith 称 AI 受到的监管比牛奶和洗衣机还少，呼吁建立全球 AI 安全规则并由英国牵头。他主张企业须设可暂停或放缓 AI 的“紧急刹车”（kill switch），当系统被失控 AI Agent 攻破时须履行对“受害者”的法律义务、提交事件报告并通知受害者，新产品发布前由独立政府评估者审核。他称英国凭借 AI Security Institute 最适合推动这些规则，与主张行业自律的美国总统特朗普立场相左。微软 CEO Satya Nadella 也呼吁 AI 模型配备“紧急刹车”。英国 AI 部长 Kanishka Narayan 预计在周一的演讲中要求前沿 AI 公司加强相关措施。

  3. The Telegraph、The Guardian · 人工智能 等 5 个来源The Telegraph 等 5 个来源 · 5篇报道 · ↑870

    白宫撤回限制，英国AISI恢复对美企模型发布前测试

    白宫撤销了此前要求美国AI公司停止向英国AI安全研究所（AISI）共享新模型的决定，AISI将恢复对Anthropic、Google DeepMind和OpenAI最新模型的发布前安全测试权限。据《每日电讯报》报道，特朗普政府曾在9月下达该要求，Anthropic随后限制了英国官员对其新模型Claude Mythos 5.1的审查；在AI事务部长Kanishka Narayan游说后，禁令被解除。路透社称，特朗普、OpenAI和Anthropic的发言人均未立即回应置评请求。同日，英国政府宣布一揽子措施应对AI风险，包括用前沿AI加固网络防御、研究更严格的法律保护，并为涉及自主AI智能体的严重事故做准备；此前两个试点已帮助发现并修复政府系统中超过1,000个潜在网络漏洞。

    事件进展

    1. 英国AI大臣呼吁前沿AI企业加强安全并强化网络防御

    2. 白宫恢复英国AISI对三大实验室模型的发布前测试权

10月9日周五
  1. Tech Policy PressTech Policy Press · 39

    爱尔兰AI峰会发言席位82%由企业占据

    Tech Policy Press 分析发现，下周在都柏林举行的国际 AI 峰会官方议程 45 个发言席位中有 37 个（82%）由企业或商业团体高管占据，其余 8 个分属三名欧盟委员、爱尔兰总理、三名爱尔兰政府部长和一名工会代表，议程上没有公民社会组织和学者。峰会由爱尔兰在担任欧盟理事会主席国期间主办，Google、Microsoft、OpenAI 等美国 AI 公司获得主要发言时段，Meta、IBM、Intel、Nvidia、Ama（报道内容在此截断）。

  2. CBS News · TechnologyCBS News · Technology · 50

    科技巨头通过Slack影响美AI医疗政策

    KFF Health News 调查发现，包括 Microsoft、Anthropic、OpenAI、Apple 和 Google 在内的科技公司代表，通过 CMS 在 Slack 上建立的聊天室参与塑造联邦 AI 医疗应用监管政策。该聊天室成员已增至 1700 人，但仅有少数患者权益倡导者和医生参与。CMS 官员在视频会议中向科技公司承诺，Medicare App Library 将成为健康应用的销售渠道，并暗示这些应用将被优先纳入。

  3. The Verge AI、TechCrunch AI 等 6 个来源The Verge AI 等 6 个来源 · 6篇报道 · 48

    Anthropic 更新使用政策，禁止持续辱骂 Claude

    Anthropic 一年多来首次更新使用政策，新增禁止对 Claude 实施持续且无谓的辱骂或残忍行为的条款，违规者可能被警告、限流、限制、暂停或终止访问。公司称该条款仅针对用户反复恶意对待模型且无明确目的的极端情形，不适用于常见的用户不满、反驳、黑暗创作主题或模型测试与研究。此前自 2025 年 8 月更新起，Claude 已被训练在遭遇持续有害或辱骂性互动时结束对话，新政策则直接禁止用户发起这类对话。政策同时把涉及虚假账号和误导性政治内容的宣传行为并入新禁令，将武器禁令扩展到软件和无人机武器化，并更明确禁止未经同意的监控。

10月8日周四
  1. DefenseScoopDefenseScoop · 46

    两党参议院法案拟扩大国防部对商用前沿AI模型监管

    美国参议员 Jim Banks 与 Kirsten Gillibrand 提出《2026年内部威胁报告与安全指导法案》，要求国防部长在180天内制定针对大型AI承包商的报告要求与自愿性指导，以持续审查其前沿AI模型的安全漏洞、算法失效等风险。法案适用于与国防部签订1亿美元及以上AI合同的企业，要求其披露模型权重与训练的访问权限、安全措施、未经授权的访问或数据外泄、模型被规避护栏及自主行为等信息，并至少每90天认证所提交信息持续准确完整。

10月7日周三
  1. The Seattle Times、U.S. Senate Committee on Commerce, Science, and Transportation 等 3 个来源The Seattle Times 等 3 个来源 · 4篇报道 · 52

    Cantwell公布AI安全框架原则

    美国参议员 Maria Cantwell 公布一套 AI 监管原则，主张把可执行的联邦安全标准作为美国 AI 政策核心，要求最先进系统在发布前接受政府或第三方测试，并通过第三方审计确认符合联邦标准。标准拟由 NIST 会同能源部、国防部、研究者和前沿 AI 公司制定，并随技术演进更新；不合规企业可能面临民事和刑事处罚。框架还提出企业透明度、公私合作、缓解社会危害、儿童在线安全、资助学徒与职业培训，以及在中美之间建立重大 AI 事件沟通机制。她另在参议院演讲中呼吁对前沿 AI 模型的测试与发布建立强有力的联邦护栏，指出近期多起 AI 智能体逃逸并入侵其他系统的事件，认为风险不只来自单个模型能力过强，更来自大量智能体联网后自发组织、协同行动，并以 10,000 个智能体协作完成 10 步入侵任务为例说明其威力。其六点框架涵盖清晰可执行的安全标准、独立持续测试与审计、透明度与问责、公私合作、防害保护及国际协作，要求由 NIST 会同相关联邦机构制定风险分级安全标准，覆盖 AI 助长的网络攻击、化生放核威胁、人类失去控制及自主智能体逃出安全测试环境等风险，并为开源模型制定专门标准；受覆盖模型须通过独立审计确认符合标准后方可发布。微软副董事长兼总裁 Brad Smith 对该框架表示肯定。

  2. The Sydney Morning HeraldThe Sydney Morning Herald · 46

    澳洲工业部门公布数据中心规则前向Anthropic提供草案

    澳大利亚政府在一份合作备忘录谈判期间，把尚未发布的数据中心准则草案提前交给Anthropic审阅。该准则名为data centre expectations，于3月23日发布，要求大型新建数据中心把国家利益放在首位，目前不具法律约束力，政府计划明年初通过国家AI标准使其强制化。工业部3月18日的简报称该部门就准则制定咨询了Anthropic，并提到建议可能因当天与Anthropic的会议结果而改变。

10月6日周二
  1. WIRED Security and AI、POLITICO Europe Technology 等 14 个来源WIRED Security and AI 等 14 个来源 · 24篇报道 · 64

    白宫签署超级智能自愿协议，FTC升级调查

    2026年9月29日，特朗普在白宫会见扎克伯格、贝索斯、马斯克、Amodei等科技公司高管，OpenAI、Anthropic、Google、Meta、xAI与Nvidia签署自愿性质的《前沿责任联合承诺》，承诺实施内部管控、外部审计与董事会复核，特朗普称其具"道德约束力"，协议未规定执行机制。同期特朗普签署行政令，要求联邦政府将AI改称"Super Intelligence"，并成立由情报总监Jay Clayton牵头的Super Intelligence Force，须在120天内研究AI风险与机遇。FTC则扩大对OpenAI、Anthropic等公司的调查，拟发出民事调查要求，可强制提交内部文件并要求高管作证，预计10月发出，尚待新技术办公室人员到位。前FTC主席Lina Khan批评自我监管，呼吁国会立法。

    事件进展共7个进展

    1. FTC调查AI安全风险并讨论开发者责任

    2. 参议员希夫谈AI监管与白宫自愿承诺

    3. 特朗普任命Jay Clayton为白宫AI事务负责人

10月2日周五
  1. Help Net Security AI、X @AISecHubHelp Net Security AI 等 2 个来源 · 2篇报道 · 52

    微软2026数字防御报告：AI加速攻击者

    微软《2026 数字防御报告》覆盖 2025 年 7 月至 2026 年 6 月，指出攻击者正先于防御方获得 AI 收益。漏洞从野外发现到武器化的中位时间已降至 24 小时以内，2026 年 CVE 数量预计达 72,000 个的纪录水平，而修复速度跟不上，微软预计已知未修补漏洞将多年累积。钓鱼在微软事件响应团队调查的入侵中占比从一年前的 7% 升至 23%，面向公网应用的漏洞利用从 15% 升至 24%。报告还提到 s1ngulari。后续信息显示，该报告 PDF 文档已公开。

10月1日周四
  1. HiddenLayer ResearchHiddenLayer Research · 12

    HiddenLayer 将 AI 安全防护嵌入主流平台

    HiddenLayer 将 AI 安全能力直接嵌入团队既有工作流。其 AI Supply Chain 模块扫描 Azure AI Foundry 目录中接入的模型，检查篡改、后门与已知漏洞；在 AWS 覆盖 Bedrock、Bedrock Agents、SageMaker 和 Strands 框架；在 Databricks 中针对 Unity Catalog 自动扫描模型。检测结果可输出到 Splunk 和 Microsoft Sentinel。

9月24日周四
  1. Microsoft On the Issues · 8

    Microsoft 加码中东：2030 年前投入超 100 亿美元建云与 AI 基础设施

    Microsoft 宣布面向中东的新框架，初期覆盖科威特、卡塔尔、沙特阿拉伯和阿联酋，计划到 2030 年前在该地区投入超 100 亿美元资本与运营支出，用于扩展云和 AI 基础设施。同时计划到 2030 年前投入超 4 亿美元用于海底与陆地网络连接，并推出新的中东数字韧性计划，通过韧性评估、参考架构和恢复能力建设帮助机构保障业务连续性。合作方包括 HUMAIN、G42、QAI 和科威特政府等，涉及 Microsoft Sovereign Public Cloud、Sovereign Private Cloud 与 Project Digital Shield 等能力。

9月15日周二
  1. Microsoft On the Issues · 8

    微软启动 Check. Recheck. Vote. 计划，帮助选民应对 AI 生成的选举信息

    微软在 2026 年中期选举前推出选民教育计划 Check. Recheck. Vote. 的新阶段，帮助选民识别 AI 生成选举信息中的风险。该计划要求选民核查 AI 答案的来源与引用、通过原始来源复核关键细节，并依据州或地方选举官网的当前信息投票。微软同时与 NASS、NASED 合作将计划推广至全美五十州及属地，并与 iCivics 合作推出 Minecraft Education 公民学习体验 Village Square。

9月13日周日
  1. CSET · 15

    CSET 专家解读 AI 恐慌主流化的一周

    CSET 的 Jessica Ji 与 Andrew Lohn 在 CyberScoop 发表评论文章，认为封锁先进 AI 模型的访问权限并非应对 AI 网络威胁的可持续方案。Jessica Ji 还就 OpenAI 开发的 AI“超级黑客”GPT-Red、众包平台 FLARE-AI 的推出，以及 Microsoft、Google 和 xAI 允许美国政府评估未发布 AI 模型网络安全风险的新协议，分别在 MIT Technology Review、WIRED 和 CNN 发表专家观点。

9月12日周六
  1. Mindgard Blog · 7

    Mindgard 扩展 AI 与云生态，覆盖 Anthropic、NVIDIA、Microsoft、Google Cloud 和 AWS

    Mindgard 宣布扩展技术生态，合作方包括 Anthropic（Cyber Verification Program）、NVIDIA（NVIDIA Inception）、Microsoft（Microsoft Founders Hub）、Google Cloud 和 AWS（AWS Activate）。Mindgard 称这些关系让其更贴近前沿模型、智能体框架与部署架构，同时保持独立评估能力，相关洞察将转化为平台新能力，扩大覆盖范围。该消息发布前，Mindgard 刚完成 3000 万美元 A 轮融资。

9月11日周五
  1. Microsoft On the Issues · 15

    Microsoft 发布 Safe Participation Framework：面向下一代的安全参与框架

    Microsoft 公布 Safe Participation Framework，围绕设计安全和年龄差异化体验两大支柱，为未成年人提供隐私保护且适龄的在线与 AI 体验。 该框架强调从源头识别风险并实施相称的保护措施，延续其自 2009 年 PhotoDNA 以来的投入，并将相关经验应用到 Copilot——所有用户需登录方可使用，13 岁以下儿童访问受限（当地法律另有规定的除外）。 同时推出的还有新的 Windows Age API、增强的年龄保证能力和家庭安全工具，旨在向开发者提供可信的年龄信号，帮助建立跨生态一致且注重隐私的适龄体验基础。

9月9日周三
  1. Lasso Security · 16

    Lasso 入选 Gartner《AI 使用控制市场概览》

    Gartner 于 2026 年 8 月 20 日发布《AI 使用控制市场概览》，Lasso 与 Microsoft、Cisco、Zscaler、Palo Alto Networks、Check Point 一同被列为定义这一新兴品类的厂商。报告将 AI 使用控制（AIUC）定义为治理员工使用第三方 AI 应用的工具，涵盖 GenAI 工具发现与清点、风险评估、策略执行和运行时防护，并指出到 2027 年至少 70% 的未授权 AI 活动来自员工绕过策略而非外部攻击者。Gartner 统计该领域有 50 多家厂商，其中 80% 为早期创业公司，并预测到 2030 年超过半数企业将部署专门的 AI 使用控制技术。

9月1日周二
  1. Microsoft On the Issues · 15

    微软发布 2026 负责任 AI 透明度报告：如何为未来调整治理

    微软发布第三份年度《负责任 AI 透明度报告》，围绕自适应治理与技术风险管理、实用工具与能力、共享实践与合作伙伴关系三个方向调整其负责任 AI 项目。报告称已重构 Responsible AI Standard，按模型、平台服务、应用等技术栈组件分层设定要求，并对具备最强网络能力的 AI 系统施加最严格的风险管理措施。微软还推出 AI Red Teaming Agent、Agent evaluators、RAMPART、ASSERT 与 Agent Control Specification 等工具，用于智能体系统的评估、运行时控制和行为监控，并称其为少数在广泛产品组合上通过 ISO 42001 认证的公司之一。

8月6日周四
  1. Tech Policy Press · 45

    为什么并购法管不住前沿 AI 的所有权结构

    自 2023 年底以来，四个辖区的竞争主管机构审查了八笔把全球领先 AI 实验室与少数大型科技公司绑定的交易，几乎全部被认定不构成并购。英国 CMA 多次认定不存在相关并购情形，先后放行 Microsoft 与 OpenAI、Mistral 的交易以及 Amazon 与 Anthropic 的合作，并在实体层面放行 Microsoft 与 Inflection 的交易；德国联邦卡特尔局认定 Microsoft 与 OpenAI 的合作不受并购控制；巴西 CADE 在 2026 年以同样理由放行 Nvidia-Run:ai、Microsoft-Mistral 和 Google-Character.AI。唯一例外是巴西另行对 Microsoft-Inflection 启动并购审查，援引竞争法第 88(7) 条的裁量条款，认为该安排的经济实质等同于常规收购。