跳到正文

Microsoft · News

10月12日 · 周一

Microsoft · News

按原发与事件进展排列
Microsoft

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月11日周日
  1. TechCrunch AI、The Verge AI 等 4 个来源TechCrunch AI 等 4 个来源 · 4篇报道 · ↑131

    微软 Nadella 呼吁 AI 设人类可控紧急刹车

    2026年10月11日，微软 CEO Satya Nadella 在 X 发长文并配博文，主张重新审视 AI 信任架构：不能把超级智能当作只能被动接受或拒绝的嵌套黑箱，应把模型与编排其工作的 harness 分离、将控制与护栏外置，为每个有实质影响的模型动作留下防篡改、人类可读的证据，并让授权人员始终能在任务中途暂停或关闭模型。他称必须假定模型已被攻陷并从一开始就加以遏制，就像紧急刹车，并提出模型多样性、持续系统测试、独立控制与可审计性、隔离、事件披露等可观测性原则，主张更先进模型需要更先进的遏制技术并加以标准化。The Decoder 认为其改用「Super Intelligence」措辞有商业策略动因，意在削弱对 OpenAI 和 Anthropic 的信任，微软已在 Office 中用更便宜的自研模型替换。

9月29日周二
  1. DNYUZ · 30

    Bill Gates 对 AI 发出直言警告

    Bill Gates 在《Ezra Klein Show》访谈中警告，AI 即将带来的风险可能超出社会准备程度，并称自己正押上声誉推动公众正视这一问题。他提到，Anthropic 的 Claude 编程模型已在他最擅长的写代码和找代码缺陷上达到超人水平，但决定"该做什么"的高层战略能力仍不具备。他还透露，盖茨基金会今年的战略评审将让 ChatGPT、Claude、Copilot 参与对话，部分评审会让 AI 直接列席。

9月28日周一
  1. POLITICO Europe Technology · 18

    Bill Gates 称仅设 AI「终止开关」不够，呼吁立法强制监测

    Bill Gates 表示，仅为人工智能设置「终止开关」（kill switch）并不足以阻止有人用它发动攻击，并指出目前还不到 AI 自主夺取计算机且无法关闭的阶段。他在 NBC《Meet the Press》访谈中主张美国应通过立法，要求企业监测复杂 AI 模型并记录其行为，以防网络攻击或生物恐怖主义用途，同时称行业自律不足，「没人认为自我监管足够」。此番表态正值参议员 Rand Paul 阻挠一项要求在模型中内置终止开关的法案快速通过之际。

9月23日周三
  1. Tech Policy Press · 22

    Oliver Marsh 呼吁建立 AI 版 Google Trends，公开使用趋势

    现有对聊天机器人回答的审计只能有限反映 AI 的社会风险，真正需要的是像 Google Trends 那样、在保护隐私前提下按趋势粒度公开人们如何使用 AI 获取信息的数据。OpenAI 的 ChatGPT 到 2025 年 7 月已被全球约 10% 成年人口使用，Reuters 六国调查中 34% 受访者每周使用生成式 AI，Pew 2026 年数据显示约半数美国成年人用过聊天机器人、四分之一每天使用。作者以 2024 年德国地区选举研究为例：向 Microsoft、Google、OpenAI 索取选举相关提示词数据时，因欧盟《数字服务法》第 40.4 条当时尚未完全生效而缺乏监管依据，最终仅 Microsoft 提供有限数据，显示 8 月每州 2,000-4,000 条选举相关提示词增至 9 月选举月的 6,000 条以上。

9月10日周四
  1. Transparency Coalition.AI · 15

    为什么不应向 ChatGPT、Claude 等聊天机器人透露个人医疗信息

    ChatGPT、Claude、Google Gemini 和 Microsoft Copilot 等 AI 聊天机器人都不受美国联邦 HIPAA 约束，不属于覆盖实体，因此运营商可以泄露、出售或滥用你在提示词中输入的個人医疗信息。聊天机器人的永久记忆会持续积累你的健康档案并使其更具市场价值，且其友好自信的语气使 AI 幻觉更难辨别，可能带来严重医疗后果。

7月20日周一
  1. Tech Policy Press · 52

    ChatGPT 并未击垮 EU AI Act，它说明了适应性监管为何重要

    Future of Life Institute 的文章认为，ChatGPT 并未击垮 EU AI Act，反而凸显了适应性监管的价值。文章复盘立法过程：2021 年 4 月的提案按用途而非技术监管，2021 年 8 月的公开咨询中已有人指出通用 AI 的空白，此后议会与理事会逐步推动为 GPAI 单列制度，2023 年 12 月三方会谈形成分层 GPAI 架构。GPAI 义务自 2025 年 8 月 2 日起适用，委员会执法权将于 2026 年 8 月 2 日生效，可要求信息、评估模型、要求缓解或下架，并处以最高全球年营业额 3% 的罚款；2025 年 8 月前已上市的模型须在 2027 年 8 月 2 日前合规。

7月16日周四
  1. Tech Policy Press · 38

    我们无法大规模监控 AI 智能体，需要什么才能做到

    作者 Madhulika Srikumar 与 Vinh X. Nguyen 撰文指出，能够大规模实时监控 AI 智能体的基础设施尚不成熟，而监管机构与安全专家已假设它存在。文章援引 EU AI Act 对高风险 AI 系统接受人类有效监督的要求、2026 年版 International AI Safety Report 对监控思维链的呼吁，以及 Google DeepMind 上月发布的内部 Agent 监控路线图。文中举例称，Meta 一个内部 Agent 曾在 3 月暴露敏感用户与公司数据两小时后才被发现；网页中的提示注入曾诱导 Perplexity 的 Comet Agent 前往用户银行网站窃取凭证，Microsoft 365 Copilot 的零点击漏洞可被用于外泄用户文件。作者建议企业按部署风险分级监控，并推动制定统一的 Agent 追踪记录格式。

6月5日周五
  1. Tech Policy Press · 44

    各州 AI 部署正跑在自身治理之前

    美国多州向州政府雇员推广生成式 AI 的速度快于配套治理。纽约州 4 月 6 日宣布，基于 Google Gemini 的 AI Pro 从 8 个机构 1200 人的试点扩展到超过 10 万名州雇员，而州审计长 2025 年 4 月的审计曾指出该州 AI 政策缺乏足够指引。宾夕法尼亚州先与代表近 1 万名雇员的工会达成有约束力的补充协议，再于 2026 年 4 月把 ChatGPT Enterprise 扩展到 35 个机构的 3000 名雇员。新泽西州用 AWS 与 Claude 重建 AI 助手并采用自控的 LibreChat，约 2 万名雇员使用，成本约每人每月 1 美元。文章认为治理框架应在 AI 工具覆盖全员之前到位，并公开相关部署文档。

6月1日周一
  1. Tech Policy Press · 33

    AI 走向战争：中等强国面临哪些风险

    中等强国把 AI 纳入国防，却仍结构性依赖外国芯片、模型与云基础设施，供应商或母国撤出时缺乏救济。2022 年乌克兰海上无人机因 SpaceX 未在该区域开通 Starlink 失联冲滩，Planet Labs 应白宫要求无限期扣留伊朗及周边冲突区影像。3 月美国国防部将 Anthropic 列为供应链风险并中止合同，OpenAI 数小时后补位。

5月23日周六
  1. Tech Policy Press · 57

    特朗普放弃“AI 版 FDA”提案

    特朗普推迟签署一项关于 AI 与网络安全的行政令，称其“可能成为阻碍”，而据《华盛顿邮报》报道，扎克伯格、马斯克与 David Sacks 在前一晚至当天上午分别与总统通话。泄露给 POLITICO 的草案显示，该行政令以自愿为原则，明确禁止被解读为建立强制许可或预审制度，仅要求司法部依据《计算机欺诈与滥用法》追究利用 AI 非法访问或破坏计算机者。草案还赋予 NSA 对前沿模型进行机密评估的权力，由 ONCD、CISA 与 NIST（含 CAISI）协助界定适用范围。文章认为，这一安排把评估主导权从民用监管机构转向情报机构，其程序不受 FOIA 约束、评估结果无法公开，而 CAISI 据报已在组建跨机构工作组开展机密评估。

4月2日周四
  1. Tech Policy Press · 32

    为什么 AI「模型卡」是儿童安全的紧迫必需

    Margaret Mitchell 等作者主张为 CSAM 检测、诱拐识别与自残标记等儿童安全模型建立「模型卡」，称这些广泛部署的模型仍是黑箱，缺乏结构化性能数据。加拿大儿童保护中心对近 1,300 名遭网络性侵害青少年的调查显示，过半案件涉及图像，23% 涉及传播真实或 AI 图像的威胁。

3月20日周五
  1. Adversa AI · 43

    Adversa AI 谈 OpenClaw 企业安全策略：封禁不如沙箱原型与红队验证

    Adversa AI 认为企业封禁 OpenClaw 并非有效策略，应转向沙箱原型、框架对照与红队验证。OpenClaw 是自托管 AI 智能体，可浏览网页、执行系统命令、编辑文件并通过模块化技能调用外部服务，60 天内 GitHub 星标达 25 万，单周访问量超 200 万。文章列举的风险包括 CVSS 8.8 的 RCE 漏洞 CVE-2026-25253、研究者发现的 42665 个公网暴露实例（93.4% 存在认证绕过）、ClawHub 中 800 多个恶意技能，以及通过 Cline CLI 2.3.0 与受损 npm token 发起的供应链攻击。

3月11日周三
  1. Tech Policy Press · 28

    Anthropic 与 OpenAI 能限制美军监控美国公民，那其他国家呢？

    美国国防部取消 Anthropic 的 Claude 合同，转而与 OpenAI 达成协议。起因是 Anthropic CEO Dario Amodei 拒绝让 Claude 用于国内监控或接入致命性自主武器，OpenAI 随后澄清其合同含限制监控美国公民的保障条款。作者认为合同保障难以奏效，只有硬编码进模型的限制才可靠；美国法律只约束国内监控，境外民众因此成为 AI 大规模监控的合法目标。

2025年12月5日周五
  1. Embrace The Red · 25

    AI 中的偏差正常化：从 LLM 不可信输出来看间接提示注入风险

    AI 行业正重演挑战者号航天飞机灾难前的文化失误——将偏离正确行为的做法逐渐常态化。该概念源自社会学家 Diane Vaughan 提出的"Normalization of Deviance"，此处用以描述系统性地过度依赖 LLM 输出的现象，尤其在智能体系统中。由于 LLM 是不可信的参与者，访问检查、编码与净化等安全控制必须施加于其输出下游，否则会同时放大良性错误与恶意输入带来的后果。 Microsoft 文档警告提示注入攻击可能覆盖智能体指令并导致数据泄露或安装恶意软件，Anthropic 也记录了针对 Claude 的数据泄露问题。

2025年11月24日周一
  1. Tech Policy Press · 26

    政策制定者必须现在就为 AI 泡沫破裂做准备

    Tech Policy Press 评论主张，政策制定者应现在就为 AI 泡沫破裂做准备：设计公用事业费率以免普通电费缴纳者承担搁浅投资、收购困境中的能源基础设施、支持 AI 用于医疗和教育等公共服务。文章援引 JP Morgan 估算称，预计 5 万亿美元的全球 AI 基础设施投资需 AI 产品每年产生 6500 亿美元收入，才能维持 10% 的年回报。

2024年5月21日周二
  1. 雷峰网安全频道 · 14

    亚信安全发布安全大模型信立方，用AI对抗AI攻击

    亚信安全在C3安全大会·2024上发布网络安全行业自研大模型信立方，用于精准问答、告警日志解读和网络安全事件分析，并同步推出"信计划"（XPLAN），涵盖安全为AI与AI为安全两大方向。亚信安全高级副总裁陈奋透露，针对大模型的攻击手段一年内已涌现数十种，其团队在Llama2环境模拟海绵样本攻击，使模型响应从几秒延迟至60秒以上、慢了20倍以上。信计划已落地东数西算成都节点的算力云安全保护，并通过红队测试从八个方向为大模型提供上线前安全检查。

2023年10月18日周三
  1. 雷峰网安全频道 · 13

    安全大模型层出不穷：安恒、360、奇安信等网安厂商也忍不住了

    安恒信息、360、奇安信等多家安全厂商相继发布安全大模型，网络安全行业加速拥抱GPT。安恒恒脑·安全垂域大模型已用于成都大运会及杭州亚运会，安全运营成效提升70%以上；奇安信推出Q-GPT安全机器人，360则以安全大模型打造智能中枢系统。但多位

已经到底了