跳到正文

Microsoft

今天还没有收录新动态
Microsoft

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月7日周三
  1. DNYUZ · 收录 · 原文 30

    Bill Gates 对 AI 发出直言警告

    Bill Gates 在《Ezra Klein Show》访谈中警告，AI 即将带来的风险可能超出社会准备程度，并称自己正押上声誉推动公众正视这一问题。他提到，Anthropic 的 Claude 编程模型已在他最擅长的写代码和找代码缺陷上达到超人水平，但决定"该做什么"的高层战略能力仍不具备。他还透露，盖茨基金会今年的战略评审将让 ChatGPT、Claude、Copilot 参与对话，部分评审会让 AI 直接列席。

    观点#OpenAI#Anthropic#Microsoft#观点与讨论
10月2日周五
  1. Tech Policy Press · 收录 · 原文 22

    我们需要 AI 版的 Google Trends

    现有对聊天机器人回答的审计只能有限反映 AI 的社会风险，真正需要的是像 Google Trends 那样、在保护隐私前提下按趋势粒度公开人们如何使用 AI 获取信息的数据。OpenAI 的 ChatGPT 到 2025 年 7 月已被全球约 10% 成年人口使用，Reuters 六国调查中 34% 受访者每周使用生成式 AI，Pew 2026 年数据显示约半数美国成年人用过聊天机器人、四分之一每天使用。作者以 2024 年德国地区选举研究为例：向 Microsoft、Google、OpenAI 索取选举相关提示词数据时，因欧盟《数字服务法》第 40.4 条当时尚未完全生效而缺乏监管依据，最终仅 Microsoft 提供有限数据，显示 8 月每州 2,000-4,000 条选举相关提示词增至 9 月选举月的 6,000 条以上。

    观点#OpenAI#Anthropic#Google DeepMind#Microsoft#隐私与数据泄露#安全评测#政策与监管#观点与讨论
  2. Transparency Coalition.AI · 收录 · 原文 15

    为什么不应向 ChatGPT、Claude 等聊天机器人透露个人医疗信息

    ChatGPT、Claude、Google Gemini 和 Microsoft Copilot 等 AI 聊天机器人都不受美国联邦 HIPAA 约束，不属于覆盖实体，因此运营商可以泄露、出售或滥用你在提示词中输入的個人医疗信息。聊天机器人的永久记忆会持续积累你的健康档案并使其更具市场价值，且其友好自信的语气使 AI 幻觉更难辨别，可能带来严重医疗后果。

    观点#OpenAI#Anthropic#Google DeepMind#Microsoft#防御与护栏#隐私与数据泄露#观点与讨论
  3. POLITICO Europe Technology · 收录 · 原文 18

    Bill Gates 称仅设 AI「终止开关」不够，呼吁立法强制监测

    Bill Gates 表示，仅为人工智能设置「终止开关」（kill switch）并不足以阻止有人用它发动攻击，并指出目前还不到 AI 自主夺取计算机且无法关闭的阶段。他在 NBC《Meet the Press》访谈中主张美国应通过立法，要求企业监测复杂 AI 模型并记录其行为，以防网络攻击或生物恐怖主义用途，同时称行业自律不足，「没人认为自我监管足够」。此番表态正值参议员 Rand Paul 阻挠一项要求在模型中内置终止开关的法案快速通过之际。

    观点#Microsoft#危险能力#AI 与网络攻防#政策与监管#观点与讨论
10月1日周四
  1. 雷峰网安全频道 · 收录 · 原文 13

    安全大模型层出不穷：安恒、360、奇安信等网安厂商也忍不住了

    安恒信息、360、奇安信等多家安全厂商相继发布安全大模型，网络安全行业加速拥抱GPT。安恒恒脑·安全垂域大模型已用于成都大运会及杭州亚运会，安全运营成效提升70%以上；奇安信推出Q-GPT安全机器人，360则以安全大模型打造智能中枢系统。但多位

    观点#Microsoft#Agent 安全#隐私与数据泄露#红队#观点与讨论#AI 动态
  2. 雷峰网安全频道 · 收录 · 原文 14

    亚信安全发布安全大模型信立方，用AI对抗AI攻击

    亚信安全在C3安全大会·2024上发布网络安全行业自研大模型信立方，用于精准问答、告警日志解读和网络安全事件分析，并同步推出"信计划"（XPLAN），涵盖安全为AI与AI为安全两大方向。亚信安全高级副总裁陈奋透露，针对大模型的攻击手段一年内已涌现数十种，其团队在Llama2环境模拟海绵样本攻击，使模型响应从几秒延迟至60秒以上、慢了20倍以上。信计划已落地东数西算成都节点的算力云安全保护，并通过红队测试从八个方向为大模型提供上线前安全检查。

    观点#OpenAI#Google DeepMind#Microsoft#Agent 安全#供应链安全#红队#观点与讨论
  3. Adversa AI · 收录 · 原文 43

    Adversa AI 谈 OpenClaw 企业安全策略：封禁不如沙箱原型与红队验证

    Adversa AI 认为企业封禁 OpenClaw 并非有效策略，应转向沙箱原型、框架对照与红队验证。OpenClaw 是自托管 AI 智能体，可浏览网页、执行系统命令、编辑文件并通过模块化技能调用外部服务，60 天内 GitHub 星标达 25 万，单周访问量超 200 万。文章列举的风险包括 CVSS 8.8 的 RCE 漏洞 CVE-2026-25253、研究者发现的 42665 个公网暴露实例（93.4% 存在认证绕过）、ClawHub 中 800 多个恶意技能，以及通过 Cline CLI 2.3.0 与受损 npm token 发起的供应链攻击。

    观点#OpenAI#Google DeepMind#Meta#Microsoft#NVIDIA#Agent 安全#供应链安全#红队#观点与讨论
  4. Embrace The Red · 收录 · 原文 25

    AI 中的偏差正常化：从 LLM 不可信输出来看间接提示注入风险

    AI 行业正重演挑战者号航天飞机灾难前的文化失误——将偏离正确行为的做法逐渐常态化。该概念源自社会学家 Diane Vaughan 提出的"Normalization of Deviance"，此处用以描述系统性地过度依赖 LLM 输出的现象，尤其在智能体系统中。由于 LLM 是不可信的参与者，访问检查、编码与净化等安全控制必须施加于其输出下游，否则会同时放大良性错误与恶意输入带来的后果。 Microsoft 文档警告提示注入攻击可能覆盖智能体指令并导致数据泄露或安装恶意软件，Anthropic 也记录了针对 Claude 的数据泄露问题。

    观点#OpenAI#Anthropic#Google DeepMind#Microsoft#提示注入#Agent 安全#后门与投毒#观点与讨论
已经到底了