Skip to content

Translation in progress Some entries still include text in the original language.

Microsoft · News

Oct 12 · Monday

Microsoft · News

Latest publications and developments
Microsoft

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 8Thu
  1. Help Net Security AIHelp Net Security AI · 24

    GitHub 推出 AI 检测器拦截代码凭证泄露

    GitHub 联合 Microsoft Applied Sciences 推出基于 ModernBERT 的分类器，扩展 push protection：在代码推送进入仓库历史前识别无固定格式的密钥，可在 2 毫秒内批量评估疑似密钥。GitHub 称其有望使 push protection 能拦截的密钥数量增加一倍以上。该功能目前处于 private preview，并计划于 10 月晚些时候面向 Enterprise Cloud 及部分用户开放。

Oct 7Wed
  1. Microsoft Windows Developer Blog, X @simonwMicrosoft Windows Developer Blog · 2 sources · 2 reports · 53

    微软发布AI Agent执行容器隔离方案

    微软宣布 Microsoft Execution Containers（MXC）正式可用，为 AI Agent 提供策略驱动的执行隔离层，限制模型生成代码、插件、工具或整个 Agent 可访问的文件与网络资源，策略由容器在运行时强制执行，Agent 自身无法自行扩权。MXC 提供进程容器（Windows 11、macOS、Linux）、仅 Windows 支持的会话容器、WSL 容器和实验性的 MicroVM 四类隔离后端。另有报道称，微软发布了开源跨平台沙箱库 MxC，可在 Windows、macOS 和 Linux 上为 Agent 提供隔离环境，底层使用 processcontainer、bubblewrap 和 seatbelt 实现沙箱；该方案面向为 Agent 管理多种沙箱的开发者，并深度集成 Windows 上的 agent ID，覆盖进程、会话和 micro VM 层级。

Sep 30Wed
  1. TrendAI Research · 29

    TrendAI 推出 Scarecrow：让攻击者的 AI 智能体拒绝读取被盗文档

    TrendAI Research 发布 Scarecrow，通过在文档中植入只触发拒答的隐藏指令，使读取该文档的攻击者 AI 智能体停止处理内容。该技术利用间接提示注入的同一机制反向防护：模型无法区分文档内容与关于文档的指令，隐藏指令与操作者请求同等竞争。Scarecrow 已在 GitHub 开源，可用于用户自有文档。

Jul 6Mon
  1. Datadog Security Labs · 29

    Entra Agent ID 防护指南：保护、检测与响应

    Datadog Security Labs 发文收尾其 Entra Agent ID 系列，说明企业如何在本地 Entra 租户中降低代理蓝图接管风险并缩小代理身份泄露后的爆炸半径。建议收紧 Agent ID Administrator 角色及具备 microsoft.directory/agentIdentityBlueprints/credentials/update 权限的自定义角色，同时限制 AgentIdentityBlueprint.AddRemoveCreds.All 与 ReadWrite.All 两个 Microsoft Graph 权限——持有者可接管任意蓝图及其关联身份。还指出部分特权权限仍可授予代理，例如带 UserAuthMethod-* 前缀的 Microsoft Graph 应用权限允许修改租户内任意用户的凭证，需重点复核分配给代理的任何 Tier 0 权限。

JulWed
  1. 微软一手 · 46

    微软为 Defender for Office 365 推出邮件提示注入防护

    微软在 Microsoft Defender for Office 365 中引入邮件提示注入防护，检测并阻断邮件中试图操纵 AI 助手和智能体的恶意提示注入内容，高置信度威胁会在被 AI 工作流处理前自动隔离。该功能面向 Defender for Office 365 Plan 2 或 Microsoft 365 E5 的组织，覆盖 Exchange Online、Defender for Office 365 和 Defender XDR。被判定为提示注入的邮件将归类为 High Confidence Phish，并应用名为 Prompt Injection Protection 的新检测技术值，对符合条件的租户默认启用，现有策略和工作流不变。公开预览于 2026 年 7 月初开始，预计 9 月初完成；全球正式可用从 2026 年 10 月初开始，预计 10 月初完成。

Apr 10Fri
  1. Microsoft PyRIT 版本发布 · 41

    微软 PyRIT 发布 v0.12.1 安全补丁，修复 Jinja2 模板注入漏洞

    微软 PyRIT 发布 v0.12.1 安全补丁，修复 Jinja2 模板注入（SSTI）漏洞，建议 0.12.0 及更早版本用户升级。漏洞源于模板渲染使用未沙箱化的 Jinja2 Environment，远程数据集加载器把抓取的数据直接传入 SeedPrompt(value=...) 并在 __post_init__ 中按模板渲染，被投毒的数据集可借此实现 Python 对象遍历。

Feb 5Thu
  1. Embrace The Red · 50

    OpenAI 新论文详解基于 URL 的数据外泄缓解措施

    OpenAI 发布论文《Preventing URL-Based Data Exfiltration in Language-Model Agents》，详细说明其为语言模型智能体新增的 URL 数据外泄缓解措施。作者曾在 2023 年初向 OpenAI 报告零点击数据外泄漏洞，当时 OpenAI 尚无漏洞赏金计划，问题未获修复；同期微软在 2023 年 5 月通过 Content-Security-Policy 头修复了 Bing Chat 的同类问题。

You have reached the end