跳到正文
事件历史事件

微软构建信任感知控制应对间接提示注入

2篇报道2个报道来源最近报道

先了解这件事

AI 综述

为降低间接提示注入风险,微软正为 M365 Copilot 引入信任感知的确定性控制层,在工具输出与主 LLM 之间设立信任边界,按确定性信号(如组织外部邮件)把内容分为可信与不可信。不可信内容被隔离,经能力受限的路径转换为去除恶意内容、保留有用信息并附加来源标记的结构化表示,主模型只接收可信原文与转换后的结构化表示。该层补充分类器过滤与系统提示加固,但微软说明无法阻止每一次间接提示注入。微软在 2026 年 10 月 27 日发布的说明中补充,该防护初期聚焦外部通信等高风险内容,租户需启用 Outlook 发件人设置并查阅 CVE-2026-55145 配置指南。

AI 根据报道生成 · 24 天前更新

后续时间线

10月27日
  1. Microsoft Windows Developer Blog
    微软构建信任感知的 AI 控制:区分处理不可信内容

    微软正为 M365 Copilot 引入信任感知的确定性控制层,区分处理可信与不可信内容,降低间接提示注入风险。不可信内容被隔离并经受限路径转换、附加来源标记,主模型仅接收可信原文与转换后的结构化表示。该防护初期聚焦外部通信等高风险内容,租户需启用 Outlook 发件人设置并查阅 CVE-2026-55145 配置指南。

10月15日
10月13日
  1. Microsoft Community Hub
    Microsoft 如何为 M365 Copilot 构建信任感知控制,差异化处理不可信内容

    Microsoft 为 M365 Copilot 加入推理时确定性强制层,在工具输出与主 LLM 之间设信任边界,按确定性信号把内容分为可信与不可信,如组织外部邮件。不可信内容经隔离、能力受限的路径转换为去掉恶意内容、保留有用信息的结构化表示并附加来源标记。该层补充分类器过滤与系统提示加固,但无法阻止每一次间接提示注入。

相关讨论

共7条