跳到正文

隐私与数据泄露 · News

10月12日 · 周一

隐私与数据泄露 · News

按原发与事件进展排列
隐私与数据泄露

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月9日周五
  1. Goodfire Research、BasetenGoodfire Research 等 2 个来源 · 2篇报道 · 31

    Goodfire与Baseten合作推出Project Beacon安全监控

    Goodfire 与 Baseten 合作推出 Project Beacon，把 Goodfire 的安全栈接入 Baseten 推理平台，通过读取生成过程中的模型内部激活来定义策略，在输出到达用户或工具前检测并处置不安全事件，覆盖提示注入、越权操作、敏感数据泄露和网络滥用四类风险。其激活监控器复用模型已有计算，可在每次前向传播中低延迟运行，监控与生成并行且不阻塞响应，并与 judge 级联以降低成本。在 Kimi K3 的生产网络监控评估中，该方案检出约 93% 的有害会话，仅将 5.5% 的良性会话标记复核，judge 成本最多降低约 50 倍，且推理吞吐无明显下降。Baseten 计划未来数月先面向部分模型和受监控行为发布，再扩展至企业控制与开发者体验。

10月2日周五
  1. TechCrunch AI、The Verge AI 等 6 个来源TechCrunch AI 等 6 个来源 · 6篇报道 · 48

    苹果因 AI 智能体风险收紧 macOS 全盘访问权限

    Apple 宣布将在 macOS 上为完全磁盘访问（Full Disk Access）引入额外控制，理由是 AI 智能体能力与自主性增强带来隐私风险。该权限自 macOS Mojave 引入，可让应用绕过系统限制读写受保护数据，本为备份类应用设计，但部分开发者以可能暴露文件、邮件、信息和浏览历史的方式使用它，对通信类应用还可能影响通信对象的隐私。Apple 称未来只有通过“非常明确的用户操作”才能授予这一访问级别，但未说明推出时间，也未披露控制措施的具体运作方式。此举被认为与近期报道有关：Meta 的通用 AI 智能体 Muse 曾向科技专栏作者 Jason Aten 发送未经请求的通知并引用其 Apple Messages 对话，Aten 称从未授予 Muse 读取消息的权限。

9月30日周三
  1. OWASP AI Exchange · 43

    OWASP AI Exchange 指南补充流式输出跨分块敏感信息过滤方法

    OWASP AI Exchange 项目在 AI 安全与隐私指南的敏感输出处理章节新增一条实现要点，指出当模型输出按 token 等分块流式返回时，敏感值可能被拆到两个或多个分块中，导致任何单块都不匹配。逐块过滤或在过滤前固定拼接上一块若干字符都无法阻止泄露，因为组合文本被检查时前半部分已经发出，即使过滤器记录到检测成功。指南建议在匹配仍可能延伸进缓冲区时暂不释放文本，或缓冲到句子乃至整段响应边界；若缓冲区达到上限而匹配仍可能未闭合，应停止输出而不是释放已暂存内容。文中给出的测试判据是，对同一文本的每一种分块方式，流式输出都应等于一次性过滤整段文本的结果。

9月24日周四
9月23日周三
  1. NVIDIA 技术博客：可信 AI 与网络安全 · 11

    NVIDIA 机密计算如何实现私有高性能生产级 AI 推理

    NVIDIA 机密计算（CC）通过内存加密的机密虚拟机（CVM）和机密 GPU，让 LLM 推理在个人、企业和受监管场景中处理敏感数据与专有模型上下文时运行于可信环境。该方案面向生产级 AI 推理，兼顾私有性与高性能。

9月17日周四
  1. 先知社区 · 42

    政务 RAG 白盒审计发现间接提示注入等 4 类缺陷并完成零回归修复

    对自研政务 RAG 系统 gov-rag-demo 的白盒代码审计发现 4 类真实缺陷：间接提示注入、权限参数客户端可控、会话 ID 无鉴权、政务高频实体脱敏不足，均定位到行号并完成修复。修复后 78 条业务评测用例保持 100% 零回归，安全专项断言全部通过。材料附完整复现脚本与修复后状态。

7月15日周三
  1. OpenAI · 55

    GPT-Red：解锁面向鲁棒性的自我改进

    OpenAI 训练了内部自动化红队模型 GPT-Red，用自我对弈强化学习生成提示注入攻击，并将其纳入生产模型训练以提升鲁棒性。OpenAI 称 GPT-5.6 Sol 在最难的直接提示注入基准上失败次数比四个月前最好的生产模型少 6 倍，在 GPT-Red 的直接提示注入上仅 0.05% 失败。在 Dziemian 等人 2025 年的间接提示注入竞技场上，GPT-Red 对 GPT-5.1 的攻击成功率为 84%，人类红队为 13%。GPT-Red 还攻破了 OpenAI 办公室的自动售货机 Agent 和基于 GPT-5.4 mini 的 Codex CLI Agent 的数据外泄场景。早期 GPT-Red 发现的 Fake Chain-of-Thought 攻击在 GPT-5.1 上成功率超 95%，在 GPT-5.6 Sol 上已低于 10%。

7月3日周五
  1. NVIDIA 技术博客：可信 AI 与网络安全 · 6

    NVIDIA Confidential Computing：不拖慢性能的硬件级 AI 安全方案

    NVIDIA Confidential Computing（CC）面向 AI 推理与智能体场景，用硬件级方案保护数据在使用中的安全，同时避免拖慢性能。该方案针对企业在数据隐私与主权方面的顾虑，目标是让 AI 模型在推理和交互过程中数据始终处于受保护状态。

6月6日周六
  1. Simon Willison · 48

    OpenAI 上线 Lockdown Mode，限制提示注入后的数据外泄

    OpenAI 正式上线 Lockdown Mode，此前在 2 月已有预告，现面向符合条件的个人账户（Free、Go、Plus、Pro）及自助式 ChatGPT Business 账户推送。该模式通过限制可能把敏感数据传给攻击者的对外网络请求，阻止提示注入攻击的最后一步数据外泄，但不会阻止提示注入出现在 ChatGPT 处理的内容中，例如缓存网页或上传文件里的注入仍可能影响回答的行为或准确性。Simon Willison 认为这一设计直接切断了致命三要素中的数据外泄环节，且所用机制是确定性的，不依赖可能被复杂攻击绕过的 AI 系统来判定。

4月1日周三
  1. Goodfire Research · 46

    Goodfire 与 Rakuten 用 SAE 探针在生产环境检测 PII

    Goodfire 与 Rakuten 合作，将稀疏自编码器（SAE）探针用于 Rakuten AI 智能体的 PII 检测，这是已知首个将 SAE 用于语言模型护栏的企业应用。方法是在 Llama 3.1 8B 侧模型上训练 SAE，再用其特征激活训练分类器，逐 token 判断姓名、地址、电话、邮箱等 PII 类别。由于真实 PII 敏感，训练数据全部为合成数据，SAE 探针在合成到真实生产数据的分布迁移上优于普通激活探针和注意力探针，并在非英语和标签噪声场景下同样表现更好。成本上，探针比常见 LLM-as-judge 方案便宜 10 到 500 倍，性能相当；用同一模型做白盒探针的 F1 从黑盒判官的 51% 提升到 96%。

3月25日周三
  1. OpenAI · 57

    OpenAI 推出安全漏洞赏金计划

    OpenAI 宣布推出安全漏洞赏金计划，用于发现 AI 滥用与安全风险，征集范围包括 Agent 漏洞、提示注入和数据外泄。

3月23日周一
  1. NVIDIA 技术博客：可信 AI 与网络安全 · 14

    NVIDIA 如何为机密 AI 工厂构建零信任架构

    为机密 AI 工厂构建零信任架构，用于应对企业私有数据与 AI 模型结合时的隐私与信任风险。AI 正从实验走向生产，但企业所需的大部分数据位于公有云之外，包括患者记录、市场调研以及承载企业知识的遗留系统，隐私与信任顾虑常常拖慢甚至阻断 AI 的采用。

3月9日周一
  1. Google Bug Hunters · 35

    Gemini 如何缓解基于 URL 的数据外泄攻击

    Google 介绍了 Gemini 及其他 Google 智能体缓解基于 URL 的数据外泄攻击的做法。该攻击利用 URL 将数据带出，Google 通过相应机制进行拦截与缓解。

2月5日周四
  1. Embrace The Red · 50

    OpenAI 新论文详解基于 URL 的数据外泄缓解措施

    OpenAI 发布论文《Preventing URL-Based Data Exfiltration in Language-Model Agents》，详细说明其为语言模型智能体新增的 URL 数据外泄缓解措施。作者曾在 2023 年初向 OpenAI 报告零点击数据外泄漏洞，当时 OpenAI 尚无漏洞赏金计划，问题未获修复；同期微软在 2023 年 5 月通过 Content-Security-Policy 头修复了 Bing Chat 的同类问题。

2025年4月30日周三
  1. NVIDIA 技术博客：可信 AI 与网络安全 · 15

    NVIDIA 如何通过结构化应用保护 KV cache

    NVIDIA 提出通过结构化应用设计来保护 KV cache。输入结构会影响 Transformer 模型（如 LLM、VLM）的输出，而实际提示词往往不止是简单的用户提问，常由系统指令、上下文数据和用户输入等来源动态拼装而成。

2023年12月5日周二
  1. 腾讯玄武实验室 · 36

    腾讯玄武实验室提出端侧提示词隐私保护方案并开源中文权重

    腾讯安全玄武实验室提出一种可部署在端侧的提示词隐私保护方案，在调用云端 LLM 的流程中插入两个端侧步骤，先平行替换隐私实体完成脱敏，再还原云端输出中的隐私实体。方案用标注的平行语料训练了一个权重约 500MB 的小模型，基于开源模型 Bloom，在手机和笔记本上完成部署实验；仅用 CPU 时 MacBook M2 推理速度 180-200 tokens/s，MacBook M1 为 110-130 tokens/s，Pixel 8 Pro 为 20-30 tokens/s。原生支持润色、摘要、翻译、阅读理解和文本分类，并支持 Zero Shot 自定义扩展任务。

日期待核
  1. Undercode NewsUndercode News · 27

    Dify 1.17.1 发布，收紧知识库安全

    Dify 1.17.1 发布，收紧知识库安全。据 Undercode News 报道，该版本引入按数据集范围划分的知识库 API key，修复源文档抽取问题，并加固对不可信文档的处理；同时提示内置 Weaviate 需分阶段升级。

  2. Apple Developer · 28

    Apple 调整 macOS 完全磁盘访问权限管控

    Apple 宣布将为 macOS 的完全磁盘访问（Full Disk Access）引入额外管控，用户只有在非常明确的主动操作下才能授予应用这一权限。Apple 称部分开发者对该权限的使用方式可能让用户面临风险，暴露文件、邮件、信息和浏览历史等内容，对通讯类应用还会波及通信对象的隐私。Apple 表示，随着 AI 智能体能力与自主性增强，这一级别访问权限带来的风险将大幅上升。

已经到底了