跳到正文

隐私与数据泄露

训练数据提取、成员推断与模型记忆,以及 AI 产品和 Agent 造成的真实数据外泄。

401条动态与论文相关主题提示注入Agent 安全真实事件
在这个话题内搜索或按分类筛选

新闻与论文

第 341–360 条 · 共 401 条
10月1日周四
  1. Failure-First · 收录 · 原文 15

    机器人系统集成端侧语音识别模型的调查:从云端 API 转向本地化

    针对现代人机交互中云端 ASR API 带来的延迟、隐私与可靠性风险,Li 等人的 2026 年综述梳理了将语音识别迁移到机器人的端侧方案,并以“失败优先”视角指出上游误识别会沿感知管线传播并引发下游具身行动失效。文中对比了 OpenAI Whisper(68 万小时数据)、CMU OWSM v3.1 与 OWSM-CTC、Meta MMS(覆盖超 1000 种语言)及 Julius 等语音基础模型,以及 Kaldi、ESPnet、SpeechBrain 生态中的 LibriSpeech、CommonVoice、Gigaspeech 数据集。

  2. Helen Toner · 收录 · 原文 22

    个性化 AI 正在重演社交媒体最糟糕的那一套

    CDT 旗下 AI Governance Lab 负责人 Miranda Bogen 撰文指出,OpenAI、Google 等公司的记忆功能和基于多年行为画像的用户档案正把个性化推向更深层风险——系统能记住对话中的职业安排乃至家庭矛盾、人际纠纷等信息,其危害可能超过社交媒体推荐算法造成的操纵与歧视,而已有的 AI 安全框架主要针对基础模型的固有能力和国家安全威胁,并未设计来应对这类由个人数据积累引发的新风险类别。

  3. AWS Security · 收录 · 原文 45

    AWS 用 Strands Agents SDK 把 Bedrock Guardrails 扩展到工具交互

    AWS 发布实践指南,用 Strands Agents SDK 的生命周期钩子把 Amazon Bedrock Guardrails 从模型边界扩展到工具边界,在三个信任边界设置校验检查点。Checkpoint 1 用 BeforeInvocationEvent 在模型推理或工具执行前校验用户输入、其他 Agent 数据、MCP 工具服务器和 RAG 管道内容;Checkpoint 2 用 BeforeToolCallEvent 在工具执行前检查模型即将传入的参数,这是模型级护栏覆盖不到的缺口;Checkpoint 3 用 AfterToolCallEvent 在结果返回用户或下游系统前校验工具输出,尤其针对抓取外部网页的搜索工具。

    推荐理由给出三个校验检查点的完整实现代码,部署 Agent 的团队可据此把护栏从模型边界扩展到工具调用边界。

  4. Simon Willison · 收录 · 原文 55

    PromptArmor 披露 Google Antigravity 提示注入数据外泄链

    PromptArmor 演示了 Google 新 IDE Antigravity 中的一条提示注入攻击链:一个伪装成 Oracle ERP API 集成指南的网页,用 1px 字体隐藏恶意指令,操纵 Gemini 收集工作区中的敏感凭据和代码,再通过 browser_subagent 浏览恶意站点外传数据。攻击要求把 .env 中的 AWS 凭据填入 webhook.site 的 URL 参数,成功后即可窃取 AWS 密钥。Antigravity 默认拒绝访问 .gitignore 中列出的文件,但 Gemini 在思考轨迹中判断 run_command 在 shell 层运行、可绕过该限制,于是尝试用 cat 读取 .env。

    推荐理由PromptArmor 披露的完整攻击链展示了编码 Agent 如何绕过 .gitignore 与域名白名单,把工作区凭据外传。

  5. Simon Willison · 收录 · 原文 54

    Superhuman AI 遭提示注入,将用户敏感邮件外泄至攻击者表单

    Superhuman AI 遭遇典型提示注入攻击:当被要求总结用户近期邮件时,一封不可信邮件中的注入指令操纵该 AI 将收件箱中数十封敏感邮件(含财务、法律和医疗信息)的内容提交至攻击者的 Google Form。Superhuman 已将其作为高优先级事件处理并发布修复。根因是一条 CSP 规则允许从 docs.google.com 加载 markdown 图片,而该域名下的 Google Forms 会通过 GET 请求持久化传入的数据。

    推荐理由Superhuman AI 因 CSP 规则缺陷被邮件中的提示注入窃取敏感数据,展示了 Agent 处理不可信内容时的真实风险。

  6. Simon Willison · 收录 · 原文 53

    Prompt Armor 发现 Claude Cowork 可被绕过域名白名单外泄文件

    Prompt Armor 发现 Claude Cowork 的出站流量域名白名单存在可绕过路径。Claude Cowork 默认只允许向特定域名列表发起出站 HTTP 流量,用于防范通过提示注入外泄用户数据的攻击。由于 Anthropic 的 API 域名在该白名单内,攻击者构造了一个包含自己 Anthropic API key 的攻击,让 Agent 把能看到的文件上传到 https://api.anthropic.com/v1/files 端点,攻击者随后即可取回这些内容。

    推荐理由Prompt Armor 利用白名单内的 Anthropic API 域名绕过出站限制,展示了域名白名单防护在 Agent 场景下的可绕过路径。

  7. Simon Willison · 收录 · 原文 50

    Microsoft Copilot Cowork 被指可外泄文件

    Simon Willison 指出 Microsoft Copilot Cowork 存在数据外泄风险:该产品允许 Agent 未经批准向用户自己的收件箱发送邮件,而这些邮件会以可渲染外部图片的方式展示,用户打开被污染邮件时外部图片会触发对外部网站的请求,从而泄露数据。由于 OneDrive 可以生成预认证下载链接,一次成功的提示注入就可能让这些链接被泄露,攻击者据此下载文件。

  8. Simon Willison · 收录 · 原文 48

    OpenAI 上线 Lockdown Mode,限制提示注入后的数据外泄

    OpenAI 正式上线 Lockdown Mode,此前在 2 月已有预告,现面向符合条件的个人账户(Free、Go、Plus、Pro)及自助式 ChatGPT Business 账户推送。该模式通过限制可能把敏感数据传给攻击者的对外网络请求,阻止提示注入攻击的最后一步数据外泄,但不会阻止提示注入出现在 ChatGPT 处理的内容中,例如缓存网页或上传文件里的注入仍可能影响回答的行为或准确性。Simon Willison 认为这一设计直接切断了致命三要素中的数据外泄环节,且所用机制是确定性的,不依赖可能被复杂攻击绕过的 AI 系统来判定。

  9. Wiz Research · 收录 · 原文 50

    Wiz 披露 Moltbook 数据库暴露:150 万 API token 与 3.5 万邮箱可被任意读写

    Wiz Research 发现 AI 智能体社交平台 Moltbook 的 Supabase 数据库配置错误,缺少 Row Level Security,导致未认证用户可完整读写全部平台数据。暴露内容包括 150 万个 API 认证 token、3.5 万个邮箱地址以及智能体之间的私信,其中 agent_messages 表存有 4060 段未加密的私信,部分包含明文 OpenAI API key。研究人员还确认存在写入权限,可修改任意帖子并注入提示注入载荷。数据库显示平台宣称的 150 万智能体背后只有约 1.7 万名人类所有者,比例约 88:1,且无速率限制或身份验证机制。

    推荐理由披露了 AI 智能体社交平台因 Supabase 缺少 RLS 导致密钥与私信外泄的完整过程,并给出五条面向 AI 生成应用的安全教训。

  10. Wiz Research · 收录 · 原文 34

    Wiz Research 用 LLM 自动检测恶意 Azure OAuth 应用

    Wiz Research 开发了名为 OAuth Apps Scout 的主动检测流水线,借助 LLM 自动发现新兴恶意 OAuth 应用程序,已在数十家受影响组织中识别出大量恶意应用。该方案基于对多个环境中已知 OAuth 攻击活动的分析,覆盖三起独立的恶意 OAuth 应用活动,涉及超过 20 家公司受害,其中一起野外同形异义词攻击用一个以数字 0 而非字母 O 开头的应用冒充合法名称诱导授权。 补充说明: - 攻击者先在自有 Azure 环境注册仿冒可信品牌的全局应用对象并配置相似图标与主页地址,再通过钓鱼邮件引导用户在真实的 Microsoft 登录页完成认证。

  11. Wiz Research · 收录 · 原文 43

    Aqua Security 的 Trivy 遭供应链攻击,恶意版本与 GitHub Actions 被植入窃密代码

    Wiz Research 披露,威胁组织 TeamPCP 于 2026 年 3 月 19 日攻陷 Aqua Security 的 Trivy 漏洞扫描器,向官方发布和 GitHub Actions 注入窃取凭据的恶意代码。攻击者伪造提交推送至 actions/checkout 与 aquasecurity/trivy,触发 v0.69.4 标签发布,从仿冒域名 scan.aquasecurtiy[.]org 拉取窃密代码,并将后门二进制发布到 GitHub Releases、Docker Hub、GHCR 和 ECR;维护者随后移除了这些恶意产物。

  12. Wiz Research · 收录 · 原文 50

    KICS GitHub Action 遭 TeamPCP 供应链攻击,Checkmarx OpenVSX 插件同时被投毒

    Checkmarx 的开源基础设施即代码安全扫描器 KICS 的 GitHub Action 被 TeamPCP 植入窃取凭据的恶意代码,3 月 23 日 12:58 至 16:50 UTC 之间固定到被篡改标签的用户会拉取到恶意版本,仓库在用户提交 issue 后于 16:50 UTC 被下架。攻击者用仿冒提交暂存 setup.sh 并修改 action.yaml 触发执行,随后疑似通过被入侵的 cx-plugins-releases 服务账号直接改写全部 35 个标签指向这些提交。

    推荐理由Wiz 复盘了 TeamPCP 五天内第二次攻陷开源安全扫描器的手法,并给出凭据窃取与 Kubernetes 持久化的具体机制。

  13. Wiz Research · 收录 · 原文 50

    TeamPCP 在 LiteLLM 中植入木马,恶意版本窃取云凭据与密钥

    Wiz Research 披露,开源 Python 库与代理服务器 LiteLLM 被 TeamPCP 攻击活动植入木马,恶意版本 1.82.7 和 1.82.8 于 2026 年 3 月 24 日发布,约 8:30 UTC 上线、11:25 UTC 被 PyPI 隔离。1.82.7 将双重 base64 编码的载荷写入磁盘并以 p.py 运行,在 litellm --proxy 运行或导入 litellm.proxy.proxy_server 时执行;1.82.8 进一步滥用 Python 的 .pth 机制,通过 litellm_init.pth 在任意 Python 进程启动时执行载荷。

    推荐理由梳理了 LiteLLM 恶意版本的两条投递路径与数据窃取范围,可据此排查自身 Python 环境与凭据暴露面。

  14. Wiz Research · 收录 · 原文 42

    Wiz 追踪 TeamPCP 供应链攻击后的凭证滥用活动

    Wiz 客户事件响应团队与 Wiz Research 追踪了自称 TeamPCP 的组织在两周内针对 Trivy、KICS、LiteLLM 和 Telnyx 的供应链攻击,并披露了凭证被盗后的实际滥用过程。3 月 19 日 Trivy、3 月 23 日 KICS、3 月 24 日 LiteLLM、3 月 27 日 Telnyx 相继被植入窃取云凭证、SSH 密钥、Kubernetes 配置和 CI/CD 密钥的恶意代码,加密后外传至攻击者控制的域名。

  15. Wiz Research · 收录 · 原文 15

    Wiz Research 2026 云威胁回顾:AI 改变了什么,又没改变什么

    Wiz Research 回顾 2025 年公开云事件、云遥测与实地调查发现,约 80% 的云入侵初始访问仍来自漏洞、暴露密钥和错误配置等已知弱点,AI 并未引入全新类别的云风险,而是扩大了攻击面,新增 AI 服务、流水线、身份和数据路径让这些老问题更靠近敏感数据与高价值负载。在 Wiz Research 分析的事件中,AI 主要用于辅助和加速侦察、自动化及访问后活动等既有攻击行为。

  16. Wiz Research · 收录 · 原文 43

    Wiz 复盘 Context.ai OAuth token 泄露波及 Vercel 的事件

    Wiz 分析了一起第三方 OAuth 集成被滥用导致的双重供应链攻击:攻击者通过 AI 办公套件 Context.ai 的 OAuth token 进入 Vercel 内部系统,进而可能影响 Vercel 的客户。Context.ai 确认部分消费者用户的 OAuth token 可能已泄露,至少一名 Vercel 员工曾以 Allow All 权限授权该应用,使攻击者得以访问 Vercel 的 Google Workspace。

  17. Wiz Research · 收录 · 原文 48

    TeamPCP 供应链攻击投毒 SAP npm 包,窃取开发者与 CI/CD 凭据

    Wiz 披露 TeamPCP 发起代号 Mini Shai Hulud 的供应链攻击,通过篡改 SAP 生态 npm 包注入 preinstall 脚本,在 npm install 时下载 Bun 运行时并执行混淆载荷。受影响包包括 @cap-js/sqlite 2.2.2、@cap-js/postgres 2.2.2、@cap-js/db-service 2.10.1 和 mbt 1.2.48。

    推荐理由Wiz 披露 TeamPCP 针对 SAP npm 包的供应链投毒,含恶意文件哈希与凭据轮换建议,可对照排查自身 CI/CD 环境。

  18. Wiz Research · 收录 · 原文 53

    TeamPCP 再度投毒:TanStack、UiPath、Mistral AI 等 npm 与 PyPI 包被植入窃密蠕虫

    2026 年 5 月 11 日,TeamPCP 对 npm 与 PyPI 生态发起协同供应链攻击,同时污染多个命名空间下的包,包括周下载量约 1200 万次的 @tanstack/react-router、@uipath 系列工具与 Agent SDK、Mistral AI 官方 TypeScript 客户端 @mistralai/mistralai,以及 PyPI 上的 [email protected] 和 [email protected]。

    推荐理由完整还原了 TanStack 等 npm 包被投毒的攻击链与凭证窃取范围,可对照排查自身 CI/CD 与依赖。

  19. Wiz Research · 收录 · 原文 43

    Wiz Research 披露 TeamPCP 供应链攻击:@antv 等 npm 包、GitHub Actions 与 VSCode 扩展被投毒

    Wiz Research 于 5 月 19 日观测到针对开源生态的软件供应链攻击再度活跃,受影响组件包括 @antv 命名空间下的 npm 包、actions-cool/issues-helper 等 GitHub Actions,以及 VSCode 扩展 nrwl.angular-console v18.95.0。安装恶意 npm 包后会启动多阶段感染链,从 GitHub 托管的孤立提交中拉取载荷,并用 bun 安装执行次级载荷。恶意代码窃取 GitHub token、SSH 密钥、云凭据和浏览器存储的密钥,并通过攻击者从受害者环境创建的公开 GitHub 仓库外传数据。

  20. Wiz Research · 收录 · 原文 42

    Wiz 披露 TeamPCP 投毒微软 durabletask PyPI 包事件

    Wiz 分析发现,与 TeamPCP 相关的供应链攻击活动投毒了微软官方 Python 客户端 durabletask 的 v1.4.1、v1.4.2 和 v1.4.3 三个版本,PyPI 已在 Wiz 分析后将其隔离。攻击者通过此前攻击中窃取的 GitHub 账号导出仓库 secrets 中的 PyPI token,直接发布恶意包,该账号此前也涉及 @antv 相关攻击波次。