跳到正文

隐私与数据泄露

训练数据提取、成员推断与模型记忆,以及 AI 产品和 Agent 造成的真实数据外泄。

401条动态与论文相关主题提示注入Agent 安全真实事件
在这个话题内搜索或按分类筛选

新闻与论文

第 361–380 条 · 共 401 条
10月1日周四
  1. Wiz Research · 收录 · 原文 43

    Wiz Research 披露针对 Red Hat npm 包的 Miasma 供应链攻击

    Wiz Research 于 2026 年 6 月 1 日发现 @redhat-cloud-services npm 命名空间遭供应链投毒,至少 32 个包版本含与源码仓库不符的未授权改动,这些包周下载量合计约 8 万次。恶意版本在安装时通过 preinstall 脚本调用混淆的 index.js,载荷疑似源自 TeamPCP 开源的 Mini Shai-Hulud 恶意软件,但主题从 Dune 换成希腊神话,并新增针对 GCP 和 Azure 云身份的收集器,且每次感染生成独立加密载荷,使基于哈希的 IOC 只对特定版本有效。

  2. Wiz Research · 收录 · 原文 15

    Wiz 解读 Verizon DBIR:AI 加速攻击与云环境扩张如何冲击现代防御

    Wiz 在为 Verizon《数据泄露调查报告》(DBIR)贡献的研究中发现,已知被利用漏洞(KEV)中仅 26% 被完整修复,另有 16% 完全未被处理,同时组织需处理的 KEV 中位数从 11 升至 16,修复周期由 32 天延长至 43 天。报告还指出,第三方参与的入侵占比同比从 30% 升至 48%,漏洞利用已成为首要初始访问途径,占全部泄露事件的 31%。Wiz 观察到 AI 更多是在加快侦察、凭证窃取与事后自动化,而非改变入侵方式,并建议将既有的治理与可见性管控同样应用于 AI 系统。

  3. Wiz Research · 收录 · 原文 55

    Wiz 披露 AsyncAPI 供应链攻击:GitHub Actions 配置缺陷致 npm 包被投毒

    Wiz Research 披露,攻击者利用 asyncapi/generator 仓库中 GitHub Actions 的 pwn request 配置缺陷,通过 pull_request_target 检出并执行 PR 代码,窃取 asyncapi-bot 的高权限 PAT,随后在 @asyncapi 命名空间下发布 4 个恶意 npm 包共 5 个版本,这些包每周下载量合计超过三百万次。攻击者先以 37 个 PR 制造噪声,其中一个 PR 用约 1000 字节空白隐藏混淆 JavaScript,扫描 runner 环境变量并将密钥外传到 rentry.co。

    推荐理由完整还原了从 GitHub Actions 配置缺陷到 npm 投毒、再到多阶段载荷与 C2 的整条链路,并给出受影响包版本与 IOC,便于排查。

  4. Wiz Research · 收录 · 原文 56

    Wiz Research 披露暴露在公网的 MCP 服务器风险

    Wiz Research 扫描发现,MCP 已出现在 80% 的云环境中,约六分之一的环境至少暴露一个 MCP 服务器,其中部分由财富 500 强公司运行且完全无需认证。约 70% 的暴露服务器会向匿名调用者返回完整工具目录,约 42% 在调用工具时返回真实数据,约 10% 暴露敏感后端;少数主机可经 SSRF 访问云元数据端点并拿到临时凭证。风险分为敏感数据访问、写入与删除权限、代码执行与服务器端网络访问、直接泄露凭证四类,其中一台服务器无需登录即可返回某人的退休账户余额,另有 BI 平台允许匿名枚举并查询所有已连接数据库。

    推荐理由Wiz Research 实测扫描暴露在公网的 MCP 服务器,给出各类风险占比与真实案例,可据此排查自家部署。

  5. Wiz Research · 收录 · 原文 55

    keyv 与 cacheable 生态 npm 包遭供应链攻击,恶意版本波及 400 多个包

    Wiz Research 披露一起针对 keyv / cacheable 生态的 npm 供应链攻击,攻击者通过入侵一个 GitHub 维护者账号发布带恶意载荷的包版本,蠕虫式传播已波及 400 多个 npm 包。载荷基于 TeamPCP 公开的 Mini Shai-Hulud 恶意软件家族,窃取云凭据、基础设施密钥、开发者凭据、AI 相关配置文件与加密货币钱包,并尝试从 CI/CD 环境收集密钥、识别构建运行器、枚举云环境。

    推荐理由Wiz 披露 keyv 生态 npm 供应链攻击的完整链路与 IOC,开发团队可据此排查受影响版本并轮换凭据。

  6. Wiz Research · 收录 · 原文 15

    Wiz 2026 上半年云威胁报告:供应链攻击与 AI 基础设施风险激增

    Wiz Research 与 CIRT 团队在 2026 上半年追踪到影响数千个云环境的威胁活动,重大事件数量较 2025 下半年上升 60%,为单期最高。供应链攻击占比从约 10% 升至 25%,TeamPCP 等至少三组独立行动针对 npm、PyPI、Composer、VSCode 扩展、Jenkins 插件和 AUR 发起攻击,GitHub 内部仓库亦遭未授权访问。针对 AI 基础设施的活动约翻倍,存在未认证 RCE 漏洞和凭证泄露,影响其监控的三分之一云环境。

  7. Wiz Research · 收录 · 原文 49

    Wiz 披露 arrayref 等 Rust crate 供应链攻击,基础设施与朝鲜相关行动重合

    2026 年 8 月 20 日,crates.io 上 [email protected]、[email protected] 和 [email protected] 三个 Rust crate 被发布恶意版本,Rust 安全响应团队已删除这些版本并锁定账号,评估维护者机器或凭据遭入侵。恶意版本在 Cargo.toml 中引入仿冒 proc-macro2 的 proc-macro1,其 build.rs 在编译期从 Base64 片段重建 C2 地址、关闭 TLS 校验并下载执行平台专用载荷,因此只要构建受影响项目就会触发。

    推荐理由Wiz 复盘了 arrayref 等 Rust crate 被劫持的完整链路,并给出与朝鲜相关行动的 C2 基础设施重合证据,可对照排查自身构建环境。

  8. Transformer · 收录 · 原文 18

    我们正梦游般走向 AI 监控反乌托邦

    现有大语言模型已足以支撑一套实时监控系统:整合多源情报、实时分析并"建议"警方抓谁、去哪抓,而相关技术早已广泛部署。文章推演了一个近未来场景——FBI 以监控外国干预为名运营数百个 AI 机器人账号,渗透 Signal 和 Telegram 群组,结合批量购买的公共数据集、人脸识别与车牌追踪摄像头(如 Flock 运营的系统)锁定抗议者身份。作者认为,是否走向全面监控如今只取决于政策与预算优先级,不再受技术研发进度限制。

  9. Goodfire Research · 收录 · 原文 46

    Goodfire 与 Rakuten 用 SAE 探针在生产环境检测 PII

    Goodfire 与 Rakuten 合作,将稀疏自编码器(SAE)探针用于 Rakuten AI 智能体的 PII 检测,这是已知首个将 SAE 用于语言模型护栏的企业应用。方法是在 Llama 3.1 8B 侧模型上训练 SAE,再用其特征激活训练分类器,逐 token 判断姓名、地址、电话、邮箱等 PII 类别。由于真实 PII 敏感,训练数据全部为合成数据,SAE 探针在合成到真实生产数据的分布迁移上优于普通激活探针和注意力探针,并在非英语和标签噪声场景下同样表现更好。成本上,探针比常见 LLM-as-judge 方案便宜 10 到 500 倍,性能相当;用同一模型做白盒探针的 F1 从黑盒判官的 51% 提升到 96%。

    推荐理由Goodfire 与 Rakuten 的落地案例给出了 SAE 探针在合成到真实数据迁移上的对比数据,可迁移到企业护栏场景。

  10. Goodfire Research · 收录 · 原文 50

    Goodfire 用损失曲率区分模型记忆与推理并实现选择性编辑

    Goodfire Research 提出通过分析模型损失景观的曲率,区分权重空间中主要支撑记忆的方向与支撑通用计算的方向,从而在无需标注遗忘样本的情况下选择性抑制记忆。方法先用 K-FAC 从随机训练序列的前向与反向传播统计中近似曲率,再据此分解权重矩阵并清零低曲率分量。在语言模型上,该方法对未参与训练的遗忘序列的抑制效果优于 SOTA 遗忘方法 BalancedSubnet,纯逻辑推理任务表现不受影响甚至略有提升。在视觉 Transformer 上,对 10% 随机标签噪声的记忆率从 81.6% 降至 3.5%,验证准确率从 67% 升至 71.7%。

    推荐理由Goodfire 用损失曲率区分记忆与通用计算方向,为理解模型记忆存储与选择性编辑提供了一种免标注的方法。

  11. Google Threat Intelligence · 收录 · 原文 50

    GTIG 报告:攻击者转向智能体 AI,六小时内完成大规模凭据窃取

    Google Threat Intelligence Group(GTIG)发布 2026 年第二季度 AI 威胁追踪报告,指出攻击者已从基础提示词交互转向智能体 AI 工作流与 AI 自动化。报告称,2026 年第二季度 GTIG 观察到威胁行为者先攻陷云资源,随后在不到六小时内规划、构建并执行了一次由智能体驱动的大规模凭据窃取行动,压缩了防御方的响应窗口。

    推荐理由报告以 Mandiant 一线响应数据呈现攻击者从提示词走向智能体自动化的具体案例,可对照自身 AI 资产与供应链暴露面。

  12. Microsoft PyRIT 版本发布 · 收录 · 原文 28

    Microsoft PyRIT v0.12.0 发布:GUI、CLI 与框架三种交互方式全部可用

    Microsoft 发布 AI 红队测试工具 PyRIT v0.12.0,首次让 GUI(CoPyRIT)、CLI 和框架三种交互方式全部达到可用状态。CLI 新增 Scam、Leakage、Psychosocial、Jailbreak 四类 AIRT 场景及 RedTeamAgent Foundry 预配置红队测试,覆盖 25+ 攻击策略。框架引入 YAML 配置系统、TargetRegistry 和 8 个新数据集加载器,但含破坏性变更需按迁移指南升级。

  13. NVIDIA NeMo Guardrails 版本发布 · 收录 · 原文 15

    NVIDIA NeMo Guardrails v0.23.0 发布:IORails 扩展工具调用与可观测性

    NVIDIA 发布 NeMo Guardrails v0.23.0,IORails 的工具调用现同时支持流式与非流式请求,并新增本地 rail 校验模型发出的工具调用与应用返回的结果。该版本的 OpenAI 兼容服务器也支持工具调用,且新增 /v1/checks 端点可在不生成新模型响应的情况下运行输入或输出 rail。此外还加入轻量级 Hugging Face 分类器 rail、上下文膨胀检测以及 Polygraf 集成实现 PII 检测与掩码,NumPy 精确检索取代 Annoy 成为默认嵌入索引,发行 wheel 体积缩小约十倍,并要求 Pydantic>=2.5。

  14. NVIDIA garak 版本发布 · 收录 · 原文 15

    NVIDIA garak v0.15.1 发布:新增 ProPILE 隐私泄露检测探针

    NVIDIA 的 LLM 漏洞扫描工具 garak 发布 v0.15.1,新增 ProPILE 探针用于 PII 泄露检测,并加入 simonw/llm 库作为生成器支持。garak.analyze.qual_review 现支持 JSON 与文件输出模式。该版本还修复了 OpenAICompatible 中 response.choices 为 None、Hugging Face 文件探针本地路径处理、snowball 检测器 MISP 标签格式错误等问题,并移除已弃用的 maxrecall 评估器。

  15. arXiv · 收录 · 原文 论文41

    面向旧款 GPU 的可验证差分隐私训练框架:用 CPU 侧 TEE 校验 GPU 梯度

    论文提出一种在旧款 GPU 上实现可验证差分隐私(DP)训练的框架,用 CPU 侧 TEE 配合不受信任的 GPU 完成校验。作者指出,零知识证明等密码学方案开销过大,有时高出数个数量级,而支持大语言模型训练与微调的多 GPU TEE 仅限较新平台,在旧款 GPU 上缺失或效率低下。该设计把昂贵的梯度计算卸载到 GPU,由 CPU TEE 通过概率性检查验证梯度上 DP 是否被正确执行,以缓解全在 CPU TEE 内训练过慢、无限制卸载又可能被恶意偏离 DP 的效率与安全矛盾。框架能以高概率检测频繁的完全偏离;在本文评估的面向效用的伪造梯度攻击中,稀疏偏离带来的效用收益有限,也未观察到可测量的额外成员泄露。

  16. Adversa AI · 收录 · 原文 27

    OWASP 2026 LLM Top 10 等 15 项 GenAI 安全资源汇总

    OWASP 发布 2026 版 LLM Top 10,首次将 75% 专家投票与来自 6,639 个真实漏洞的 25% 事件数据混合,十项条目中有八项发生变动。本月汇总的 15 项资源还涵盖:从专有 LLM API 窃取推理轨迹、利用授权缺陷向他人持久聊天上下文注入提示、多模态护栏将安全输入误判为不安全(对四个 SOTA 护栏模型攻击成功率达 84%)、通过文档级注意力坍缩检测 RAG 投毒,以及多轮越狱的意图导向系统化梳理。

  17. Adversa AI · 收录 · 原文 15

    为什么 vibe coding 安全会成为企业下一个噩梦

    vibe coding 正让企业充斥未经安全审查的自建应用,传统安全工具无法看见它们。Gartner 预计到 2028 年企业 40% 的新生产软件将由 vibe coding 工具生成;Veracode 发现 45% 的 AI 生成代码样本未通过安全测试,GitGuardian 2026 报告在 MCP 配置文件中发现 24,008 个唯一密钥泄露,CVE-2025-48757 影响 170 个 Lovable 生成项目。禁用 vibe coding 无效,安全团队需转向工具市场准入、数据分类与自动化护栏。

  18. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 11

    NVIDIA 机密计算如何实现私有高性能生产级 AI 推理

    NVIDIA 机密计算(CC)通过内存加密的机密虚拟机(CVM)和机密 GPU,让 LLM 推理在个人、企业和受监管场景中处理敏感数据与专有模型上下文时运行于可信环境。该方案面向生产级 AI 推理,兼顾私有性与高性能。

  19. Wiz Research · 收录 · 原文 27

    Wiz Research 解析窃密恶意软件如何攻破云、代码与 AI 环境

    Wiz Research 联合 NordStellar 分析了感染设备上的密钥泄露情况,发现 Lumma C2、RedLine 和 Vidar 三款窃密恶意软件家族占全部检出事件的 85.7%。被盗凭证中 AWS 与 GCP 分别占 46% 和 13%,GitHub 相关 App Tokens、OAuth tokens 及 PATs 约占 10%,AI 平台占 5%、主要由 OpenAI API key 构成。

  20. CSA Labs Research · 收录 · 原文 60

    MCP Python SDK 曝 OAuth 凭据重定向漏洞,1.30.0 与 2.2.0 修复

    MCP 官方 Python SDK 存在高危 OAuth 漏洞(CVSS 7.5),恶意 MCP 服务器可把客户端的 OAuth client secret、授权码和 PKCE proof key 重定向到攻击者控制的端点,进而接管下游身份提供商会话。根因是旧版回退发现路径缺少 issuer 校验:当服务器对标准授权服务器发现请求返回 HTTP 404 时,SDK 直接向该不可信服务器索取 OAuth 配置并原样接受。

    1 条报道 · 1 个来源查看事件时间线与全部报道

    推荐理由材料完整还原了 MCP Python SDK 的 OAuth 凭据重定向链路与受影响版本区间,可对照排查自家 Agent 集成。