跳到正文

隐私与数据泄露

今天新收录 1 条(含旧文)

第 2 页更新的内容回到最新

10月1日周四
  1. Simon Willison · 收录 · 原文 48

    OpenAI 上线 Lockdown Mode,限制提示注入后的数据外泄

    OpenAI 正式上线 Lockdown Mode,此前在 2 月已有预告,现面向符合条件的个人账户(Free、Go、Plus、Pro)及自助式 ChatGPT Business 账户推送。该模式通过限制可能把敏感数据传给攻击者的对外网络请求,阻止提示注入攻击的最后一步数据外泄,但不会阻止提示注入出现在 ChatGPT 处理的内容中,例如缓存网页或上传文件里的注入仍可能影响回答的行为或准确性。Simon Willison 认为这一设计直接切断了致命三要素中的数据外泄环节,且所用机制是确定性的,不依赖可能被复杂攻击绕过的 AI 系统来判定。

  2. Goodfire Research · 收录 · 原文 46

    Goodfire 与 Rakuten 用 SAE 探针在生产环境检测 PII

    Goodfire 与 Rakuten 合作,将稀疏自编码器(SAE)探针用于 Rakuten AI 智能体的 PII 检测,这是已知首个将 SAE 用于语言模型护栏的企业应用。方法是在 Llama 3.1 8B 侧模型上训练 SAE,再用其特征激活训练分类器,逐 token 判断姓名、地址、电话、邮箱等 PII 类别。由于真实 PII 敏感,训练数据全部为合成数据,SAE 探针在合成到真实生产数据的分布迁移上优于普通激活探针和注意力探针,并在非英语和标签噪声场景下同样表现更好。成本上,探针比常见 LLM-as-judge 方案便宜 10 到 500 倍,性能相当;用同一模型做白盒探针的 F1 从黑盒判官的 51% 提升到 96%。

    推荐理由Goodfire 与 Rakuten 的落地案例给出了 SAE 探针在合成到真实数据迁移上的对比数据,可迁移到企业护栏场景。

  3. arXiv · 收录 · 原文 论文41

    面向旧款 GPU 的可验证差分隐私训练框架:用 CPU 侧 TEE 校验 GPU 梯度

    论文提出一种在旧款 GPU 上实现可验证差分隐私(DP)训练的框架,用 CPU 侧 TEE 配合不受信任的 GPU 完成校验。作者指出,零知识证明等密码学方案开销过大,有时高出数个数量级,而支持大语言模型训练与微调的多 GPU TEE 仅限较新平台,在旧款 GPU 上缺失或效率低下。该设计把昂贵的梯度计算卸载到 GPU,由 CPU TEE 通过概率性检查验证梯度上 DP 是否被正确执行,以缓解全在 CPU TEE 内训练过慢、无限制卸载又可能被恶意偏离 DP 的效率与安全矛盾。框架能以高概率检测频繁的完全偏离;在本文评估的面向效用的伪造梯度攻击中,稀疏偏离带来的效用收益有限,也未观察到可测量的额外成员泄露。

  4. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 11

    NVIDIA 机密计算如何实现私有高性能生产级 AI 推理

    NVIDIA 机密计算(CC)通过内存加密的机密虚拟机(CVM)和机密 GPU,让 LLM 推理在个人、企业和受监管场景中处理敏感数据与专有模型上下文时运行于可信环境。该方案面向生产级 AI 推理,兼顾私有性与高性能。

9月30日周三
  1. arXiv:后门、投毒与隐私 · 收录 · 原文 论文22

    机器遗忘在 ASR 中是否有效:arXiv 论文评估现有算法与评测工具

    一项提交至 ICASSP 2027 的研究评估了现有机器遗忘(MU)算法与评测工具是否适用于自动语音识别(ASR),发现基于梯度上升的算法能在隐私与效用间取得较好权衡,而更复杂的方法会过度遗忘样本、反而更容易被识别为已遗忘。研究指出,基于简单成员推理攻击的标准隐私评估不足以可靠判断遗忘是否成功,且顺序遗忘与同时遗忘的隐私和效用均差于单主体遗忘。

  2. arXiv:后门、投毒与隐私 · 收录 · 原文 论文35

    物理认证联邦学习:为关键水务基础设施的协同异常检测提供安全保障

    研究提出"物理认证联邦学习",将守恒定律、执行器耦合等信息物理过程不变量从运行时检测启发式改造为联邦更新的可验证准入条件,自动从干净运行数据中挖掘。在 SWaT、WADI 两个水务测试床和 BATADAL 基准上,挖掘出的不变量对 100 个诚实分片零拒绝,并全部拒绝朴素伪造更新,包括 FoolsGold 完全放行的优化扰动。

已经到底了