跳到正文

隐私与数据泄露 · News

10月13日 · 周二

隐私与数据泄露 · News

按原发与事件进展排列
10月5日周一
  1. 论文追踪、AgentPrivArena project论文追踪 等 2 个来源 · 2篇报道 · 51

    AgentPrivArena:评估Agent轨迹隐私风险

    研究者提出 AgentPrivArena,一个在可复现执行环境中评测 LLM Agent 隐私风险的框架,集成真实 MCP 工具与自托管服务,并提出轨迹级隐私指标,量化最终回复之外的不必要信息访问,同时给出运行时审计方法 AgentPrivAudit,用于在 Agent 执行过程中监控隐私违规。在多个前沿 LLM Agent 上的实验显示,现有评测范式忽略了大量隐私风险。后续报道称,该框架区分敏感信息进入上下文与最终对外泄露;实验中情境完整性审计将平均输出泄露率从 46.8% 降至 17.8%,但敏感信息进入上下文的比例仍约 74% 至 78%,减少输出泄露不等于避免不必要读取。结果来自特定模型和任务设置,未经独立复现,信息流提取不完整也是机制限制。

  2. POLITICO Europe Technology、Agora Digitale Transformation 等 8 个来源POLITICO Europe Technology 等 8 个来源 · 9篇报道 · 53

    欧洲议员遭深度伪造色情侵害

    德国公民社会团体 Agora Digitale Transformation 发布研究,对欧洲议会全部 720 名议员姓名与 200 个已知托管深度伪造色情内容的域名进行检索审计,发现 50 名议员被描绘或关联到 AI 生成的深度伪造色情内容,其中 46 人为女性,约占女性议员的六分之一;8 名女性议员被直接以性化篡改图像呈现,22 名议员的肖像与简介被放在所谓 gateway 站点上、紧邻 AI nudifier 应用链接。该机构另一项针对欧盟 27 国 5,872 名各国议员的早期研究识别出 147 人受影响,其中 138 人为女性、9 人为男性,与欧洲议会的 50 人统计属于不同研究群体。欧洲议会议长 Metsola 在 10 月 5 日斯特拉斯堡全会开幕时报告,来自各党团的约 60 名议员遭深度伪造色情网站攻击,受害者主要为女性,她谴责这是对履职政客的针对性侵害,呼吁成员国提前准备以执行 12 月 2 日生效的 nudifier 类应用禁令。119 名跨党派议员于 9 月 30 日致信欧盟委员会主席 von der Leyen、欧洲理事会主席 Costa 等,要求采取果断行动。

    事件进展
    1. 50名欧洲议员遭深度伪造色情攻击

    2. 欧洲议会议长称60名议员遭性化深伪攻击

8月27日周四
  1. MLCommons(安全评测相关) · 28

    MLCommons 联合 Google DeepMind 完成首个闭源模型双重盲测概念验证

    MLCommons 与 Google DeepMind、OpenMined、AVERI 合作完成了全球首个针对闭源模型的双重盲评概念验证,通过密码学保证在不暴露双方资产的前提下运行评测。该方案由 AVERI 借助 OpenMined 的安全计算执行,在一个容器化的 Google DeepMind 模型中运行来自 AILuminate 安全基准预留子集的提示词,确保被测模型此前从未接触过这批题目。此举使开发者看不到测试数据、仪器方(MLCommons)与审计方(AVERI)也拿不到模型的权重,从而避免污染基准并维持其完整性。

2024年4月29日周一
  1. SPY Lab · 50

    SPY Lab 研究:机器学习隐私防御的评测存在误导

    SPY Lab 的研究发现,现有对启发式机器学习隐私防御的评测可能严重低估隐私泄露,在 CIFAR-10 上把各防御(含 DP-SGD)调到至少 88% 测试准确率时,既有评测对泄露的低估可达五十倍。作者指出常见评测的三个问题:只关注群体层面的隐私、使用弱且非自适应的攻击、对比低效用的 DP 基线。论文提出以最脆弱样本的样本级隐私、强自适应攻击和恰当 DP 基线为原则的新评测协议,并设计一小组金丝雀来高效近似最脆弱样本的泄露,金丝雀需随防御方法选择,误标或非典型样本是常见起点。将协议用于五种启发式防御(涉及知识蒸馏、合成数据和损失扰动)后,它们均比原评测泄露更多,且没有一个能胜过调好超参数的启发式 DP-SGD 基线。

已经到底了