跳到正文

隐私与数据泄露

今天新收录 1 条(含旧文)
今天10月7日周三
  1. Hugging Face Daily Papers · 收录 · 原文 论文38

    UnAct:无需梯度的定向激活干预实现类别遗忘

    研究者提出 UnAct,一种无需梯度的类别遗忘方法,只需对遗忘图像做前向传播:按响应给后层单元打分,削弱响应最强的连接,最多重复 20 轮,不使用梯度、标签和保留数据。在 ResNet-18 上针对 CIFAR-10、CIFAR-20 和 CIFAR-100 的实验中,UnAct 在遗忘整个类别时与 SSD 和 LFSSD 相当,且在遗忘数据稀缺时不会像它们那样使网络崩溃。在 ResNet-18 上,UnAct 的保留准确率与重训练的差距保持在 2.5 个百分点以内,而 SSD 和 LFSSD 在全类别操作点上某些类别最多损失 86 个百分点。在 CIFAR-10 上仅用 5 张遗忘图像时,UnAct 与重训练的距离为 0.21 个百分点,LFSSD 为 67,SSD 为 90,且用 oracle 在每个规模上重新选择 SSD 阈值也无法缩小差距。代码已开源于 GitHub。

10月6日周二
  1. arXiv · 收录 · 原文 日期未知论文36

    差分隐私混合公共数据集提升隐私学习效果

    研究者提出首个能在差分隐私(DP)下为特定敏感下游任务学习多个公共数据集混合配比的流程,核心思路是通过隐私学习一个低维线性模型来找到最佳混合方案。在 NIH ChestX-ray14 的 X 射线分类任务上,该方法相比基线将 macro AUC 最多提升 0.037,在 ε=1 时 Cardiomegaly 的相对 AUC 提升达 22.8%;在 ENRON 邮件数据集的 DP 训练中,用 The Common Pile 混合数据预训练使测试困惑度相对降低 16%。

  2. 论文追踪 · 收录 · 原文 论文57

    研究揭示文本水印会诱发模型幻觉,并提出两种缓解干预

    研究者提出“水印幻觉”概念,指在上下文已包含所需证据、未加水印模型能正确作答的情况下,水印本身诱发或放大的事实错误。在受控 RAG 设定下,作者对比同一上下文、查询和解码配置下的加水印与未加水印生成,覆盖 KGW、SWEET、DiPmark、GumbelSoft、Gumbel-Max 和 SynthID 六种水印方法,一致观察到事实准确率下降,且水印输出仍可保持流畅。作者将成因归结为两条机制:当前步由方法特定重加权或键控采样带来的 token 扰动,以及随自回归解码累积、削弱后续对事实上下文注意力的前缀诱导注意力漂移。为此提出 token 级和注意力级的两种可插拔干预 FPTI 与 FPAI,在 TPR@1%FPR=0.90 时联合使用可将事实错误相对仅水印解码减少约 90%,同时保持流畅度和相近解码效率。

    推荐理由论文在受控 RAG 设定下量化六种水印方法带来的事实准确率下降,并给出可插拔的缓解方案,为水印部署提供事实性评估维度。

10月5日周一
  1. arXiv · 收录 · 原文 论文16

    HXAI:分布式能源系统中的分层隐私保护可解释 AI 框架

    HXAI 是一个面向电网级需求管理的分层隐私保护可解释 AI 框架,由在安全私有环境内生成细粒度解释的本地模型,与聚合这些解释以支持电网级分析的区域模型两部分组成。该框架通过灵活的隐私预算管理限制重复查询下的累积隐私暴露,在模拟与真实能源数据集上既能提供区域负载管理洞见,又确保家电级用电数据始终留在本地、不传输给电网运营商。结果表明,在差分隐私下保留解释的语义结构而非最小化数值误差,是可解释 AI 的关键。

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文60

    研究:个人 AI Agent 会按推断财富差别推荐,屏蔽属性反而放大差距

    一项 arXiv 论文在 13 个模型、3 类经济决策上做了 32.5 万次实验,发现个人 AI Agent 仅凭用户个人上下文就会推断财富并据此调整推荐,8 个模型在请求完全相同时为更富用户选择更贵的选项。研究覆盖 GPT-5、Claude、Gemini 与 Qwen3.5 系列,从 2B 开源模型到前沿模型,差距从航班 198 美元、保险每月 284 美元到研究生项目每年近 3900 美元不等,Claude Opus 4.8 效应最大。即使明确要求找最便宜的选项,部分 Agent 仍按推断的财富行事;财富也可从与任务无关的邮件中推断出来。屏蔽财务属性基本能消除差距,但屏蔽就业等其他属性往往无效,甚至使保险差距最多扩大 40%,因为模型会依赖剩余信号继续推断财富。作者将这一现象称为对抗性委托,指出让个人 Agent 有用的条件本身也可能让它违背用户利益。

    推荐理由论文用 32.5 万次实验量化个人 Agent 依据推断财富差别定价的现象,并给出屏蔽属性反而放大差距的机制。

  2. 论文追踪 · 收录 · 原文 论文45

    研究分析 3930 条 Reddit 帖子,揭示青少年对陪伴型 AI 聊天机器人的过度依赖

    研究者对 3930 条青少年相关 Reddit 帖子中的 17053 条经核实引文做主题分析,归纳出七个主题组下的 53 个话题,考察青少年对陪伴型 AI 聊天机器人的使用。用户把 AI 陪伴描述为安慰、被认可、身份探索和关系演练的来源,同时也报告了问题性依恋、社交替代、情感依赖以及对学业和社交生活的干扰。角色扮演、记忆、感知到的互惠、不想要的浪漫或性角色漂移、隐私顾虑、平台变更和服务中断,共同塑造了用户对边界的控制。研究指出,即便用户知道 AI 是人工的,也无法避免内疚、义务感、悲伤或痛苦,因此陪伴型 AI 的安全需要围绕用户可控的记忆、隐私、关系边界和健康脱离来处理长期关系。

  3. 论文追踪 · 收录 · 原文 论文35

    剪枝提效却牺牲公平:剪枝语音 LLM 中的群体差异

    研究发现音频编码器剪枝对 SLAM-ASR 不同人群的影响并不均等,最佳与最差表现群体之间的差距随剪枝成倍扩大。在 Fair-Speech 和 Common Voice 上,这种差异出现在全部三种编码器规模中,但只有最大模型最初能用总体 WER 掩盖它;LoRA 适配虽改善所有群体的 WER,却让原本表现好的群体获益更多。在 Common Voice 英语、丹麦语和荷兰语上,口音差距持续存在但未明显扩大,说明剪枝的公平性影响因数据集而异,部署时应纳入分组 WER 并以最差群体错误率为明确标准。

10月3日周六
  1. 论文追踪 · 收录 · 原文 论文32

    残障披露如何在对话式 AI 中流动:ChatGPT、Claude、Gemini 的记忆、隐私与语境完整性

    一项访谈研究调查了 12 名使用 ChatGPT、Claude、Gemini 等 LLM 助手的美国残障成年人,发现他们按需求而非按身份名称披露残障,将残障转译为任务范围内的指令。同一披露在"不评判的对话方"与"持有数据的公司"两个接收方之间产生相反的规范判断;记忆功能减轻了重复披露负担,却让残障信息漂移到不相关的语境中。参与者希望控制信息的范围、来源、保留与访问权限,而非逐句开关。

10月2日周五
  1. arXiv · 收录 · 原文 论文20

    Federated Agent Optimization:面向隐私约束下分布式智能体协同优化的联邦智能体优化框架

    这篇论文提出联邦智能体优化(Federated Agent Optimization, FAO),研究分布式 LLM 智能体如何在不上传原始数据、完整轨迹和私有知识的前提下通过受控信息交换实现协同改进。作者将 FAO 定义为平衡智能体效用、隐私泄露与通信成本的多目标问题,并把优化空间划分为策略、记忆、工具使用、奖励以及结构化知识与技能五个维度,刻画私有经验如何被抽象、保护、聚合并适配为可迁移能力。

10月1日周四
  1. arXiv:可解释性 · 收录 · 原文 论文36

    SCALPEL:用对比稀疏自编码器实现选择性表征层遗忘

    研究者提出 SCALPEL,一种对比稀疏自编码器,用于学习更具选择性的遗忘特征,从而在内部表征层面移除目标信息。作者指出基于重建的提取方法存在能量偏置,会偏向占主导的背景结构而忽略低能量的目标成分,并理论证明对比训练能促进目标选择性特征,且其选择分数可控制对背景知识的预期扰动。在 TOFU 数据集上对 Qwen、Llama 和 Gemma 的实验显示,SCALPEL 明显优于 NMF 与标准 SAE 干预,并与 Gradient Difference 和 RMU 相当,连接了机制可解释性与细粒度遗忘。

  2. OpenAI Alignment Research · 收录 · 原文 55

    OpenAI 用去标识化生产流量构建对齐评测,降低模型评测感知

    OpenAI 对齐研究团队公开了一套基于去标识化生产流量构建对齐评测的流程,用于在部署前发现和跟踪模型的不当行为。流程从用户允许用于模型改进的 ChatGPT 对话中抽取代表性流量,去掉最后的模型回复后用新模型重新采样,再由 LLM 监控器以探索性或针对性提示词标注行为。团队以 GPT-5 流量构建评测并用于 GPT-5.1,发现了训练期 bug 导致的 Calculator Hacking 行为,该行为最终占 GPT-5.1 部署期欺骗行为的大部分,且评测估计的行为发生率与部署后实际发生率较为接近。

    推荐理由OpenAI 公开了用去标识化生产流量构建对齐评测的完整流程,并给出评测感知与部署行为发生率之间的对照数据。

  3. Goodfire Research · 收录 · 原文 50

    Goodfire 用损失曲率区分模型记忆与推理并实现选择性编辑

    Goodfire Research 提出通过分析模型损失景观的曲率,区分权重空间中主要支撑记忆的方向与支撑通用计算的方向,从而在无需标注遗忘样本的情况下选择性抑制记忆。方法先用 K-FAC 从随机训练序列的前向与反向传播统计中近似曲率,再据此分解权重矩阵并清零低曲率分量。在语言模型上,该方法对未参与训练的遗忘序列的抑制效果优于 SOTA 遗忘方法 BalancedSubnet,纯逻辑推理任务表现不受影响甚至略有提升。在视觉 Transformer 上,对 10% 随机标签噪声的记忆率从 81.6% 降至 3.5%,验证准确率从 67% 升至 71.7%。

    推荐理由Goodfire 用损失曲率区分记忆与通用计算方向,为理解模型记忆存储与选择性编辑提供了一种免标注的方法。

已经到底了