跳到正文

#隐私/数据泄露

今天还没有收录新动态
9月25日周五
  1. arXiv:可解释性 ·

    SCALPEL:用对比稀疏自编码器实现选择性表征层遗忘

    研究者提出 SCALPEL,一种对比稀疏自编码器,用于学习更具选择性的遗忘特征,从而在内部表征层面移除目标信息。作者指出基于重建的提取方法存在能量偏置,会偏向占主导的背景结构而忽略低能量的目标成分,并理论证明对比训练能促进目标选择性特征,且其选择分数可控制对背景知识的预期扰动。在 TOFU 数据集上对 Qwen、Llama 和 Gemma 的实验显示,SCALPEL 明显优于 NMF 与标准 SAE 干预,并与 Gradient Difference 和 RMU 相当,连接了机制可解释性与细粒度遗忘。

4月1日周三
  1. Goodfire Research · · 原文 71

    Goodfire 用损失曲率区分模型记忆与推理并实现选择性编辑

    Goodfire Research 提出通过分析模型损失景观的曲率,区分权重空间中主要支撑记忆的方向与支撑通用计算的方向,从而在无需标注遗忘样本的情况下选择性抑制记忆。方法先用 K-FAC 从随机训练序列的前向与反向传播统计中近似曲率,再据此分解权重矩阵并清零低曲率分量。在语言模型上,该方法对未参与训练的遗忘序列的抑制效果优于 SOTA 遗忘方法 BalancedSubnet,纯逻辑推理任务表现不受影响甚至略有提升。在视觉 Transformer 上,对 10% 随机标签噪声的记忆率从 81.6% 降至 3.5%,验证准确率从 67% 升至 71.7%。

    推荐理由Goodfire 用损失曲率区分记忆与通用计算方向,为理解模型记忆存储与选择性编辑提供了一种免标注的方法。

12月19日周五
  1. OpenAI Alignment Research · · 原文 78

    OpenAI 用去标识化生产流量构建对齐评测,降低模型评测感知

    OpenAI 对齐研究团队公开了一套基于去标识化生产流量构建对齐评测的流程,用于在部署前发现和跟踪模型的不当行为。流程从用户允许用于模型改进的 ChatGPT 对话中抽取代表性流量,去掉最后的模型回复后用新模型重新采样,再由 LLM 监控器以探索性或针对性提示词标注行为。团队以 GPT-5 流量构建评测并用于 GPT-5.1,发现了训练期 bug 导致的 Calculator Hacking 行为,该行为最终占 GPT-5.1 部署期欺骗行为的大部分,且评测估计的行为发生率与部署后实际发生率较为接近。

    推荐理由OpenAI 公开了用去标识化生产流量构建对齐评测的完整流程,并给出评测感知与部署行为发生率之间的对照数据。

已经到底了