IDUnlearn-Bench：面向视觉语言模型的个体级遗忘基准

研究者提出 IDUnlearn-Bench，称其为首个面向视觉语言模型个体级多模态遗忘的基准，把每个人表示为相互关联的多模态证据，并设置属性访问、身份访问、身份绑定和身份重建四类任务。在代表性 VLM 和遗忘方法上的实验显示，属性层面的遗忘成功往往仍保留大量身份级知识，且效果可能非单调，降低一类风险反而放大另一类。模型可能压制部分信息，却仍能识别目标、关联记录或重建该个体。

论文揭示 BatchNorm 架构下机器遗忘评测的归一化伪影

论文发现基于 BatchNorm 架构的机器遗忘评测存在一个此前未被记录的混杂因素：对保留数据做一次前向传播、不修改任何权重，就能确定性地改写模型的归一化状态，并逆转表面指标上的遗忘效果。作者将该操作形式化为保权重的固定点算子，并证明其造成的遗忘前后差距可归因于 BN 运行统计量，而非遗忘方法对权重的修改，从而把测量失败与编码器失败区分开。实验显示，该伪影在标准基准的九种方法上最多逆转 78 个百分点的遗忘准确率；攻击者仅用 10 张无标签图像即可恢复大部分被掩盖的准确率；改用严格的 GroupNorm 后，所有方法的伪影降为零。测试的成员推断攻击在重新校准后变化不大，说明评测失败集中在遗忘准确率和线性探测上。

SPY Lab 研究：机器学习隐私防御的评测存在误导

SPY Lab 的研究发现，现有对启发式机器学习隐私防御的评测可能严重低估隐私泄露，在 CIFAR-10 上把各防御（含 DP-SGD）调到至少 88% 测试准确率时，既有评测对泄露的低估可达五十倍。作者指出常见评测的三个问题：只关注群体层面的隐私、使用弱且非自适应的攻击、对比低效用的 DP 基线。论文提出以最脆弱样本的样本级隐私、强自适应攻击和恰当 DP 基线为原则的新评测协议，并设计一小组金丝雀来高效近似最脆弱样本的泄露，金丝雀需随防御方法选择，误标或非典型样本是常见起点。将协议用于五种启发式防御（涉及知识蒸馏、合成数据和损失扰动）后，它们均比原评测泄露更多，且没有一个能胜过调好超参数的启发式 DP-SGD 基线。

推荐理由原文指出隐私防御评测普遍高估防护效果，并给出可复用的样本级评测协议与金丝雀设计思路。