跳到正文
原文

时机即一切:推断持续更新模型中的时间成员身份

Timing is Everything: Inferring Temporal Membership in Continually Updated Models

arXiv· arXiv:2611.05781· Jie Fu, Xiangpeng Deng, Yuan Hong, Wendy Hui WangStevens Institute of Technology; University of Connecticut本站收录· 15 天前· 原文发表攻击

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出黑盒攻击 TMIA,用 BiLSTM 从连续模型快照的输出轨迹推断样本何时进入/离开训练集;在 Pythia-70M/SST-5 上 T-F1 达 91.34%,优于基线。

威胁模型黑盒攻击者:可查询目标模型快照序列 f1..fN 并观察后验概率向量,默认能访问全部快照;不知模型内部细节、更新算法与更新数据;被动、不能影响更新过程;拥有一个或多个影子数据集训练影子模型。

问题
持续更新的模型会暴露样本何时进入或离开训练集的时间维度成员信息,作者称现有 MIA 只考虑单向、单次更新且只比较相邻快照,无法处理插入与删除并存、重复更新的场景。
方法
作者提出黑盒攻击 TMIA:训练与目标更新对齐的影子模型序列,用带滑动窗口的 BiLSTM 对置信度轨迹做序列标注(进入点/退出点/非变化点),再经三步构造满足时序约束的有效成员区间。
实验与结果
在 3 个语言模型和 3 个图像模型上,TMIA 的 T-F1 与 I-F1 均高于 TS-MIA 和 UP-MIA 基线;在 LLaMA-3B/8B 上 T-F1 超过 84%;影子模型与目标在数据集、架构、更新算法不匹配时性能下降有限;label-only、dropout、DP 三种防御能降低攻击效果但损害效用。
局限与可以继续做的
作者指出未来方向包括扩展到白盒设置、设计专门针对时间成员泄漏的防御、为演化模型建立形式化隐私保证与基准(Conclusion)。实验覆盖 8 个模型、8 个数据集,结果为三次试验平均;两次快照之间发生的成员变化对黑盒攻击者不可观测。
实验设置Pythia-70M、T5 等 · SST-5、News20 等 · T-Pre、T-Rec 等
被测模型
Pythia-70MT5GPT-2 SmallResNet-18SimpleCNNMobileNetLLaMA-3BLLaMA-8B
基准
SST-5News20MNLICIFAR-10SVHNCINIC-10SQuADSimpleQA
指标
T-PreT-RecT-F1I-PreI-RecI-F1hit rate
AI 导读研究者提出针对持续更新深度学习模型的时间成员推断攻击 TMIA,能从黑盒模型输出中推断单个样本是否以及何时参与了训练。该方法利用双向 LSTM 分析模型在连续多次更新间的输出,支持时间戳和时间区间两种粒度,作者称这是对持续更新模型时间隐私风险的首个系统性研究。在三个语言模型和三个图像分类模型上的实验显示 TMIA 高度有效,显著优于现有基线;对三种潜在防御的评估揭示了隐私保护与模型效用之间的权衡。

研究者提出针对持续更新深度学习模型的时间成员推断攻击 TMIA,能从黑盒模型输出中推断单个样本是否以及何时参与了训练。该方法利用双向 LSTM 分析模型在连续多次更新间的输出,支持时间戳和时间区间两种粒度,作者称这是对持续更新模型时间隐私风险的首个系统性研究。在三个语言模型和三个图像分类模型上的实验显示 TMIA 高度有效,显著优于现有基线;对三种潜在防御的评估揭示了隐私保护与模型效用之间的权衡。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    持续更新模型中,攻击者能否推断样本何时进入/离开训练集(时间成员推断),现有 MIA 无法处理。

    核心问题:在持续更新的深度学习模型中,如何推断单个样本的时间成员(temporal membership)——即样本在哪些时间点或时间区间参与了训练。

    • 场景与重要性:部署模型会反复更新以纳入新数据、删除过时样本或满足"被遗忘权"等监管要求,形成一串模型快照。作者认为,推断出样本进入/离开训练的时间可暴露额外敏感信息,例如从健康相关查询被使用的时间窗口重建用户的健康时间线。
    • 现有方法的不足:作者指出,针对更新模型的现有 MIA 要么只考虑插入、要么只考虑删除(单向假设);假设每个样本最多发生一次成员变化;且大多只比较相邻两个快照,作者称这种成对分析无法捕捉跨更新的时间依赖,可能推断出时序不一致的结果(如预测样本在插入前就被删除)(Table 1)。
    • 核心观察:作者的经验分析(Section 4.1,Pythia-70M/SST-5 与 SimpleCNN/CIFAR-10)发现,插入后样本置信度快速收敛并保持稳定,而删除后置信度持续波动;作者认为这种插入与删除的不对称动态可用于识别更新时点并区分插入与删除。
    • 论文提出:形式化时间成员推断问题(时间戳级与区间级两种粒度),提出黑盒攻击 TMIA(基于双向 LSTM),并评测三种防御(label-only、dropout、差分隐私)在持续更新场景下的效果。
    • 威胁模型(Section 3.2):
      • 目标:给定目标样本 x,推断其时间成员区间集合 I(x)={I1,...,Ik}。
      • 知识:black-box 访问模型快照序列 f1..fN,可任意查询并观察后验概率向量;默认能访问全部快照(Section 7 评测只访问部分快照的情形);不知道模型参数、架构、训练超参、更新算法与更新数据内容。
      • 能力:被动攻击者,不能影响更新过程(不能注入样本再请求删除);拥有一个或多个影子数据集,无需与目标训练数据同分布。
      • 受害系统:持续更新的分类模型(语言模型与图像分类 DNN),以及扩展到的大型生成式语言模型。
  2. 有哪些相关研究?

    相关工作分三类:针对模型更新的 MIA、针对机器遗忘的 MIA、静态模型 MIA 与防御;作者称它们都只覆盖单向单次更新。

    针对模型更新的 MIA

    • Jagielski et al. [26]——作者称其为针对更新模型的首个 MIA,考虑单更新与多更新设置,提出成员推断(判断样本是否在某时点的更新集中)与进入推断(判断样本在哪个 epoch 进入数据集)两种攻击;其 delta attack 是本文 UP-MIA 基线的来源。作者指出其只考虑数据插入。
    • Michel et al. [35]——提出 Sequential Membership Inference(SeMI)攻击,利用模型序列并在受控插入时间注入 canary,推导似然比(LR)检验形式的最优 SeMI,设计了 LR 白盒攻击与基于 loss 的黑盒攻击。作者指出其同样只考虑插入。
    • 作者称这两篇的插入-only 设置是本文场景(插入与删除并存)的特例,因此不直接适用。

    针对机器遗忘(MU)模型的 MIA

    • Chen et al. [12]、Hayes et al. [21]、Naderloui et al. [37] 等——利用原始模型与遗忘后模型的差异,推断目标样本是否属于被删除集合。作者指出这些工作只关注单次删除事件的推断,不适用于插入与删除持续发生的更一般场景。

    静态模型 MIA 与序列建模工具

    • Shokri et al. [52] 提出针对机器学习模型的成员推断攻击;Song and Mittal [54] 的熵-based MIA 是本文 TS-MIA 基线的来源;Yeom et al. [59]、Salem et al. [49] 等训练静态影子模型逼近单个固定目标模型,作者指出本文的 update-aligned 影子模型训练比静态影子模型更复杂。
    • 工具类:LSTM [23] 与 BiLSTM [20] 用于序列标注;CUSUM [30] 变化点检测被用作 CP-MIA straw-man 基线;滑动窗口 LSTM 方法 [7, 42, 50] 被引入以强调局部时间模式。

    基线与基准:对比基线为 TS-MIA(熵-based MIA [54],逐快照独立应用)和 UP-MIA(delta attack [26],比较相邻快照 loss 差);CP-MIA 因假设已知成员变化次数,作者未将其纳入正式对比(Section 6.1 脚注)。基准为文本数据集 SST-5、News20、MNLI 与图像数据集 CIFAR-10、SVHN、CINIC-10,扩展实验用 SQuAD 与 SimpleQA。

    定位:作者称本文是对持续更新模型时间隐私风险的首个系统性研究("the first systematic study"),与先前工作的区别在于同时支持插入与删除、支持重复更新、利用完整快照序列而非相邻快照对(Table 1)。

  3. 论文如何解决这个问题?

    TMIA 分三步:训练与目标更新对齐的影子模型序列,用滑动窗口 BiLSTM 标注进入/退出点,再构造满足时序约束的有效成员区间。

    整体思路:把目标样本在各模型快照上的输出(置信度轨迹)当作时间序列,用 TMIA 框架将其转化为序列标注问题,识别进入点(entry)与退出点(exit),再组装成合法的时间成员区间。

    问题形式化与度量

    • 时间成员:样本 x 是快照 fi 的成员,当且仅当 x 属于初始训练集且从未被更新,或截至 fi 最近一次涉及 x 的更新是插入(Definition 1)。成员区间 [t_start, t_end] 由进入点与退出点界定,样本可多次进出,形成多个不相交区间。
    • 两级度量:时间戳级精度/召回 T-Pre(x) = |T(x)∩T*(x)| / |T(x)|、T-Rec(x) = |T(x)∩T*(x)| / |T*(x)|,及其调和平均 T-F1;区间级按预测区间与真实区间的重叠比例定义 I-Pre、I-Rec 与 I-F1,作者指出区间级指标会惩罚碎片化预测。
    • 攻击定义:学习映射 A: (x, f1(x), f2(x), ..., fN(x)) → {I1, I2, ..., Ik},即由样本及其在各快照上的输出推断成员区间集合。

    训练 update-aligned 影子模型

    • 攻击者用影子数据集 D^S 训练初始影子模型 f0^S,再依次施加影子更新集 Δi^S,得到影子快照序列 {f1^S,...,fN^S},模拟目标模型的演化。
    • 影子模型的架构、数据分布、超参和更新算法均可与目标不同;作者称这种不匹配的影响在 Section 6.3 评测。

    序列标注:滑动窗口 BiLSTM

    • 从影子模型的各集合中均匀采样样本集 X^S,对每个样本收集各快照输出的置信度,构成单变量时间序列 s=(s1,...,sN),并按真实更新记录标注每个时间戳为 N(非变化点)、E(进入点)或 X(退出点)。
    • 标注模型为带滑动窗口的 BiLSTM:对每个时间戳取长度 2w+1 的窗口(越界处用边界值填充),前向/后向 LSTM 的隐状态在窗口边界重置,使 ti 处隐状态只依赖窗口内输入;拼接双向隐状态后经线性层与 softmax 输出三类标签,用交叉熵训练。作者给出的理由是:传统 LSTM 侧重全局长程依赖,远处上下文可能成为噪声,滑动窗口强调进入/退出点附近的局部模式。
    • 攻击模型参数(附录 B.4):BiLSTM 特征维度 32,后接 32 神经元 ReLU 隐层与 3 神经元 softmax 输出层;随机选 3,000 个影子样本训练、1,200 个目标样本评测。

    构造有效成员区间

    • 逐时间戳独立打标可能出现时序不一致(如退出点先于进入点),因此定义有效成员区间需满足:正确排序、进入-退出单射匹配、区间不重叠(Definition 4)。
    • 三步构造:1) 丢弃 N 标签,把连续的同标签时间戳分成最大组;2) 每组取置信度最高的时间戳作为代表;3) 按时间顺序处理代表点,每个退出点匹配紧邻的未匹配进入点形成闭区间;序列以未匹配进入点结尾则区间延伸到最后快照,以退出点开头则用隐式进入点 t0。
    • Theorem 5 声明该三步过程保证返回有效成员区间,证明在附录 A。

    成功判定

    • 攻击效果用 T-F1 与 I-F1 衡量;作者说明因攻击直接输出区间而非概率决策,AUC 不适用。附录 D 另定义容差窗口 θ 内进入/退出点的命中率(hit rate)评估定位精度。
  4. 论文做了哪些实验?

    在 6 个分类模型×6 个数据集和 2 个 LLM×2 个 QA 数据集上,TMIA 的 T-F1/I-F1 全面高于两个基线,并评测了不匹配、量化、部分观测与三种防御。

    实验设置

    • 被测模型:语言模型 Pythia-70M、T5、GPT-2 Small;图像分类 ResNet-18、SimpleCNN、MobileNet;扩展实验用 LLaMA-3B、LLaMA-8B。
    • 数据集:文本 SST-5、News20、MNLI;图像 CIFAR-10、SVHN、CINIC-10;生成式实验用 SQuAD(约 100K QA 对)与 SimpleQA(约 4K QA 对)。
    • 更新模拟:LM 模拟 80 步、DNN 60 步更新,每步同时含插入与删除;更新规模为训练集的 1%(SST-5、News20、CIFAR-10、SVHN)、0.5%(MNLI)、0.1%(CINIC-10);样本可多次进出,各数据集中 31%–55% 的更新样本有至少两个成员区间。更新算法:LM 用 fine-tuning、GA、NPO;DNN 用 fine-tuning、GA、SCRUB;LLaMA 用 LoRA 微调,40 个时间戳、每步 1%。
    • 基线:TS-MIA(熵-based MIA 逐快照应用)、UP-MIA(delta attack,阈值用影子模型校准);生成式模型上基线改用 PPL 版本。
    • 指标与判定:T-Pre/T-Rec/T-F1 与 I-Pre/I-Rec/I-F1(定义见 Section 3.3);攻击特征为置信度轨迹,LLaMA 实验改用困惑度(PPL)序列。
    • 样本量与重复:攻击模型用 3,000 影子样本训练、1,200 目标样本评测(附录 B.4);所有结果为三次试验平均;评测样本中约 1% 全程为成员、99% 经历成员变化(附录 B.3)。

    主结果

    Table 2(时间戳级 T-F1,%)与 Table 3(区间级 I-F1,%)节选:

    表格较宽,可左右滑动

    模型数据集TMIA T-F1TS-MIA T-F1UP-MIA T-F1TMIA I-F1
    Pythia-70MSST-591.3477.5957.8884.16
    Pythia-70MNews2083.5566.6039.0777.24
    T5MNLI91.1075.9554.6471.17
    GPT-2News2083.7565.0841.0376.37
    ResNet-18SVHN72.7456.5543.2065.63
    SimpleCNNCIFAR1078.2674.8547.7463.64
    MobileNetCINIC1077.3074.5066.8067.13

    (完整 18 个模型×数据集组合见 Table 2/3;此处省略其余 11 行,其中最低为 SimpleCNN/SVHN 的 T-F1 71.02、I-F1 63.85。)

    • 作者称 TMIA 在全部 18 个设置上 T-F1 与 I-F1 均为三者最高,I-F1 相对提升至少 21.82%;三个 LM 上 TMIA 的 T-Pre 与 T-Rec 均 ≥ 80.51%。
    • 作者指出 TS-MIA 靠在几乎所有时间戳预测进入点获得高召回(T-Rec 常超 85%)但精度低(T-Pre 多低于 70%);UP-MIA 精度召回都低。
    • 作者指出区间级比时间戳级更难(需准确定位边界并保持连续性),视觉模型上 I-F1 绝对值更低,但 TMIA 仍最高。

    影子模型不匹配(Section 6.3,Figure 5/9)

    • 测了什么:固定目标为 Pythia-70M/SST-5 等,分别让影子与目标在数据集、架构、更新算法、更新规模上不匹配,报告 T-F1(I-F1 在附录 E)。
    • 结果:数据集不匹配时 T-F1 最多降 4.95%;架构不匹配最多降 2.1%;更新算法不匹配时 T-F1 仍至少 88.33%;更新规模不匹配时,影子规模不大于目标时 T-F1/I-F1 最多降 1.91%/4.04%,但影子用 5% 而目标用 0.5% 或 1% 时 T-F1 最多降 18.09%。
    • 作者解读:TMIA 捕捉的是更新引起的基本行为变化,可跨数据集、架构、算法与更新规模迁移。

    扩展到大型生成模型(Section 6.5,Table 4/11)

    • 测了什么:LLaMA-3B/8B 在 SQuAD、SimpleQA 上做 40 步 LoRA 更新,用 PPL 序列替代置信度。
    • 结果:TMIA 的 T-Pre 为 95.61%–99.48%,T-F1 均超 84%(最高 LLaMA-3B/SimpleQA 95.25%);I-F1 最高 95.01%(LLaMA-3B/SimpleQA,Table 11),两个基线的 I-F1 明显更低。
    • 作者解读:TMIA 对大型生成式语言模型仍然有效。

    现实场景鲁棒性(Section 7)

    • 相关更新(Table 5,SST-5/Pythia-70M):更新样本来自同一情感类别时,T-F1/I-F1 与无相关基线(90.14/80.03)相比变化最多 0.49%/0.66%;攻击者影子模型只用无相关更新训练。
    • 输出量化(Table 6,Pythia-70M):8-bit 量化使 T-F1/I-F1 降 9.82%/7.51%,4-bit 降 26.37%/17.53%(4-bit 下 T-F1 63.27%、I-F1 62.50%);假设攻击者知道量化算法与配置并对影子模型做同样量化。
    • 部分快照观测(Table 7,Pythia-70M):只访问 50% 快照时 T-F1 72.82%、I-F1 64.66%;只访问 25% 时 T-F1 48.48%、I-F1 36.47%。作者称周期性访问仍构成隐私威胁。

    防御评测(Section 8,Table 8)

    • 测了什么:把静态模型的三种防御适配到持续更新场景——label-only 输出(用 0/1 正确性指示替代置信度)、dropout(p=30%/50%,训练与推理均启用)、DP-SGD(ε_total∈{10,30},δ=5×10⁻⁴)。
    • 结果(SST-5/Pythia-70M):label-only 使 T-F1 从 91.34 降到 87.99、I-F1 从 84.16 降到 74.85,测试准确率几乎不变(43.26→43.25);DP ε=10 使 T-F1 降到 17.47、I-F1 降到 5.20,测试准确率降到 38.43;dropout p=30% 时 T-F1 75.36、I-F1 73.22,测试准确率 40.13。CIFAR10/SimpleCNN 上趋势相同。
    • 作者解读:DP 防护最强但效用损失最大,label-only 几乎保效用但防护弱,作者认为 dropout 在隐私与效用间平衡最好。

    其他消融与分析

    • 滑动窗口大小(Figure 6a,Pythia-70M/SST-5):窗口 7 时 T-F1 最好、11 时 I-F1 最高,继续增大略有下降。
    • 每时间戳更新规模 0.1%→10%(Figure 6b):T-F1 与 I-F1 随之上升。
    • 每样本更新次数 1→5(Figure 6c):T-F1 降 1.3%、I-F1 降 1.98%。
    • 成员持续时间占比增加(Figure 6d):T-F1 与 I-F1 持续上升。
    • 进入/退出点命中率(附录 D,Figure 8):θ=0 时 TMIA 进入点命中率 81.04%(Pythia-70M/SST-5)对 TS-MIA 63.75%,71.00%(ResNet-18/CIFAR-10)对 33.33%。
    • 负面结果:部分快照观测降至 25% 时攻击效果明显减弱(Table 7);影子更新规模 5% 对目标 0.5%/1% 时 T-F1 最多降 18.09%(Figure 5d)。
  5. 有什么可以进一步探索的点?

    作者在 Conclusion 列出三个未来方向;实验覆盖 8 个模型、8 个数据集,黑盒设置下快照间变化不可观测。

    作者指出的局限与后续方向

    • 白盒扩展(Conclusion):本文聚焦黑盒攻击,扩展到白盒设置、研究梯度等模型内部信息如何与不同更新策略交互,是开放问题。
    • 专门防御(Conclusion):作者称虽然评测了常见防御,设计专门缓解时间成员泄漏的方法 largely unexplored。
    • 形式化保证与基准(Conclusion):作者认为需要为演化模型开发考虑时间动态的形式化隐私保证与基准,用于定义和审计隐私。
    • 快照间变化不可观测(Section 3.2):完全发生在两次被查询快照之间的插入/删除不留下可直接观测的证据,任何黑盒攻击者都无法恢复;作者说明这是威胁模型的根本限制而非攻击本身的限制。

    实验覆盖范围

    • 被测模型共 8 个:Pythia-70M、T5、GPT-2 Small、ResNet-18、SimpleCNN、MobileNet(分类),LLaMA-3B、LLaMA-8B(生成式,用 PPL 特征)。
    • 数据集共 8 个:SST-5、News20、MNLI、CIFAR-10、SVHN、CINIC-10、SQuAD、SimpleQA;更新步数为 80(LM)、60(DNN)、40(LLaMA)。
    • 更新算法覆盖 fine-tuning、GA、NPO(LM)与 fine-tuning、GA、SCRUB(DNN),LLaMA 实验只用 LoRA 微调。
    • 防御评测覆盖 label-only、dropout、DP-SGD 三种,在 SST-5/Pythia-70M 与 CIFAR10/SimpleCNN 两个设置上进行(Table 8)。
    • 所有结果为三次试验平均(Section 6);攻击模型训练用 3,000 影子样本、评测用 1,200 目标样本(附录 B.4);论文未报告攻击的查询次数或计算成本。
  6. 总结一下论文的主要内容

    TMIA 用滑动窗口 BiLSTM 从快照输出轨迹推断样本的时间成员区间,在 8 个模型上优于基线,三种防御均有效用代价。

    一篇关于持续更新模型隐私的攻击论文:作者形式化了"时间成员"概念,并提出黑盒攻击 TMIA,推断样本何时进入和离开模型训练集。

    • 问题:部署模型反复更新形成快照序列,样本可能多次被插入和删除;作者称现有针对更新模型的 MIA 只考虑单向、单次变化且只比较相邻快照,无法重建成员历史。
    • 方法:攻击者训练与目标更新对齐的影子模型序列,用带滑动窗口的 BiLSTM 把置信度轨迹标注为进入点/退出点/非变化点,再经三步构造满足排序、匹配、不重叠约束的有效成员区间(Theorem 5 保证有效性);生成式模型改用 PPL 轨迹。
    • 主结果:在 3 个 LM 与 3 个图像模型、6 个数据集上,TMIA 的 T-F1 与 I-F1 在全部 18 个设置上高于 TS-MIA 与 UP-MIA(Table 2/3),如 Pythia-70M/SST-5 上 T-F1 91.34%、I-F1 84.16%;作者称 I-F1 相对提升至少 21.82%。
    • 扩展与鲁棒性:LLaMA-3B/8B 上 T-F1 均超 84%(Table 4);影子模型与目标在数据集、架构、更新算法不匹配时 T-F1 下降最多分别为 4.95%、2.1%,算法不匹配时仍 ≥ 88.33%;4-bit 量化下 T-F1 63.27%;只访问 50% 快照时 T-F1 72.82%。
    • 防御:label-only、dropout、DP 均降低攻击效果;DP ε=10 把 SST-5/Pythia-70M 的 T-F1 压到 17.47% 但测试准确率从 43.26 降到 38.43,作者认为 dropout 的平衡最好,存在隐私-效用权衡。
    • 作者结论:时间维度会泄露超出"是否使用过"的敏感信息;未来方向包括白盒扩展、专门防御和面向演化模型的形式化隐私保证与基准。

相关论文

共同使用 SQuAD
共同使用 SVHN
再看 2 篇
共同使用 SVHN
共同使用 CIFAR-10
阅读原文arxiv.org