隐私后门：用被篡改的预训练模型窃取数据

1. 01这篇论文试图解决什么问题？

   作者提出隐私后门：篡改预训练模型权重即可窃取微调数据，白盒下重构样本，黑盒下完美成员推断并威胁 DP-SGD。

   核心问题：从开源仓库下载并微调预训练模型这一常见做法，引入了一种被忽视的供应链隐私风险——恶意模型提供者可通过篡改权重窃取微调数据。

   • 场景与重要性：Huggingface 等平台托管近 500,000 个模型，下载后微调是常见实践。作者称此前供应链攻击研究集中在模型完整性（integrity），隐私维度被忽视。
   • 现有方法不足：联邦学习中的数据窃取攻击（Fowl et al., 2021; Boenisch et al., 2023）假设攻击者能看到单个梯度更新，且只需在一个训练步内存活；本文攻击者只能看到最终模型，数据陷阱需在整个微调过程（多个 epoch、数千次更新）中存活。
   • 核心观察：作者提出 single-use 的 data trap 设计——后门激活并把数据点写入权重后即失效，像锁存器（latch）一样保持到训练结束，从而以高概率捕获单个训练样本且对模型效用影响小。
   • 论文提出：面向 MLP 和预训练 transformer（ViT、BERT）的隐私后门构造；黑盒下的完美成员推断与数据提取；对 DP-SGD 的端到端紧隐私攻击，作者称这是对该算法的首个紧端到端攻击。
   • 威胁模型：
     • 目标：重构受害者的单个微调样本，或推断某数据点是否用于训练。
     • 知识：攻击者在把预训练模型发给受害者前篡改其权重一次；不能观察单个梯度更新。
     • 能力：white-box 攻击者可查看微调后模型权重；black-box 攻击者仅可对模型做任意输入查询。
     • 受害系统：受害者用 SGD 对分类任务做 full finetuning（多个 epoch），在模型上新增线性分类层并微调整个模型。

   收起这一问

2. 02有哪些相关研究？

   相关工作涵盖隐私攻击、完整性后门、联邦学习数据窃取与 DP-SGD 紧性分析；作者称本文扩展了联邦学习攻击到预训练模型供应链场景。

   隐私攻击

   • Shokri et al. (2017) 的成员推断与 Carlini et al. (2021; 2023) 的训练数据提取利用神经网络的记忆效应；Tramèr et al. (2022)、Panda et al. (2023) 通过投毒增强记忆化。
   • Song et al. (2017) 展示篡改训练代码可让模型泄露训练数据。

   后门攻击（完整性方向）

   • Gu et al. (2017)、Liu et al. (2018) 篡改预训练模型注入恶意目标行为，破坏模型完整性。
   • Hong et al. (2022) 展示可通过直接编辑预训练模型权重手工构造此类后门。

   联邦学习中的数据窃取

   • 恶意服务器篡改模型使客户端梯度泄露训练数据（Zhao et al., 2023; Fowl et al., 2021; 2022; Boenisch et al., 2023; Wen et al., 2022; Phong et al., 2018）。
   • 作者称本文扩展了 Fowl et al. (2021) 在线性层制造稀疏激活、使梯度编码训练输入的攻击，使其能在整个微调过程中存活。

   预训练模型的隐私后门（并行工作）

   • Wen et al. (2024) 与 Liu et al. (2024) 同期提出预训练模型隐私后门，但作者称二者攻击者目标更弱（分别为成员推断、无成功保证的提取），且攻击者仅黑盒访问；作者认为这些攻击更容易发起但破坏性更小，与本文不可直接比较。

   DP-SGD 紧性

   • Abadi et al. (2016) 的 DP-SGD 最坏情况分析假设攻击者看到所有训练步；Nasr et al. (2021) 称该分析对能看到中间步的强攻击者是紧的，但对只见最终模型的端到端攻击者被认为是松的，实践中隐私参数常设得很乐观。

   定位：作者称本文把焦点从完整性转向隐私，攻击者比联邦学习场景更弱（只看最终模型），并给出对 DP-SGD 的紧端到端攻击；论文未设置传统意义上的对比基线方法，实验为在 CIFAR-10/100、Oxford-IIIT Pet、Caltech 101、TREC 上直接验证攻击有效性。

   收起这一问

3. 03论文如何解决这个问题？

   作者设计单次触发的 data trap 写入权重后自锁，并为 transformer 设计特征分区、序列/位置选择器与数值稳定技巧。

   整体思路：在预训练模型权重中植入 data trap——一种单次触发的后门单元，激活时把当前训练样本写入权重并随即关闭，使捕获的输入在整个微调过程中不被后续更新覆盖。

   问题设定与单次触发条件

   • 对线性单元 h = ReLU(w^⊤ x + b)，设置 w、b 使一个训练 batch 中大概率只有一个输入激活它；反向传播后权重梯度正比于该输入 x，除以偏置梯度即可恢复 x。
   • 单次触发（关闭）的充分条件：x̂⊤x + 1 > 0，且 ∂L/∂h 为正且足够大。作者将后门输出经大权重 w1⁽¹⁾ 接到 logits，使捕获输入以 1 − 1/C 概率被误分类，从而产生大的正梯度关闭后门；若不幸被正确分类（概率 1/C），后门不关闭并在后续 batch 反复激活。
   • 多后门：复制该构造，偏置按激活比例 p 满足 p > 1/D 且 p ≪ 1/B 设置（D 为数据集大小、B 为 batch 大小）；k 个校准良好的后门预期捕获 k·(1 − 1/C) 个输入。

   Transformer 后门的总体架构

   • 将 768 维特征向量逻辑划分为 [ft, key, act]：ft 承载良性特征保效用，key 存待捕获信息，act 传播并放大后门激活信号。具体分区见附录 Table 2（如 ViT 整图：ft 448、key 256、act 64）。
   • 模块流水线（Figure 3）：输入模块构造特征分离 → 后门模块（首个 encoder block 的 MLP）捕获输入 → 放大器模块放大激活 → 擦除模块清除 key 特征 → n 个信号传播模块经 shortcut 传递 act → 输出模块在最后一层用 attention 把 act 平均到 CLS token。

   捕获完整输入：keyed backdoor

   • key 进一步拆为 [tok, pos, seq]：tok 为待捕获 token 信息（ViT 为降采样灰度化的 32×32 patch，BERT 为词嵌入子向量）；pos 为近正交的位置标识；seq 为序列标识，由第一个 attention 层对所有 token 取平均得到。
   • 后门权重形如 w⁽ⁱ⁾ = [0, pos⁽ⁱ⁾, w_seq]，偏置设为高 quantile，使后门只对特定序列中特定位置的 token 激活；多个后门族复制该设计以捕获多个完整输入。

   数值稳定技巧

   • Layer normalization：通过给特征分量加大常数 C 的 StabLN 模块"虚拟拆分"归一化，消除输入依赖的缩放和分量间耦合（附录 A.1）。
   • GELU：无法像 ReLU 完全关闭，作者放大输入使其近似 ReLU，并用后续 MLP 抑制小幅激活对应的意外梯度（附录 A.2）。
   • Shutdown 增强：用 SpecLinear（LN+MLP 组合）提升 shutdown 项幅度而不影响选择性（附录 A.3）。

   黑盒攻击与 DP-SGD 应用

   • 成员推断：设置倒数第二层激活使目标 x 产生 h = [C, 0, …, 0]、其他输入 h₁ = 0；攻击者比较微调前后 logits 变化判断是否参与训练。
   • 数据提取：将问题归约为模型窃取，通过查询 x = [c, 0, …, 0] 找到每个 ReLU 后门单元的临界点 c = −b/w₀，逐坐标恢复权重 w，进而读出捕获输入。
   • 成功判定：图像以训练中后门激活强度阈值判定唯一匹配（附录 D.1）；文本报告所有强激活该后门的训练句子。

   收起这一问

4. 04论文做了哪些实验？

   白盒下从 MLP、ViT、BERT 重构出可辨认图像与近乎完整句子；黑盒成员推断 100% 准确，DP-SGD 下界达理论上界的 0.72–0.73。

   实验设置

   • 被测模型：3 层 MLP（256 隐藏单元，其中 64 个用作后门）；ViT-B/32（Torchvision 预训练）；BERT-base（HuggingFace）；DP 实验用 CIFAR-100 上预训练的小 CNN（卷积层 + 3 层感知机，隐藏层 128、64）。
   • 数据集：CIFAR-10/CIFAR-100（50,000 训练样本）、Oxford-IIIT Pet（3,680 训练样本）、Caltech 101（9,146 张图，三分之二作训练集）、TREC（5,452 训练问题，6 粗类/50 细类）。
   • 训练配置：MLP 用 SGD、batch 64、lr 0.05、20 epoch；ViT 用 lr (0.2, 1e-4)、batch 128、12 epoch；BERT 用 lr (0.05, 1e-4)、batch 32、12 epoch；后门阈值按 quantile Q(0.001) 设，约 10 个样本激活每个后门。
   • 指标与判定：重构质量以与 ground truth 的匹配呈现（图像按激活强度阈值判定唯一匹配，文本列出所有强激活句子）；成员推断准确率；DP 实验用数值计算的隐私下界 ε̃ 与理论上界 ε 之比；下游 test accuracy。
   • 评审方式：无 LLM 或人工评审；匹配判定基于激活强度阈值（超参数，作者手动设定）。
   • 重复次数：论文未报告各实验重复次数；Table 7 标注为多次试验中"最干净"的一次（best run）。

   主结果

   论文以重构样例图/表为主，无量化主结果表；关键量化结果如下（据正文与附录）：

   设置	结果	出处
   MLP + CIFAR-10，白盒重构	多数重构与 ground truth 难以区分；两类失败：误分类导致不可恢复、多输入混合	Figure 2
   ViT-B/32 + Caltech 101，白盒整图重构	灰度重构可辨认，patch 亮度有轻微偏差	Figure 4
   BERT + TREC-50，白盒句子重构	重构近乎完美，偶有虚假后缀 token	Table 1
   backdoored ViT 下游精度	83% test accuracy（Caltech 101）	Section 5.4
   backdoored BERT 下游精度	78% test accuracy（TREC-50）	Section 5.4
   黑盒成员推断	100% 准确率	Section 6.1

   • 作者称 transformer 实验中后门数小于类别数，所有后门以高概率关闭；报告的是模型良性效用未崩溃的微调运行。
   • 作者称 ReLU 版 transformer 的后门更鲁棒、捕获更成功（附录 F）。

   DP-SGD 紧性实验

   • 测了什么：backdoored CNN（冻结骨干）用 DP-SGD 微调（C = 1、σ = 1.0、δ = 1e-5、lot size 500），攻击者只见最终模型，数值计算隐私下界 ε̃。
   • 结果：梯度集中度 ρ = 0.97 时，ε̃/ε 分别为 0.64（ε=1）、0.73（ε=3）、0.72（ε=5）、0.72（ε=8）（仅微调分类头）；微调整个 MLP、ε=3 时为 0.72（Table 4）。Figure 5 显示经验隐私预算接近理论上界。
   • 作者解读：作者称文献中采用的宽松隐私预算（如 ε > 8）在模型提供者不可信时不安全，挑战了"DP-SGD 保证在实践中过于保守"的常见假设。

   黑盒数据重构

   • 测了什么：对 CIFAR-10 上 backdoored MLP，用部分模型窃取逐坐标恢复第一层后门权重。
   • 结果：模型输出近似 ReLU，可用两次查询找到临界点；完整攻击需不到 10,000 次查询，恢复出可辨认的 CIFAR-10 图像（Figure 6）。
   • 作者解读：作者称该问题比一般模型窃取简单（只需第一层、不需高精度、后门单元接大权重）。

   效用代价与消融

   • ViT 效用（Table 3，Caltech 101）：完整模型 test 95.0%（GELU）/95.1%（ReLU）；裁剪后良性子模型 91.3%/91.9%；加入完整后门后降至 82.6%（GELU）/67.8%（ReLU）。作者称 GELU 下约十个百分点下降可通过后门化更大模型补偿。
   • crafted vs. random 分类头（Figure 13）：crafted head 下即使类别少也无不可恢复后门；random head 下 CIFAR-100 的不可恢复后门少于 CIFAR-10。
   • patch 级重构（Figure 15）：Oxford-IIIT Pet 上部分重构 patch 含可辨认信息（如狗脸），部分不可辨认。
   • DP 下界对 ρ 的敏感度（Figure 12）：ρ = 0.90 时仍得到强下界。
   • 负面结果：GELU 下后门无法完全关闭，持续捕获输入的小部分，降低重构质量；失败后门产生的大梯度可能破坏模型效用，作者称需仔细调参（附录 C.4）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出 LoRA 等微调方式与后门鲁棒性尚待研究；实验覆盖 4 个模型、5 个数据集，未报告重复次数。

   作者指出的局限与后续方向

   • 微调方式：作者称将对其他微调类型（如 LoRA）的扩展留作未来工作（Section 3、Section 5）。
   • 鲁棒性挑战：作者称保证后门构造与模型效用的鲁棒性需要更仔细的调参，是扩展到大型 transformer 时的主要挑战（Section 4.1、5.1、附录 C.4）。
   • 效用下降：作者称后门会降低下游精度，GELU 下约十个百分点，可通过后门化更大模型或更仔细调参补偿（Section 5.4、附录 D.2）。
   • 阈值估计：攻击者无法访问真实私有微调数据集，需用相似公开数据集估计 quantile 阈值（附录 D.3）。
   • DP 实验设置：作者称冻结部分权重可简化后门设计与分析；受害者随机初始化分类头时后门稳定性依赖启发式假设，实验中按粗略计算忽略该失败概率（Section 6.1、附录 E.2）。

   实验覆盖范围

   • 被测模型共 4 个：3 层 MLP、ViT-B/32、BERT-base、CIFAR-100 预训练小 CNN（Section 4.3、5.4、附录 E.3）。
   • 数据集共 5 个：CIFAR-10、CIFAR-100、Oxford-IIIT Pet、Caltech 101、TREC（附录 D）。
   • 白盒重构覆盖图像（整图与 patch 级）与文本；黑盒实验覆盖成员推断与 MLP 上的数据提取，黑盒数据提取未在 transformer 上展示（Section 6.2）。
   • DP 实验在 CIFAR-10 上以 σ = 1.0、δ = 1e-5 进行，覆盖 ε ∈ {1, 3, 5, 8}（仅分类头）与 ε = 3（MLP）（附录 E.4）。
   • 论文未报告各实验的重复次数与统计显著性检验；Table 7 注明为多次试验中的最佳一次运行。

   收起这一问

6. 06总结一下论文的主要内容

   作者提出隐私后门攻击：篡改预训练模型权重即可窃取微调数据，白盒重构样本、黑盒完美成员推断，并使 DP-SGD 下界接近上界。

   一篇供应链隐私攻击论文：恶意模型提供者在发布前篡改预训练模型权重，受害者微调后，攻击者从模型中恢复微调数据。

   • 问题：下载预训练模型再微调是常见实践，作者称此前供应链攻击研究聚焦完整性，隐私风险被忽视；联邦学习数据窃取攻击假设攻击者能看到梯度，本文攻击者只能看到最终模型。
   • 方法：核心是 single-use 的 data trap——后门单元激活时把训练样本写入权重并随即关闭，使数据在整个微调过程中存活。MLP 上基于线性层构造；transformer 上通过特征三分区 [ft, key, act]、序列/位置选择器捕获完整输入，并用 StabLN、GELU 处理等数值技巧保证信号传播。
   • 白盒结果：CIFAR-10 上的 MLP 重构图像多数与 ground truth 难以区分（Figure 2）；ViT-B/32 在 Caltech 101 上重构出可辨认整图（Figure 4）；BERT 在 TREC-50 上重构近乎完美的句子（Table 1）；backdoored ViT、BERT 分别保持 83%、78% test accuracy。
   • 黑盒结果：成员推断达 100% 准确率；MLP 上数据提取需不到 10,000 次查询。
   • DP-SGD 结果：backdoored CNN 上端到端攻击的经验隐私下界接近理论上界，ε̃/ε 最高 0.73（Table 4）；作者称宽松隐私预算（如 ε ≥ 8）在模型不可信时不安全。
   • 作者结论：模型后门不仅破坏完整性也破坏隐私，推理部署模型隐私时必须考虑最坏情况权重；作者计划已公开复现代码。局限包括仅覆盖 full finetuning、transformer 后门鲁棒性需仔细调参、后门降低下游精度。

   收起这一问

相关论文