研究显示拆分学习中的梯度可提升客户端文本重建率

在分裂学习中，观察者能否只凭分裂点流量还原客户文本，以及激活已经恢复大部分 token 时，梯度还多贡献多少。

• 场景：作者称 split learning 把前几层留在客户，只送出每个 token 的激活；训练时服务器回传梯度。两者都由私有文本计算，能观察流量的人可能把它们还原成文本。
• 现有缺口：梯度反演、内部向量反演和 BiSR 已能从这些信号还原数据。作者称它们没有回答：激活单独已给出大部分文本时梯度还加多少，以及按 token 还是按文档计分是否改变答案。
• 本文做法：在候选预算相同的条件下比较只看激活的攻击者与 joint attacker，并检验固定长度卸载的起点是否仍解释质量与泄漏。作者建议两种计分都要报告。
• 威胁模型：
  • 目标：重建评测文档，按 token、整篇全对，以及人名、数字、标识符 span 是否精确恢复来计分。
  • 知识：passive observer。持有分裂前客户层和 token embedding 的公开副本或训练后副本，以及 32 篇公开校准文档。
  • 能力：只观看、不修改流量。训练与推理都可见每 token 一个激活；仅训练时可见 next-token loss 对激活的梯度。只探测权重不再变化的最终模型。
  • 得不到：私有文本、服务器层和 next-token loss 标签。评测文本只用于打分，不给攻击者。

论文第 2 节把相关工作分成几组。下面只在论文明确对比处写区别。

分裂学习与实例编码

• Split learning（Vepakomma et al., 2018）：原始数据留在客户，只共享分裂层激活。
• Pasquini et al. (2021)：论文转述，数据留在本地本身并不使它保持隐私，恶意服务器可以引导客户层再重建私有输入。
• 实例编码：Carlini et al. (2021) 讨论这种编码是否还可能保持隐私；Maeng et al. (2023) 给出可逆性的界。作者称分裂点激活属于这类编码。

从梯度或内部向量还原

• 梯度反演：Zhu et al. (2019) 与 Zhao et al. (2020) 通过匹配共享梯度恢复训练样本；LAMP（Balunović et al., 2022）将其用于文本，并用语言模型保持猜测通顺。
• 内部向量：Vec2Text（Morris et al., 2023）反复修正猜测直到 embedding 匹配；SipIt（Nikolaou et al., 2026）按位置保留隐藏状态与观测一致的 token。作者用自己的 SipIt 实现作为攻击之一。
• 属性推断（Melis et al., 2019）：从共享更新推断训练数据属性，而不是数据本身。作者称这是除整篇恢复外还报告其他分数的原因之一。

分裂语言模型中的泄漏

• BiSR（Chen et al., 2024）：先用学到的反演模型猜测，再优化以同时匹配激活和梯度。作者称 joint attacker 用同样两种信号，但是梯度提议候选、激活做选择，不复现该优化。
• VFLAIR-LLM（Gu et al., 2025）：提供框架与基准，含恢复输入的攻击。第二实验改编其 model inversion，解码改为本文的 ridge fit。
• 作者此前的部署审计（Politis and Pappas, 2026）：回传梯度暴露了 decoy 行。作者称本文改为测量无防御与有防御模型恢复多少文本、计分单位的影响，以及卸载起点是否重要。

其他测量与配套实现

• 分裂推理：Fan et al. (2026) 测量服务器在分裂推理中看到什么；Gu et al. (2026) 从分裂模型恢复 prompt 和 response。
• DP-Forward（Du et al., 2023）：用差分隐私保护前向过程中的微调与推理。
• 配套文稿（Politis and Pappas, 2026）：描述本文使用的 LLM-Attacker，并把主实验作为案例。作者称其 BiSR 实现与参考实现在一个分裂点一致，只检验实现是否忠实，不说明攻击强度。

基线与数据：主实验比较 activation-only、SipIt、backward-only heuristic，以及 shuffled-gradient 与 random-candidate。部分卸载还用 majority control 和 all-local 全本地训练。数据是 WikiText-2 的 32-token 文档。

作者把本文的位置放在：测量无防御和有防御模型上恢复多少文本、这一数字如何依赖计分单位，以及卸载层从哪里开始是否重要。

joint attacker 与只看激活的攻击者共享候选预算和搜索，差别只在候选从哪来。第二实验再问：卸载长度固定时，起点层是否仍解释质量与泄漏。

问题设定与计分

• 分裂：主实验用 GPT-2 的 12 层，分裂深度 L 为 3 或 6。客户持有私有文本并跑前 L 层；服务器跑其余层。输入是 WikiText-2 的 32-token 文档。
• 数据划分：32 篇公开校准文档给攻击者，128 篇训练客户模型，256 篇只用于评测。三者不相交。记录流量的代码会用到服务器层和标签，但攻击者收不到。
• 两种副本：公开副本来自公开发布的预训练权重；训练后副本来自客户训练结束的模型，作者把导出时间计入攻击成本，论文未报告该时间。
• 三种分数：token recovery 是 token 重建正确的比例；whole-document recovery 是 32 个 token 全对的文档比例；span recovery 是标注人名、数字、标识符被精确重建的比例。

从激活与梯度重建文本

1. 校准：把 32 篇公开文档送过客户层副本，用 ridge 回归学习从激活到 token embedding 的线性映射。
2. 列候选：对每个观测激活，按余弦相似度列出最近的 k 个 token。k 取 8、16 或 32。
3. 用梯度改一半：joint attacker 保留激活列表的前一半，另一半换成 embedding 最匹配梯度信号的 token；重叠处用激活列表的后续 token 补齐。梯度来自 next-token loss，因而携带的是后一个 token 的信号。首位没有梯度帮助。
4. 筛选：宽度为 2 的 beam search 从左到右扩展，用客户层副本重算激活，保留与观测最匹配的两条部分文本。两种攻击者检查的部分文本数量相同。

作者称这使用了 BiSR 的两种信号，但不复现 BiSR 的优化。

对照、SipIt 与预先固定的检验

• 对照：shuffled-gradient 换入另一篇文档的梯度；random-candidate 把梯度那一半换成不放回的均匀随机 token。backward-only heuristic 只用梯度。
• SipIt：作者自己实现已发表算法，不用原作者代码。每 token 预算为 32、64 或 128 次迭代。预算用尽时返回已检查的最佳候选，作者称此时精确恢复保证不适用。
• 主检验：预先固定为 L=6、公开副本、k=32。比较的是 joint 减去仅激活的 token recovery。通过标准是 95% 区间下端高于 2 个百分点。
• 区间：先对两个 attack seed 取平均，再把文档和训练模型当作两根轴做 crossed bootstrap，10 个 victim run × 256 篇文档、100,000 次、种子固定。训练集保持不变。另外 47 项 token 比较用 Bonferroni 校正，α=0.05/47。差值在舍入前计算。

主实验计划在运行前固定。第二实验的计划在新运行前、但在一次试点之后固定，试点不计入证据。Qwen3 计划是在一次 32-bit 运行失败后单独制定的。

主实验中的两种防御

• secret mixup：每个位置发送真激活与 decoy 的加权混合，真激活权重 λ=0.75。decoy 来自同一次运行更早的训练激活。回传梯度要扣掉 decoy 分量再按 λ 缩放；服务器层为线性时作者称该校正精确，否则近似。校正还使每条回传梯度变密。
• replica-median：目标是训练完整性而非文本隐私。并行跑三份独立的服务器层，逐坐标取中位数；少于一半副本被恶意控制时中位数仍正确。攻击者看到送给这些副本的激活。
• 与扰动的差别：第 4 节对观测梯度加高斯噪声或减少位数，只改变攻击者所见，不改变训练。噪声标准差为 σ 乘该文档梯度的 RMS。舍入按该文档最大绝对值缩放。作者称这些不是已部署防御。

部分卸载与泄漏指数

• 网格：服务器只训练连续 s 层，s 为 2、4 或 6，起点 b 为 0、1、2 或 3（从 0 计）。层范围是 [b, b+s)。攻击者在 max(1, b) 层之后观察；b=0 时虽在第 0 层之后观察，服务器仍训练第 0 层。b 大于 1 时，移动起点也移动观察点。
• 训练：128 步 AdamW，batch size 为 1，学习率 5×10^−5，按种子打乱的顺序过一遍训练文档。8 个 victim seed，另有 8 个无保护的 all-local 运行。
• 两种训练期防御：8-bit 防御把激活和梯度都舍入到 8 bit。4-bit noisy 防御舍入到 4 bit，把回传梯度裁到 1.0，再加标准差为 0.1 倍文档梯度 RMS 的噪声，顺序是裁剪、加噪、舍入。
• 效用：相对配对 all-local 模型的额外 held-out 交叉熵为 Δ U = L_segment − L_{all local}，越低表示分裂训练的代价越小。另保留未训练预训练模型的 held-out loss 作对照。
• 泄漏：在最终模型上、防御之后记录激活和回传梯度，不再更新权重。攻击者用公开副本、32 篇校准文档和固定 attack seed 17。主攻击改编 VFLAIR-LLM 的 vanilla model inversion，但不用已发表优化，而是用 ridge fit，把每个激活解到余弦最近的 token。
• 属性分：把每个位置回传梯度的范数相加，猜测文档是否含 token ID 286、357 或 764。这三个 ID 在校准文档中的出现比例最接近一半，平局按 token ID 打破。真标签只用于打分。
• 合成指数：先算 VMI 相对 majority control 的超出，再对三个属性的 ROC AUC 取与 0.5 的偏离。合成泄漏指数为 I = max(0, a_VMI − a_control, max_j=1,2,3 2|AUC_j − 0.5|)。绝对值使低于 0.5 的 AUC 也算泄漏。作者称有限样本噪声本身也可以使 I 为正。
• 方差检验：对每种防御和每种结果，比较只含长度的拟合与长度×起点的全拟合。partial R² 是长度拟合剩余变异中被全拟合解释的比例。通过标准是 partial R²≥0.10 且置换 p<0.0125。置换在每个 seed 和长度内打乱起点标签 10,000 次。另报 10,000 次种子 bootstrap 的 98.75% 区间。

实验设置

• 模型：主实验是 GPT-2（openai-community/gpt2，12 层，124M）。部分卸载另有 Qwen3-0.6B（28 层）。Qwen3 在 FP32 梯度出现非有限值后改用 FP64 做权重、反向、RMSNorm 和 attention softmax，交叉熵仍用 FP32；失败运行被排除。
• 数据：固定的 WikiText-2（wikitext-2-raw-v1），32-token 文档，32 篇校准、128 篇训练、256 篇评测。Qwen 分词器把同一来源重切成 32-token 窗口，token 序列不同。
• 规模：40 种配置，其中 28 种无防御、12 种有防御；两种深度、两种副本、10 个 victim seed、2 个 attack seed，共 3200 次攻击评估。6 种只看激活的配置另计入推理设定，复用训练测量，合计 3680，每次都在 256 篇上计分。
• 攻击：activation-only（k=8、16、32）、joint attacker、SipIt（32、64、128 步）、backward-only，以及两种梯度对照。部分卸载的文本恢复是 ridge 版 VMI，对照是 majority control；属性攻击用梯度和三个 token 是否出现。
• 判定：三种恢复都按与原文或标注 span 精确一致计算，论文未写 LLM 评审。人名等 span 由 AI 协助标注，并在知道任何结果前固定。主实验效用是 held-out perplexity 的几何平均，和第二实验不是同一发布日程。
• 哪些有形式检验：主检验和 47 项 token 比较有预先固定的门槛。作者称整篇恢复、span、扰动梯度和防御结果是描述性的，也没有预先计划检验扰动后恢复是否不变。

主结果

据 Table 3，k=32。每格汇总 5,120 次文档级评估、256 篇不同文档。主检验是 L=6、公开副本。

表格较宽，可左右滑动

深度与副本	仅激活 token	joint token	仅激活整篇	joint 整篇
L=3 公开	97.39%	98.29%	43.13%	55.51%
L=3 训练后	97.81%	98.72%	51.41%	66.13%
L=6 公开	94.20%	97.38%	13.71%	37.77%
L=6 训练后	94.81%	98.27%	20.23%	58.55%

• 主检验：作者称预先固定的检验通过。L=6、公开副本、k=32 的 token 配对差为 3.17 个百分点，95% 区间 [2.72, 3.64]，下端高于两点门槛。四点小数为 3.1714，先算差再舍入。
• 整篇：作者称同一设定下整篇恢复为 2.75 倍，因为 32 个 token 必须全对。Table 3 四种设定的整篇增益都为正，训练后副本且 L=6 时最大。
• 不是每格都最高：对两种副本平均后，joint 在两个深度的 token 恢复最高（Table 2）。例外是训练后副本、L=3：SipIt（128 步）98.89%，joint 98.72%。作者称仅激活判错的 token 中，梯度改正约 55%。

梯度扰动与对照

• 轻度扰动：只改攻击者所见，不改训练。L=6、公开副本、k=32 时，σ=0.1 的 token 恢复为 97.31%，8-bit 舍入为 97.33%，真梯度为 97.38%。
• 更强扰动：同设定下 σ=1.0 为 96.83%，4-bit 舍入为 96.38%。作者称大部分增益仍在。结论中的 96.38–97.33% 与这些端点一致。
• 对照低于无梯度：同设定下 shuffled-gradient 为 93.91%，random-candidate 为 93.89%。作者称二者约低于仅激活攻击者 0.3 个百分点，因而增益来自梯度所携带的信息。

防御下的泄漏与效用

• secret mixup：各条件 token 恢复 83.01–90.67%。整篇精确重建最高 1.48%，由仅激活攻击者在 L=3、k=8、两种副本上达到。公开副本、k=32 时，整篇为 L=3 的 0.31%、L=6 的 0.04%。
• span：Table 4 的范围来自 24 个条件（6 种攻击 × 2 个深度 × 2 种副本）。人名从无防御的 67.36–97.44% 降到 47.85–66.15%；数字仍为 93.94–96.50%；标识符为 90.00–100.00%，但只有 2 个 span、2 篇文档。人名出现在 249/256 篇。
• 效用与 replica-median：secret mixup 使 perplexity 上升 31.8%（L=3）和 26.9%（L=6）；Figure 6 图注写 27–32%，并写 token 仍有 83–91%。replica-median 的 perplexity 从 36.05 到 36.51–36.62。作者称 token 恢复与无防御相差不超过三分之二个百分点，整篇最多变 7.7 个百分点；最大变化是公开副本、L=3 的 SipIt，从 43.77% 到 36.11%。

卸载起点是否重要

• 方差检验：Table 5 八项中七项通过。未通过的是 GPT-2、4-bit noisy 的泄漏指数：partial R²=0.21，98.75% 区间 [0.13, 0.56]，p=0.019。通过项在表中的 partial R² 为 0.90–1.00，p=0.0001。Qwen3 四项都通过，partial R² 至少 0.90。
• 留出种子，8-bit：该检查是描述性的。GPT-2 在种子 11–66 上拟合、在 77 和 88 上评估，加入起点后效用 RMSE 从 1.5698 到 0.7594，泄漏指数从 0.3042 到 0.1337，都超过预先指定的 10%。Qwen3 从 2.0948 到 1.3957、从 0.1812 到 0.1002；论文未列出 Qwen3 留出种子的编号。
• 4-bit 留出种子未改善预测：GPT-2 效用 RMSE 从 0.2154 到 0.2018，泄漏指数从 0.0783 到 0.0735，都未到 10%。Qwen3 上升，效用从 2.2834 到 2.2947，泄漏指数从 0.2176 到 0.2256。作者称知道起点有助于预测新运行，只出现在 8-bit 防御下。

其他消融与分析

• Figure 7 以一位小数列出 40 个配置。作者称深度三的 token 恢复通常高于深度六，训练后副本始终高于公开副本；backward-only 相反，两种副本平均为 24.04% 与 50.01%（Table 7）。
• 47 项 token 比较在 Bonferroni 校正后区间下端都高于 0，对象包括仅激活、两种对照和 backward-only，并跨深度、副本和预算。
• 主设定已发布预测中，首 token 在仅激活侧错 2,408/5,120，joint 侧错 2,362/5,120；820 与 806 例只差前导空格。作者称仅这些错误就使两种攻击者的整篇恢复低于约 54%。
• Table 10：8-bit 下 b=3 的 ΔU 为 3.9813–4.2361，VMI excess 为 0.0170；b=0 或 1 的 VMI excess 为 0.9098–0.9227。作者称起点在第三层时额外损失是更早起点的数倍，泄漏只是其一个分数。
• Table 10 中 4-bit noisy 的 12 个放置，VMI excess 在 -0.0282 到 0.0011。作者称每个放置都接近 majority control。
• 作者未做检验地报告服务器训练层占比：GPT-2 为 s/12，Qwen3 为 s/28，由层形状计算，不依赖起点。

作者指出的局限与后续方向

• 模型与文本：只研究 GPT-2（124M 参数）和 Qwen3-0.6B，文档是 WikiText-2 上的 32-token 片段，分裂在第三或第六层之后。作者称更大模型、更长文档和其他类型文本的泄漏可能多于或少于所测（Section 7）。
• 防御评估用的是同一套攻击：作者称知道防御的攻击者总能运行这些攻击，因此有防御结果给出的是这类攻击者至少能恢复的量；围绕防御设计的攻击只会在此之上增加（Section 7）。
• 第二实验的解码：泄漏用基于 ridge 的解码器和一个 attack seed 测量，不是已发表的基于优化的 model inversion（Section 7）。

实验覆盖范围

• 主实验模型与划分：被测模型为 GPT-2，分裂深度 L=3 与 L=6，副本为公开或训练后；评测集 256 篇，10 个 victim seed、2 个 attack seed（Section 3、Table 3）。
• 评估次数：40 种配置、3,200 次攻击评估；6 种只看激活的配置另计入推理设定并复用训练测量，合计 3,680。论文写明这 480 次没有重新运行攻击（Section 3.1、4.1）。
• 防御：主实验防御为 secret mixup（λ=0.75）和 replica-median。观测梯度上的噪声与舍入被作者写明不是已部署防御（Section 4.4、4.5）。
• 部分卸载：GPT-2 与 Qwen3-0.6B，s 为 2、4、6，b 为 0、1、2、3，两种防御，8 个 victim seed；每种模型 192 个服务器训练运行加 8 个 all-local。泄漏的 attack seed 固定为 17（Section 5）。
• 论文写明未纳入的材料：第二实验没有已发表优化式 model inversion 的数字；span 标注使用 AI 协助并在知道结果前固定，论文未报告其与人工的一致性。附录 D 写明本文主张不使用已撤回的 P0–P5，也不使用标为 R1 的外部探索运行。

这篇工作测量 split learning 分裂点上的文本泄漏：激活单独能恢复多少，训练回传的梯度再增加多少，以及按 token 还是按整篇计分会不会改写结论。

• 设定：攻击者是被动观察者，持有客户层的公开或训练后副本和 32 篇公开文档，看不到原文、服务器层和 next-token loss 标签。主实验把 GPT-2 分在第 3 或第 6 层之后，文档为 WikiText-2 的 32-token 片段。
• 方法：两种攻击者都用 ridge 回归把激活映回 token embedding，再用宽度为 2 的 beam search 筛选。joint attacker 只用梯度替换一半候选，不复现 BiSR 的优化。第二实验让服务器训练固定长度的连续层，检验起点是否在长度之外解释效用和泄漏。
• 梯度增量：预先指定的主设定是 L=6、公开副本、k=32。token 恢复从 94.20% 到 97.38%，差 3.17 个百分点，95% 区间 [2.72, 3.64]。整篇精确重建从 13.71% 到 37.77%，作者称这是 2.75 倍。Table 3 中训练后副本、L=6 的整篇从 20.23% 到 58.55%。
• 防御与扰动：secret mixup 下整篇精确重建至多 1.48%，token 仍为 83.01–90.67%。作者在结论中称，所测噪声或舍入下 token 恢复仍为 96.38–97.33%，与 Section 4.4 在 L=6、公开副本、k=32 的端点一致。replica-median 的 perplexity 从 36.05 到 36.51–36.62，整篇恢复最多变 7.7 个百分点。
• 起点：Table 5 八项检验七项通过；未通过的是 GPT-2 在 4-bit noisy 下的泄漏指数。作者称起点改善留出种子上的预测，只出现在 8-bit 防御下；Qwen3 的 4-bit noisy 留出 RMSE 反而上升。
• 作者的建议：无梯度时 token 恢复为 94.20–97.81%，因此推理激活也应视为敏感。防御应同时用 token、整篇和 span 评估。卸载一段层时，起点要和长度一起选择，并在将部署的防御下用留出种子检查。