跳到正文
原文
论文追踪· arXiv:2609.04382· Georgios Politis, Evangelos Pappas·本站收录· 原文发表精选关注度56

研究揭示 split-LLM 训练中返回梯度泄露真实行，前向隐私门仍通过

Privacy Failure in Split-LLM Training, The Returned Gradient Nullifies the Decoys

论文速读

攻击

据论文 PDF 整理（Gemini 生成），以原文为准

作者对双节点拆分训练系统进行安全审计，发现未受保护的反向梯度以零支撑结构完全暴露诱饵行，联合视图突破门控。

威胁模型完全受损的远程云节点（UCN），能够读取自身一侧的所有传输消息、状态更新和跨步观察，持有未加噪的反向梯度与前向激活帧。

问题
拆分学习将模型层切分部署在本地和云端，其隐私保障依赖评估工具；若安全门控未测试反向传播信道，系统可能在通过前向测试的情况下静默泄漏隐私。
方法
作者提出包含注入校准、打乱标签负对照和预设门控阈值的审计协议，通过分析返回梯度的零支撑模式识别真实行，并结合前向与反向张量执行联合探针攻击。
实验与结果
在 Qwen3-0.6B 上，反向梯度在全部 9 个种子的 4,096 帧中均精确识别真实行；浅层切分下联合视图在两数据集共 6 个单元上突破门控；梯度裁剪加噪以约 0.01 nats 代价消除该泄漏。
局限与可以继续做的
审计仅针对单一系统实现与 WikiText-2 顺序块切分，未覆盖累积历史等 5 类信道，未实现全文本序列重构，且缓解实验仅为 2,000 步诊断运行。
实验设置Qwen3-0.6B、35B-A3B · WikiText-2 · token_top1、rare_token_top1 等
被测模型
Qwen3-0.6B35B-A3B
基准
WikiText-2
指标
token_top1rare_token_top1token_cross_entropymembership_aucgate statistic Gpaired effect
AI 导读和推荐理由研究者对两节点 split-LLM 训练系统做安全案例研究，发现被评估为通过隐私门的前向通道之外，返回的输出梯度存在未被测试的泄露通道。可信本地节点持有私有损失并回传输出梯度，由于损失在 decoy 行之前截断，decoy 行的梯度恒为零，零支撑模式直接暴露哪些行是真实行。在九个随机种子上，每次运行的 4,096 个帧都被准确区分出真实行，行级一致率为 1.000。基于该结构信号的内容探测相对常量基线多恢复约每百 token 一个 token，提升 +0.65 至 +1.50 个百分点，而打乱标签的对照未恢复任何信息。在通过前向隐私门与质量门的四层浅分割配置上，联合视图仍突破预设的 +1.0 个百分点门限。

研究者对两节点 split-LLM 训练系统做安全案例研究，发现被评估为通过隐私门的前向通道之外，返回的输出梯度存在未被测试的泄露通道。可信本地节点持有私有损失并回传输出梯度，由于损失在 decoy 行之前截断，decoy 行的梯度恒为零，零支撑模式直接暴露哪些行是真实行。在九个随机种子上，每次运行的 4,096 个帧都被准确区分出真实行，行级一致率为 1.000。基于该结构信号的内容探测相对常量基线多恢复约每百 token 一个 token，提升 +0.65 至 +1.50 个百分点，而打乱标签的对照未恢复任何信息。在通过前向隐私门与质量门的四层浅分割配置上，联合视图仍突破预设的 +1.0 个百分点门限。

推荐理由论文给出一种被前向隐私门漏掉的梯度通道泄露，并附可复现的校准协议与缓解成本，适合做隐私评测的团队参考。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    拆分训练中评估工具未覆盖反向传播信道，导致未受保护的梯度完全泄露真实数据与诱饵行划分。

    论文试图解决双节点拆分学习系统在隐私评估中遗漏反向信道而导致隐蔽隐私失效的问题。

    • 拆分学习场景与重要性：拆分学习允许数据持有者在不发送原始数据的前提下租用不受信任的云节点计算资源；可信本地节点（TLN）发送前向激活并持有私有损失，不受信任的云节点（UCN）计算中间层并由 TLN 返回输出梯度。系统隐私声称依赖于评估工具的完备性。
    • 现有评估的盲区：被审计系统的原始评估仅在前向传输信道上设置隐私门控并顺利通过，但从未将承载输出梯度的反向传输信道纳入隐私评估攻击面，导致反向信道处于完全未受保护状态。
    • 核心观察与缺陷机制：在系统实现中，私有损失函数直接截断并忽略了混入帧中的 48 个诱饵行，导致返回给 UCN 的梯度中诱饵行取值精确为零；这种零支撑特性构成了实现与系统设计缺陷。
    • 论文的解决方案：作者提出了包含已知强度泄漏注入校准、打乱标签负对照与预设决策阈值的审计协议，形式化枚举了全部对抗信道，并验证了零支撑梯度泄漏机制及联合视图下的内容推断。
    • 威胁模型：
      • 攻击者目标：区分前向帧中的真实数据行与诱饵行，并从中推断私有训练 token 内容。
      • 攻击者知识：完全受损的远程节点，拥有 UCN 侧的完全白盒访问权，知晓自身模型结构和状态更新。
      • 攻击者能力：可读取 UCN 本地见到的每条消息（包括前向激活帧与未裁剪未加噪的反向梯度）、状态更新以及跨步观察。
      • 受害系统：基于 Qwen3-0.6B 的双节点拆分训练系统，TLN 持有嵌入与私有损失，UCN 托管中间 Transformer 层，前向采用 D=64 瓶颈、逐请求规范随机化与噪声防御。

  2. 有哪些相关研究？

    论文对比了拆分学习双向攻防、差分隐私审计协议与无校准对照的外部拆分评估研究。

    论文在相关研究中重点讨论了拆分学习攻防、差分隐私审计以及现有拆分评测体系：

    • 拆分学习攻击与双向信道

      • Pasquini 等人（2021）与 Li 等人（2022）：分别研究了拆分学习中的推理攻击与标签泄漏问题；Chen 等人（2024，BiSR）提出了针对拆分微调的双向增强重构攻击，证明了反向信道的重构风险。
      • Erdogan 等人（2022，UnSplit）与 Gao 等人（2023，PCAT）：分别展示了数据无关的模型逆向攻击与伪客户端中间训练状态泄漏；作者指出双向威胁模型与多攻击拆分评估在文献中已有建立。
      • 文本梯度逆向研究：Deng 等人（2021，TAG）、Balunovic 等人（2022，LAMP）、Gupta 等人（2022）与 Petrov 等人（2024，DAGER）探索了从梯度中恢复文本，但针对的是全参数梯度而非拆分边界处的截断梯度。

    • 差分隐私审计与校准规程

      • Carlini 等人（2019）与 Jagielski 等人（2020）：引入了植入机密暴露测试与基于攻击的经验差分隐私审计；Nasr 等人（2023）与 Steinke 等人（2023）进一步发展了单次运行和严格的经验隐私审计。
      • Pillutla 等人（2023）与 Carlini 等人（2022）：在审计中引入了明确的原假设、决策规则以及校准参考分布；作者称本文将这些审计规范适配至信道级拆分协议评估中。

    • 拆分学习防御与相邻系统

      • Liu 等人（2025，DualGuard）：提出了用于拆分微调双向防御的参数空间变换方法；Gu 等人（2026）研究了拆分大模型中的双向数据泄漏与防御。
      • 拆分基准平台：Singh 等人（2024，SIMBA）与 Gu 等人（2025，VFLAIR-LLM）提供了模块化拆分评测框架，其中 VFLAIR-LLM 包含 5 种攻击与 9 种防御。
      • 推理混淆与硬件方案：Lin 等人（2026，AloePri）、Belikov 与 Fedotov（2026，GELO）、Zheng 等人（2024，PermLLM）聚焦于仅前向的推理混淆，未涉及训练梯度信道；TEE 与 MPC 方案则依赖硬件或密码学假设。

    • 对比基线与基准设置：论文在针对被测系统的审计中，对比了始终预测最常见 token 的常数基线、打乱标签负对照、未防御的裸边界对照，并在 WikiText-2 基准上评估。

    • 与现有工作的定位区别：作者称本文并非提出全新通用方法论，而是针对具体系统的安全案例研究；作者指出 BiSR、DualGuard 与 Gu 等人的评测均未同时结合注入校准、打乱标签负对照和预先声明的门控阈值。

  3. 论文如何解决这个问题？

    通过枚举攻击信道、注入校准指标、预设决策门控，并利用零支撑梯度精确剥离诱饵行。

    论文通过建立信道显式枚举与校准审计协议，诊断反向梯度零支撑缺陷，并设计梯度裁剪加噪机制进行修复。

    协议设定与信道枚举

    系统将两节点拆分训练分解为三个步骤：TLN 发送受保护的前向激活帧（步骤 1），UCN 运行代理层并返回输出（步骤 2），TLN 基于私有损失计算输出梯度并返回给 UCN（步骤 3）。作者强调评估必须在测试前枚举全部对抗观察信道：

    • 声明信道：涵盖前向、梯度、联合视图、累积历史、有状态远程状态、时间元数据、主动扰动、成员属性与响应端共 9 个信道家族（Table 3）。
    • 信道状态：仅前向、仅梯度和联合视图被测量；其余信道因缺乏阳性对照或适用指标被声明为未测量。

    零支撑梯度泄漏机制

    防御机制将 32 个真实数据行与 48 个诱饵行混合为 80 行前向帧，并施加旋转与高斯扰动。

    • 机制成因：由于 TLN 端的私有损失在计算时截断并排除了诱饵行，导致返回给 UCN 的 80 行反向梯度中，诱饵行对应的梯度精确为零。
    • 结构推断：UCN 仅需检查梯度的非零支撑即可实现 100% 准确率的真实/诱饵行二分类，完全瓦解诱饵行提供的匿名保护集合。

    审计指标校准与门控统计量

    论文通过已知强度注入校准探针敏感度，避免评估工具出现假阴性。

    • 配对效应：定义单个评估帧 f 上攻击探针对比常数基线的准确率增益为配对差异：

    Δf(q) = accf(q) − accf(constant baseline) 该基线始终预测评估集中出现频率最高的单一 token（基准准确率约 5%–6%）。

    • 门控统计量：采用 9 个预设探针臂的最大 Bonferroni-Wilson 95% 置信上限超出量作为历史门控统计量：

    G = maxj ∈ 𝒥 U0.95Bonf(p̂j) − p̂const 若 G > +1.0 pp 则判定为隐私门控失败；配对效应须显著高于打乱标签负对照 N。

    防御缓解设计

    针对反向梯度零支撑缺陷，论文在输出梯度返回 UCN 前引入逐行梯度裁剪与高斯加噪：

    • 参数设置：将返回梯度的每行 L2 范数裁剪至阈值 C=0.01，并添加高斯噪声 σ = 0.35 C。
    • 目标效果：使所有 80 行梯度均具有非零连续分布，消除全零模式，使支持度泄漏帧数归零。

  4. 论文做了哪些实验？

    反向梯度在全部 4,096 帧完全暴露诱饵行，联合视图突破门控，裁剪加噪以微小代价消除泄漏。

    论文通过多组定量实验评估了反向梯度的结构泄漏、高频 token 恢复能力以及缓解措施的有效性。

    实验设置

    • 被测模型：主实验采用 Qwen3-0.6B（附录 C 中将 35B-A3B 作为容量检查模型）。
    • 数据集与划分：WikiText-2（包含私有切片以及作为鲁棒性检查的公共切片，采用连续固定宽度块切分，非文档级切分）。
    • 对比基线：预测最高频 token 的常数基线（准确率约 5.27%–5.29%）；打乱标签负对照；未防御的裸边界对照。
    • 评估指标：token_top1、rare_token_top1、token_cross_entropy、membership_auc、门控统计量 G、配对效应（真实臂 A 与负对照 N）。
    • 评审方式：9 臂预设探针（坐标加不变量、纯不变量、不变量图；3 种架构 × 3 次重启，训练 20 轮，批大小 512）；历史门控阈值 G > +1.0 pp 判定为失败；效用门控为测试集交叉熵增加量不超过 0.35 nats。
    • 样本量与重复：主配置与复现组每运行捕获 4,096 帧（2,048 探针训练 + 2,048 评估）；缓解组每运行捕获 1,024 帧（512 探针训练 + 512 评估）；包含 42–47 探索性种子、48–50 复现种子、51–53 缓解种子。

    主结果

    在主配置（11 个委派层，WikiText-2 私有切片）下，反向梯度零支撑匹配与探针配对效应如下表所示：

    表格较宽，可左右滑动

    实验单元（种子）梯度臂配对效应 (pp)前向臂配对效应 (pp)负对照效应 (pp)真实/诱饵行精确匹配帧数判定结果
    Seed 42+1.1923+0.5516-0.00694,096 / 4,096detected
    Seed 44+0.6929+0.6918+0.04794,096 / 4,096detected
    Seed 48 (固定协议)+0.6456+0.5023-0.05714,096 / 4,096detected
    Seed 49 (固定协议)+1.5008+0.8721+0.02324,096 / 4,096detected
    Seed 50 (固定协议)+0.9929+0.6326+0.06504,096 / 4,096detected
    探索组均值 (Seeds 42–47)+0.8541+0.7082|·| ≤ 0.084,096 / 4,096—

    注：据 Table 8。表中展示了探索性种子与复现种子的代表性结果（包括最低效应种子 48 与最高效应种子 49），省略了探索性种子 43（+0.6893）、45（+0.8435）、46（+0.9361）和 47（+0.7705）。所有 9 个提交种子在零支撑匹配上均为 4,096/4,096。

    • 结构元数据完全泄露：作者称未受保护的反向梯度在所有 9 个种子的全部 4,096 帧中精确复现了真实行与诱饵行的划分，行级一致性达到 1.000。
    • 高频 token 配对效应检出：作者报告梯度臂在所有种子上的配对效应均被检出（A 在 +0.65 至 +1.50 pp 之间），9 个打包代码种子的随机效应合并均值为 +0.92 pp（95% 区间 [0.74, 1.09]），负对照均处于基线底线。
    • 内容主要来自前向帧：作者指出梯度臂相比于已知划分的前向臂优势极小（5 个探索性种子中最多仅高出 +0.18 pp），说明反向梯度主要提供了解析前向帧所需的结构划分，而非额外的内容信号。

    浅层切分与联合视图突破实验

    作者在满足效用预算的 4 层委派配置（Seeds 51–53）上测试了前向与反向梯度的联合视图（Table 9）：

    • 测试内容：连接前向帧与反向梯度张量构成联合输入，在私有和公共 WikiText-2 切片上测试门控。
    • 定量结果：在全部 6 个防御开放梯度单元上，前向门控均通过（+0.385 至 +0.767 pp），效用增加量在 +0.054 至 +0.092 nats（均低于 0.35 阈值），但联合臂门控统计量在私有切片上达到 +1.765 至 +2.180 pp，在公共切片上达到 +1.435 至 +1.632 pp，全部突破 +1.0 pp 门控。
    • 作者解读：作者称这表明隐私失效并非仅存在于放弃效用的配置中；在具备实用效用的浅层切分部署下，联合视图依然稳定打破安全门控。

    缓解措施与跨张量分析实验

    作者评测了梯度裁剪加噪以及跨张量消除攻击（Table 9, Table 11）：

    • 测试内容：实施逐行梯度裁剪（C=0.01）和高斯加噪（σ=0.35C），以及测试消除旋转的跨 Gram 乘积特征 X G^T。
    • 定量结果：缓解后 3 个种子的支持度泄漏全部降为 0/1,024（行级一致性降为基准比率 0.400），联合臂门控统计量降至 +0.476 至 +0.481 pp，留出集交叉熵增加约 0.01 nats；跨 Gram 特征在防御和未防御配置下的配对效应均位于底线（-0.29 至 +0.46 pp 与 -0.78 至 -0.22 pp）。
    • 作者解读：作者称梯度加噪以极小效用代价关闭了零支撑信号；联合视图的恢复优势源于拼接梯度块的内容本身，而非跨张量旋转消除项。

    其他消融与分析

    • 委派深度分析（Seed 42, 2k 步）：12 层委派配对效应为 +0.4796 pp（检出），8 层委派为 -0.4314 pp，6 层委派为 -0.2131 pp（均位于底线）（Table 10）。
    • 隐藏宽度分析（Seed 42, 10k 步）：D=64 为 +0.9302 pp（40k步），D=96 为 +0.8635 pp（检出），D=128 为 -0.4823 pp（位于底线）（Table 10）。
    • 训练暴露预算（Seed 42）：从 40k 步增加到 100k 步（2.5倍），梯度臂配对效应由 +0.9302 pp 变为 +0.9066 pp，未见放大（Table 10）。
    • 外部匹配攻击评测（Seed 42）：向量匹配准确率为 0.03%（基线 5.92%），最近邻签名准确率为 1.56%（基线 5.92%）（Table 17）。
    • 秘密泄露比例分析：泄露 10%–20% 规范秘密或 1%–20% 已知明文时，探针准确率均位于基线以下（-7.8 至 -3.8 pp）（Table 16）。

  5. 有什么可以进一步探索的点？

    作者指出了 5 类未测量信道与未覆盖全序列重构等局限，评测范围集中于单一模型与语料。

    作者指出的局限与后续方向

    • 五类对抗信道未测量：Section 8 指出，成员/属性 AUC（需随机化成员分配）、响应端恢复（无响应端捕获）、时间元数据（无可适用指标）、有状态远程状态以及累积历史这五类对抗信道被声明为未测量且未覆盖。
    • 主动扰动未在大规模下执行：Section 8 指出，主动扰动攻击虽然具备可适用的校准指标，但未在缓解运行的规模下执行评测。
    • 缓解实验未覆盖收敛规模：Section 8 指出，能够同时通过效用门控与安全门控的浅层切分缓解运行仅在 0.6B 模型上进行了 2,000 步诊断性训练，收敛规模的证据仍在研究范围之外。
    • 未覆盖全序列与罕见 token 重构：Section 8 指出，在实现的发射器下梯度臂上的罕见 token 恢复率为零，且 TAG、LAMP、FILM、DAGER 等序列重构方法未适配到切分边界截断梯度这一对象，研究仅确立了高频 token 辨别与划分分类，未实现保留文本重构。
    • 语料切分依赖于顺序块而非文档独立性：Section 8 与附录 A.3.1 指出，留出集交叉熵是在单一扁平语料流的连续固定宽度块上测量的，而非预先声明的文档级切分，依赖文档独立性的结论不在研究范围内。
    • 针对累积历史的载荷级攻击未执行：附录 A.1.1 指出，验证日志虽记录了 30,000 帧完整数据，但针对累积历史的载荷级攻击仍未执行；此外附录 A.2.3 记录的内部重实现评分器未提交，无法在代码库中重新执行。

    实验覆盖范围

    • 被测模型：主实验覆盖 Qwen3-0.6B，附录 C 包含 35B-A3B 作为前向防御容量检查，共 2 个模型。
    • 评测数据集：覆盖 WikiText-2 数据集（包含私有切片与作为诊断检查的公共切片）。
    • 实验样本量与种子：主配置与复现实验覆盖 9 个独立随机种子（42–50），每种子评估 4,096 帧；缓解实验覆盖 3 个独立随机种子（51–53），每种子评估 1,024 帧。
    • 参数消融覆盖：在单一随机种子（Seed 42）上测试了委派深度（6、8、11、12 层）、隐藏维度宽度（D=64、96、128）与训练预算（40k 步与 100k 步）。
    • 未报告信息：论文未报告针对其他模型家族或多语言数据的泛化表现，未报告自适应攻击者操纵历史状态的实际重构率，未报告独立于作者团队的第三方复现评分器。

  6. 总结一下论文的主要内容

    论文揭示拆分训练中反向梯度零支撑完全暴露诱饵行，联合视图突破门控，裁剪加噪可有效缓解。

    这是一项关于双节点大语言模型拆分训练系统的系统安全案例研究，揭示了评估工具遗漏反向信道所导致的静默隐私失效。

    • 核心问题：拆分训练中可信本地节点（TLN）仅对前向激活信道进行加噪和诱饵行混淆并通过了隐私门控，却将承载私有损失梯度的反向传输信道排除在评估之外。
    • 缺陷机制：由于 TLN 的私有损失计算截断排除了 48 个诱饵行，导致返回给云端（UCN）的反向梯度中诱饵行取值恒为零；攻击者无需训练即可通过零支撑模式完全区分真实行与诱饵行。
    • 实验证据：在 Qwen3-0.6B 模型上，零支撑匹配在全部 9 个种子的 4,096 帧中实现 100% 精确分类；在满足效用预算的 4 层委派配置下，前向与反向梯度的联合视图在两数据集 6 个单元上突破 +1.0 pp 门控（最高达 +2.180 pp）。
    • 防御修复：在反向梯度上施加每行 L2 裁剪（C=0.01）与高斯加噪（σ=0.35C），成功将支持度泄漏降为 0/1,024 帧，使联合探针回落至基线水平，代价仅约为 0.01 nats 的留出集交叉熵。
    • 作者结论与启示：作者指出隐私通过判定仅对已显式枚举并经过注入校准的信道与攻击有效；未被评估工具覆盖的信道可能隐藏确定性的结构信息泄露。
阅读原文arxiv.org