LightSplit：基于正交投影的实用隐私保护拆分学习

核心问题：split learning（SL）的切割层同时造成通信瓶颈和隐私泄露，作者要设计一个同时降低每样本传输量、不增加客户端开销、并限制服务器可重建信息的机制。

• 问题场景：SL 把 DNN 拆成客户端 head 和服务器 backbone，每步训练都要传输 d 维 smashed data 和 d 维梯度。作者给出数字：ResNet-18 在 CIFAR-10、5 客户端训练一轮产生超过 150 GB 流量（Table I）。
• 为什么重要：smashed data 是信息丰富的中间表示，honest-but-curious 服务器可借此重建输入（如 SDAR 攻击），作者称这破坏了 SL 的隐私前提。
• 现有方法不足（按论文说法）：隐私防御（NoPeek、Shredder、DISCO）扰动激活但不压缩；压缩方法各有缺陷——top-k 暴露每样本最活跃位置，learned codecs 需在客户端加可训练编码器和外部预训练，batch-wise 压缩不降低每样本载荷；密码学机制开销高出数个数量级。
• 核心观察：基于 Johnson-Lindenstrauss 引理的固定正交随机投影既压缩维度，又作为信息瓶颈不可逆地丢弃正交补空间的信息；配合类内压缩正则，可让表示更像类原型而非个体描述符。
• 威胁模型：
  • 攻击者目标：重建客户端私有输入样本。
  • 知识：服务器知道投影矩阵 R（公开）、自身 backbone 参数、收到的压缩激活 z̃ 和返回梯度。
  • 能力：honest-but-curious（semi-honest），忠实执行协议但被动推断；论文另以主动攻击 FSHA 做压力测试。
  • 受害系统：U-shaped SL，客户端持有 head 和 tail，标签不出客户端。

切割层隐私攻击

• 被动重建：DLG/iDLG/Inverting Gradients 从梯度恢复数据；UnSplit（2022）交替优化克隆编码器和候选输入，无需辅助数据；PCAT（2023）去掉架构假设；FORA（2024）在公开数据上训练替代编码器；SDAR（2025）是当前 SOTA 被动攻击，训练模拟器并利用 backbone 的记忆效应，重建质量可比主动攻击 FSHA。
• 主动重建与检测：FSHA（2021）通过操纵梯度劫持客户端编码器；论文称此类协议偏离可被 SplitGuard（2022）等检测，因此被动重建是主要实际威胁。
• 标签泄露：切割层梯度可泄露标签（Li et al., 2022），相似度聚类可做标签推断（Liu et al., 2024）；论文明确将标签泄露排除在范围外。

现有防御

• 表示扰动：NoPeek（2020）用距离相关惩罚降低输入-激活相关性；Shredder（2020）注入学习到的加性噪声；DISCO（2021）学习剪枝滤波器混淆敏感通道；patch shuffling（2022）打乱 ViT 空间块。论文指出这些都不降低通信量，且自适应攻击者可从防御后的表示学习隐私特征。
• 密码学机制：FedVS（2023）用秘密共享提供信息论保密；CryptoNets（2016）用同态加密处理密文，论文称其计算开销高出数个数量级、不适合边缘部署。
• Censor（2025）：让客户端采样多个候选更新再选择；论文指出这在 SL 不可行，因为评估质量需要服务器参与，会泄露投影选项。

切割层通信压缩

• top-k 稀疏化（2023）及 mask-encoded 变体（2024）传输最大激活及其位置，论文指出其暴露每样本最活跃位置。
• learned codecs（BottleNet++ 2020、FrankenSplit 2024）在切割层训练编解码对，给客户端增加可训练参数和前向开销。
• SplitFC（2025）丢弃低方差特征并量化；C3-SL（2022）用循环卷积叠加一批特征，减少每轮传输次数但不降低每样本载荷。

分布式学习中的随机投影与本文定位

• RanPAC（2023）投影预训练特征用于持续学习；Han et al.（2024）投影本地模型参数用于个性化 FL；ProjPert（2024）投影反向梯度用于垂直 FL 标签保护。作者称据其所知没有先前工作在 SL 切割层用随机投影做每样本激活压缩。
• 基线与基准：实验对比 RAW（不压缩）、LEARNED 1×1（BottleNet 式通道瓶颈）、top-K sparse（等载荷稀疏化）和 DP（σ=0.02）；基准为 CIFAR-10/100、FashionMNIST、GTSRB、MNIST、ImageNet-1k、UCI HAR、WikiText-103。
• 作者定位：现有方法中隐私机制不压缩、压缩机制或泄露结构信息或增加客户端开销，LightSplit 用固定非训练正交投影同时解决两者。

整体思路：在 U-shaped SL 的 head-backbone 切割处，客户端用固定正交矩阵把 d 维激活投影到 k 维（k≪d）再传输，服务器用固定或学习的方式 lift-back 到 d 维后送入 backbone；投影丢弃的信息不可逆，配合 Within-Class Compaction（WCC）正则进一步抑制样本级信号。框架名为 LightSplit，分 LightSplit-F（固定 lift-back）和 LightSplit-L（学习 MLP lift-back）两种服务器模式。

问题设定与要求

• 系统模型：n 个客户端共享服务器 backbone g，各持 head f 和 tail h，切割层激活 z = f(x) ∈ R^d 是唯一传输对象；目标是用 k 维摘要替代 z。
• 三条要求：R1 防止/阻止好奇服务器的重建推断；R2 保持与不压缩基线相当的模型效用；R3 降低切割层通信维度。
• 三个挑战：共享 backbone 要求压缩协议全局一致；压缩与隐私目标相互纠缠（保留最多信息即保留攻击所用信号）；客户端资源受限，不能增加可训练组件。

客户端投影

• 每个客户端用固定正交矩阵 R ∈ R^{d×k} 投影：z̃ = R^⊤ z，压缩比 CR = d/k；R 由高斯矩阵做 thin QR 分解得到，训练前采样一次并广播，之后固定、无可训练参数。
• 对 H×W 特征图可按 b×b 分块，用同一固定 R_b 逐块投影（block-local 变体）。
• 隐私依据：x → z → z̃ 构成马尔可夫链，由数据处理不等式 I(x; z̃) ≤ I(x; z)，投影不引入新信息；但作者明确投影本身不消除泄露，残余样本级信号仍在 z̃ 中。

服务器 lift-back

• LightSplit-F：固定线性 lift-back ẑ = Rz̃ = RR^⊤ z，P = RR^\top 是到 range(R) 的正交投影，残差落在 P 的零空间、服务器不可见；梯度经 ∇_z L = R∇_z̃ L 精确回传，无可训练服务器参数。
• LightSplit-L：用可训练 MLP（Linear→BN→ReLU→Linear，隐藏宽 m）替代固定映射，与 g 联合训练；作者给出的动机是卷积 backbone 难以吸收全局线性重映射，MLP 适配器释放 g 的容量，适合 g 冻结或任务更复杂的场景。
• 两种模式客户端成本、带宽和攻击者视角完全相同，隐私性质一致。

Within-Class Compaction（WCC）

• 依据互信息链式分解 I(x;z̃) = I(y;z̃) + I(x;z̃ | y)：保留类判别项，抑制给定标签后的残余样本级信息项（作者称该项上界了重建攻击可用信息）。
• WCC 损失为批内类内散度：对每类计算投影空间质心 µ_c，惩罚 ‖z̃_i − µ_c‖²；总目标 L = L_CE + λ_WCC · L_WCC，在客户端用不出客户端的标签计算，不增加通信。
• 消融 λ_WCC ∈ {0, 10⁻³, 10⁻², 10⁻¹}，作者推荐 λ_WCC ≈ 10⁻³ 作为工作点。

训练流程与成功判定

• Algorithm 1/2 给出服务器和客户端双侧流程：客户端前向 f → 投影 → 发送 z̃；服务器 lift-back → g → 返回 u；客户端算 L_CE 和 L_WCC，回传梯度，服务器更新 g（和 ϕ），客户端更新 f、h。附录 M 给出逐步前向/反向推导，说明加 WCC 不改变切割层协议消息。
• 成功判定：效用以 top-1 测试准确率（及 GPT-2 困惑度膨胀）衡量；隐私以 SDAR、FORA、UnSplit 等攻击下的 SSIM/LPIPS/MSE/PSNR 变化衡量，攻击配置沿用各攻击原作者发布设置。

实验设置

• 被测模型：ResNet-18（CIFAR-10/100）、ResNet-50（ImageNet-1k）、MicronNet（GTSRB）、SimpleCNN（FashionMNIST）、MnistNet（MNIST/F-MNIST，UnSplit 受害模型）、MLP（UCI HAR）、GPT-2 124M/355M/774M/1.5B（WikiText-103 微调）；图像模型有 L1H/L2H 两个切割深度，head 分 per-client（PCH）与 shared（SCH）。
• 数据集：CIFAR-10/100、FashionMNIST、GTSRB、MNIST、ImageNet-1k、UCI HAR（561 维特征、6 类、官方 subject-disjoint 划分）、WikiText-103（80,000 块训练、1,500 块验证）。
• 基线：RAW（不压缩）、LEARNED 1×1（BottleNet 式通道瓶颈）、top-K sparse（等载荷）、RAW+DP 与 LightSplit-F+DP（σ=0.02）。
• 攻击：SDAR（USL/VSL，L4/L7）、FORA（pseudo 与白盒 reference decoder）、UnSplit（split-2/4）、UCI HAR 重建与主体重识别探针、FSHA 主动攻击、以及知道 R 的投影优化攻击者；攻击沿用原作者发布配置。
• 指标：效用为 top-1 准确率（∆ 相对匹配 RAW）与困惑度膨胀比；隐私为 SSIM↓、LPIPS↑、MSE↑、PSNR↓、R²↓、re-ID↓。
• 重复次数：UCI HAR 用 3 个种子；FSHA 每个重建单元多种子、每种 20 张图取均值；FORA pseudo decoder 多种子、剔除发散运行；其余表格未逐一说明种子数。

主结果

Table II（L2H-SCH，攻击单元为 LS-F、λ=0）摘要，∆ 为相对 RAW 的变化：

表格较宽，可左右滑动

方法	CR	CIFAR-10 IID	CIFAR-100 IID	SDAR SSIM	FORA LPIPS
RAW	1×	87.24	59.47	0.832	0.206
LightSplit-F/L	8×	−4.3%/−4.4%	−11.2%/−5.0%	−37.0%	+217.8%
LightSplit-F/L	16×	−6.0%/−3.2%	−12.8%/−8.2%	−44.2%	+212.8%
LightSplit-F/L	32×	−6.0%/−5.3%	−13.7%/−11.7%	−58.3%	+212.0%
LEARNED 1×1	32×	−3.8%	−16.9%	−19.9%	+165.0%
top-K sparse	32×	−4.8%	−10.9%	−31.8%	+101.5%

（据 Table II；FMNIST、GTSRB、HAR、Non-IID 均值与 UnSplit 列从略，HAR 各变体均在 94.0% 基线噪声内）

• 作者称 LightSplit 在 32× 下对 CIFAR-10、FashionMNIST、GTSRB、UCI HAR 保留至少 94% 基线准确率，CIFAR-100 为 86%，Non-IID 平均 91%。
• 作者称即使 λ=0，LightSplit 对每个图像重建攻击的隐私增益都大于两个压缩基线；top-K 在 32× 的最佳设置下减少的 SSIM 仍少于 LightSplit 在 8× 的减少量。
• 作者称 CIFAR-100 上 LS-L 挽回 LS-F 损失的约一半准确率，复杂任务需要 MLP 适配器。

被动重建攻击细节（SDAR/FORA/UnSplit，Table III、X、XIII、XIV）

• SDAR（USL L4，8×）：LS-F λ=0 使 SSIM −37.0%；λ=10⁻¹ 时 SSIM 降幅在 16× 达 −87.3%、32× 达 −105.3%（结构less 重建可得负 SSIM）；LPIPS 在 λ=10⁻¹ 升至 +83.9%。作者指出像素指标不随 λ 单调（10⁻¹ 时 SSIM 回到 −36.7%），解释为 WCC 让解码器输出类典型图像，像素指标奖励而 LPIPS 惩罚。
• FORA（8×，pseudo decoder）：LS-F LPIPS +217.8%，LEARNED 1×1 仅 +97.7%，top-K +78.9%；白盒 reference decoder 上 LS-F 的 ∆Raw 为 ×3.8（λ=0）至 ×4.9（λ=10⁻¹）。
• UnSplit（split-2，前景掩码 MSE）：LS-F 在 MNIST 各 CR 与 λ 下均为 +27%，F-MNIST +8%～+11%；作者称 UnSplit 是最弱攻击，各方法差距最小。

主动攻击、DP 组合与投影优化攻击者

• FSHA（CR 8×，Table XV）：LS-F 把重建 LPIPS 升至 RAW 的 8.4×（MNIST）/2.5×（F-MNIST），准确率不变；LEARNED 1×1 与 top-K 仅 1.2–1.5×；LS-F+WCC(λ=0.3) 达 ×18.3/×5.5；LS-F+DP 给出 MNIST 最低 SSIM 0.342。
• DP 组合（Table V）：USL 4096-d 切割，SSIM 从 RAW 0.572 降至 LS-F 0.360、DP 单独 0.181、两者组合 0.139；作者称两种防御叠加后比任一单独更隐私。DP 工作点 σ=0.02 保留约 97% 未加噪准确率。
• 知道 R 的攻击者（Table XVI）：给攻击者解析 lift-back zR^⊤ 最多只比只读 z 多 +0.032 SSIM（8×）；融合 z、返回梯度 g、zR^⊤ 的解码器不超过 lift-back 解码器；作者称 R 在 8/16/32× 丢弃 89.8/95.6/98.5% 的激活能量，保密 R 不起作用。

其他消融与分析

• 压缩比扫描（Fig. 15a）：CIFAR-10 在 512× 仍保留 89%、4096×（k=1）保留 55%；CIFAR-100 512× 时 63%、4096× 时 12%。
• ImageNet-1k（Fig. 7）：b=2 tiles 下 8× 保留 RAW top-1 的 92%、16× 85%、32× 71%。
• GPT-2（Fig. 9）：124M 困惑度膨胀 8×/32× 为 1.15×/1.36×，1.5B 降至 1.06×/1.11×。
• PCH 差距（Table VIII）：block-local 投影把 PCH 与 RAW 的差距从 10.8 点（b=8）收窄到 4.7 点（b=2）。
• 客户端数量（Table XX）：n=10→100，LS-F 在 CIFAR-10 最多降 0.67 pp、CIFAR-100 降 3.33 pp。
• 负面结果：UnSplit split-4 上 LS-F λ=10⁻¹、16×/32× 时受害模型在每次运行中坍缩到随机准确率（Table XIV 标注 †）；PCH 配置下 WCC 在各权重都损失准确率，L2H-PCH 在 λ=10⁻¹ 时降 46.9%（Table XXI）；block-local 在 8192-d 深切割处小 tile 泄露更多（b=1 达 RAW 的 71–86%）。

作者指出的局限与后续方向

• 威胁范围限于 smashed data（Sect. VI-B「Restriction to Attacks Analyzing Smashed Data」）：利用共享模型更新的白盒推断攻击是另一类威胁，LightSplit 不提供防护；共享参数设置留待未来工作。
• 无形式化隐私保证（Sect. VI-B「Formal Guarantees」）：plain LightSplit 不提供形式化保证，可与 Differential Privacy 组合获得（Sect. V-B5 已评测该组合）。
• LS-L 的可学习 lift-back 开销（Sect. VI-B「Overhead through Learnable Backlifting」）：MLP 增加服务器端参数与计算；资源受限场景可用无参数的 LS-F 替代。
• 不防御切割层其他攻击（Sect. VI「Out-of-Scope Threats」）：标签泄露攻击与梯度通道的模型投毒/后门注入不在防御范围内。
• 后门检测仅为初步观察（Sect. VI）：作者称类分离对服务器检测后门的能力影响可忽略，但对这一相关性的稳健解释需要未来工作做更全面的后门攻击评估。
• 标签泄露留待未来（Sect. VII-A）：label leakage 明确标注为 outside focus and left to future work。

实验覆盖范围

• 被测模型共 10 个配置：ResNet-18/50、MicronNet、SimpleCNN、MnistNet、MLP、GPT-2 四个尺寸（124M–1.5B），覆盖图像、表格、文本三类任务（Sect. V-A、Table IV）。
• 攻击评测包括被动重建（SDAR、FORA、UnSplit）、表格探针（重建 R²、主体 re-ID）、主动 FSHA、知道公开 R 的投影优化解码器，以及 DP 组合（Sect. V-B4、App. C）。
• 数据分布覆盖 IID 与 Non-IID（Dirichlet α=0.1/0.5），head 所有权覆盖 SCH 与 PCH，客户端数 n=10–100（Table VII、XX）。
• 重复次数：UCI HAR 3 个种子；FSHA 每单元多种子、每种 20 张图；SDAR 部分单元另跑 5 个攻击者种子；论文未报告效用主表（Table VII）每种配置的种子数。
• 论文未报告各攻击的查询次数或迭代预算的横向对比数字；运行时仅在 Raspberry Pi 4 GB 上测了每批耗时（0.189 s 无压缩 vs 0.204–0.247 s 压缩，App. K）。

一篇 split learning 隐私-效率联合防御论文，针对切割层 smashed data 的通信开销和 honest-but-curious 服务器的输入重建威胁。

• 问题：SL 每步传输 d 维激活，ResNet-18/CIFAR-10/5 客户端训练超 150 GB 流量；同时 SDAR 等被动攻击可从 smashed data 高保真重建输入。作者称现有方法只单独处理隐私或效率。
• 方法：客户端用固定正交矩阵 R（QR 分解采样、训练前广播后固定）把激活从 d 维投到 k 维；服务器用固定线性映射（LS-F）或可训练 MLP（LS-L）lift-back 到 d 维；再加 WCC 正则把同类样本在投影空间压向类质心，抑制样本级信号。R 对服务器公开，隐私来自维度丢弃而非保密。
• 效用结果：8–32× 压缩下，CIFAR-10/FashionMNIST/GTSRB/UCI HAR 保留至少 94% 基线准确率，CIFAR-100 为 86%，Non-IID 平均 91%；ImageNet-1k 8× 保留 92% top-1；GPT-2 124M 8× 困惑度膨胀 1.15×。
• 隐私结果：SDAR（USL L4）SSIM 从 RAW 0.832 降至 LS-F λ=0 的 0.524（8×），λ=10⁻¹、16× 时相对降 87.3%；FSHA 主动攻击下重建 LPIPS 升至 8.4×（MNIST）；知道 R 的优化攻击者最多只多获 +0.032 SSIM；与 DP 组合进一步降至 0.139（4096-d 切割）。
• 例外：UnSplit split-4 在 λ=10⁻¹ 时受害模型坍缩；PCH 配置下 WCC 损失准确率，作者建议 PCH 用 block-local 投影加 DP、不用 WCC。
• 作者结论：LightSplit 让攻击者最多恢复类级原型而非具体输入，且不提供形式化保证，可与 DP 组合；标签泄露、白盒推断和梯度投毒不在防御范围内。