BiShield-TEE：端侧 TEE 保护 LLM 分区中单边权重混淆的安全性分析

1. 01这篇论文试图解决什么问题？

   单侧 TEE 权重混淆的密钥可被唯一估计，作者用双侧混淆把攻击压回黑盒水平。

   端侧 TEE 分区若只在权重输出侧做单侧混淆，秘密变换可被唯一估计，保护会退到接近白盒。

   • 场景：作者称端侧部署能降低延迟，并靠本地处理增强隐私，但模型留在用户设备上，会面临白盒逆向和知识产权窃取。作者认为因此必须保护这些高价值模型。
   • 现有不足：边缘 TEE 算力和内存有限，整模在 TEE 内执行不现实。既有分区方案把重计算放到不可信加速器，只对权重右乘秘密矩阵；作者认为它们都只混淆输出侧。
   • 核心观察：若受害模型由公开预训练模型微调而来，最小二乘估计会贴近真实密钥，并继承其稀疏或低秩结构。作者把这种可唯一恢复性称为 Solution Determinacy Property（SDP）。
   • 本文提出：作者按 GroupCover 的块对角结构和 ArrowCloak 的共享掩码低秩结构分别做重构，并称这是对二者的首次成功攻击；再提出双侧框架 BiShield-TEE，把真实密钥藏进多个同样成立的候选。
   • 威胁模型：
     • 目标：使抽出的代理 Msur 效用明显低于受害模型 Mvic，把攻击者的有效能力从白盒降到黑盒。
     • 知识：知道防御机制，不能读取 TEE 内秘密；论文假定 Mvic 由公开模型 Mpre 微调而来。
     • 能力：完全控制 TEE 外的混淆模型、运行时轨迹和软件栈。重构无查询，只用 Wpre 与混淆权重；查询仅用于下游适配，预算少于训练数据的 1%。
     • 受害系统：用户控制、带 TEE 的设备；混淆模型在 GPU 上跑，密钥和恢复逻辑留在 TEE 内。

   收起这一问

2. 02有哪些相关研究？

   相关工作分端侧窃取、TEE 与分区混淆；作者把区别放在单侧方案的 SDP。

   作者把本文放在端侧模型窃取、TEE 信任根，以及只混淆输出侧的分区执行之间。

   端侧模型窃取

   • 白盒与全屏蔽黑盒：把专有模型 Mvic 部署到边缘设备会暴露于模型窃取和知识产权泄漏。无保护时，攻击者可直接抽取权重构造高保真代理；全屏蔽黑盒则参数都在 TEE 内。
   • 本文目标：作者要把攻击者的有效能力从白盒压到黑盒，从而限制代理 Msur 的效用。

   TEE 作为信任根

   • SGX：TEE 用硬件把代码和数据与宿主操作系统隔开。Intel SGX 提供加密的 enclave，并支持远程证明，以便在下发专有权重前核验推理代码完整性。
   • 用法：作者沿用先前工作，把 TEE 当作信任根，存放混淆密钥并执行轻量去混淆，把大计算放到不可信加速器。

   分区执行与单侧混淆

   • 逐向量方案：Table 1 将 SOTER（ATC’22）、ShadowNet（S&P’23）、TLG（MM’24）、TSQP（S&P’25）归为逐向量缩放或置换。作者称，从公开检查点微调时这类方案不安全；已有攻击靠列方向相似度读出密钥，但作者称对 GroupCover 与 ArrowCloak 无效。

   • 更复杂的单侧方案：GroupCover（ICML’24）在组内混合输出列；ArrowCloak（USENIX Sec’25）给所有列加共享掩码。作者指出，二者以及逐向量方案都只作用在 W 的输出侧。

   • 双侧与中间特征：AMULET（2025）也做双侧权重混淆，设计重点是减少推理时的 TEE 交互。中间特征上，作者沿用完整性校验和一次性密码本（OTP）。

   • 基线方法：白盒（完整明文）、黑盒（用预训练权重替换），以及 TLG、GroupCover、ArrowCloak。

   • 基准/数据集：CIFAR-10、CIFAR-100、Food-101；GLUE 的 SST2、QQP、QNLI、MNLI；GSM8K、IFEval。

   作者把区别放在 SDP：既有单侧方案把混淆限制在输出侧，本文针对该泄漏做重构，并用轻量双侧变换抵抗重构；与 AMULET 的差别是对方侧重减少 TEE 交互。

   收起这一问

3. 03论文如何解决这个问题？

   BiShield-TEE 对权重两侧做缩放与 Householder，使密钥恢复不再唯一。

   作者先把单侧混淆的可唯一估计性形式化为 SDP 并据此重构 GroupCover 与 ArrowCloak，再用 BiShield-TEE 同时混淆输入侧和输出侧，使密钥恢复变成不适定问题。

   单侧设定与 SDP

   • 右乘混淆：分区推理的主要外包计算是线性矩阵乘。单侧防御把 Wobf 写成 Wvic 右乘秘密可逆矩阵 T，GPU 算出混淆输出后，TEE 再用 T 的逆恢复真输出。
   • 估计式：受害模型写成公开权重加较小微调增量。最小二乘估计写成 T̂=W_pre^†W_obf，即用公开预训练权重的伪逆去拟合观察到的混淆权重。
   • 结构泄漏：作者称增量较小时，估计会贴近真实 T 并保留其结构。稠密随机 T 缺少可利用结构，但在 TEE 内施加逆变换代价过高，所以现有防御给 T 加稀疏或低秩约束，这些约束会被估计继承。
   • 与旧攻击的差别：逐向量方案的估计会集中在真实置换或缩放位置。作者称，只比列方向的已有攻击打不破 GroupCover 和 ArrowCloak，因为二者进一步打乱了列方向。

   对两种单侧方案的重构

   • GroupCover：输出列分成大小为 s 的组，组内做独立线性混合，再用行列置换隐藏组成员，整体是置换下的块对角变换。论文写默认组大小为 4。估计矩阵的每列质量集中在少数下标上，组大小可由每行或每列的主导项个数看出。
   • 分组后重建：先按最大幅度项的行下标重叠恢复分组，再把全局重建拆成各组的低维最小二乘，用余弦相似度选择候选组。附录 B 称，分组被攻破后，参数恢复误差约为黑盒设置的 s/d；s 远小于矩阵维 d。附录 C 给出归一化、分组过程和复杂度，不在此展开。
   • ArrowCloak：逐列缩放、列置换，再加一个所有列共享的掩码；掩码方向由秘密系数向量决定。该共享向量成为 Wobf 的主导方向。
   • 三步利用：用 PCA 取第一主成分作为掩码方向，把混淆矩阵投影到该方向的正交补以恢复列对应，再对每列做最小二乘，拟合缩放和残余掩码权重。Figure 5b 标注第一主成分解释方差比为 99.993%，其余为 0.0003%；作者称该方向与真实掩码的余弦相似度在所有被评估层上超过 99.99%。

   BiShield-TEE

   • 两侧变换：对权重矩阵，双侧形式写成 W_obf=T_l W_vic T_r，即输入侧与输出侧各乘一个秘密矩阵。每一侧都是对角缩放再乘 Householder 矩阵；Householder 矩阵的逆等于自身，因此逆可在 TEE 内计算。
   • 线性层：每次前向在 TEE 内重新采样一个独立的缩放加 Householder 变换，先处理输入，使左侧混淆在 GPU 上的乘法中被抵消；结果回到 TEE 后再去掉运行时变换和右侧变换。
   • 自注意力：Q、K、V 和输出投影都做双侧混淆。Figure 3 中，K 与 Q 的右侧密钥被设成互逆关系，点积里相消；softmax 前后在 TEE 内恢复并重新混淆，使 V 与输出投影的对应因子相消。
   • 开销来源：TEE 侧只做 Householder 和缩放，稠密矩阵乘放到 GPU。作者称施加 Householder 可化成两次矩阵–向量乘，且进出 TEE 的次数与单侧方案相同。

   不可区分性与配套保护

   • Ambiguous Solutions：给定混淆权重和预训练模型，在微调松弛下，一组缩放加 Householder 对在观测上不可区分。作者称真实密钥因此藏在多个同样成立的候选里。附录 D 讨论 Householder 的符号对称、两侧对角缩放的互反伸缩，以及残差容差高于真实残差时可以有一串不同的重构权重。
   • 拟合预训练权重的含义：式中的目标是贴近 Wpre，残差更小并不等于更好恢复私有微调增量。作者称，若公开检查点本身就在恢复映射的像里，零残差解会复现公开检查点。
   • 针对双侧的攻击定义：只恢复一侧、以及两侧交替拟合。联合版本固定一侧、拟合另一侧，使重构权重贴近 Wpre，迭代次数固定为 5。作者称再增加迭代只会把重构推向 Wpre，而不是 Wvic。
   • 中间特征：沿用 Freivalds 完整性校验和一次性密码本；低秩 OTP 把掩码写成两个低秩因子以降低 TEE 存储，细节在附录 H。附录 E.2 称，掩码每次前向刷新，基于查询累积中间状态得不到一致信息。

   收起这一问

4. 04论文做了哪些实验？

   GroupCover、ArrowCloak 的 Rel. Black 平均 2.44×，BiShield 自适应平均 1.00×。

   单侧方案的重构攻击把平均 Rel. Black 抬到与白盒同一量级；BiShield-TEE 在作者定义的最强自适应攻击下，平均 Rel. Black 为 1.00×。

   实验设置

   • 模型：ViT-Base、ViT-Large、GPT2-Base、Llama3.2-1B、Llama3.2-3B。受害模型由公开检查点全参数微调，取验证准确率最高的检查点。Llama 以公开基座为攻击起点，以指令微调模型为受害模型。
   • 数据与查询：视觉为 CIFAR-10、CIFAR-100、Food-101；GPT2-Base 为 SST2、QQP、QNLI、MNLI；Llama 为 GSM8K 与 IFEval。重构本身无查询。非 Llama 只重训代理的分类头，标签来自查询受害模型；Table 7 中代理集占受害训练集 0.04%–0.50%，论文写预算少于训练数据的 1%。
   • 基线：白盒是完整明文，黑盒是用预训练权重替换。单侧对照为 TLG、GroupCover、ArrowCloak。Rel. Black 是攻击准确率除以黑盒基线；接近 1× 表示回到黑盒水平。
   • 判定：分类与 GLUE 报告准确率。GSM8K 为 8-shot、strict-match；IFEval 为 0-shot，取 Prompt-Strict 与 Instruction-Strict 的平均。Llama 用 lm-evaluation-harness，且只混淆中间 Transformer 层，重构后不再重训。论文未使用 LLM 裁判。
   • 重复：准确率取五次独立运行中的最高值；论文未对准确率做统计检验。端到端延迟是预热后 10 次完整前向的均值和标准差。
   • 硬件：训练用单张 NVIDIA A800-80G、PyTorch 2.7.1、CUDA 12.8。延迟在 Intel Xeon W-1250（SGX1，物理 EPC 93.5 MiB）与 RTX 5060 Ti 上、基于 Gramine 测量。

   主结果

   下表摘自 Table 2，括号内为 Rel. Black。未列入的行是 ViT-Base 的 CIFAR-100 与 Food-101、ViT-Large 的 CIFAR-100、GPT2-Base 的 SST2、QQP、QNLI，以及 Llama3.2-1B 的 IFEVAL、Llama3.2-3B 的 GSM8K。Table 2 没有 ViT-Large / CIFAR-10。

   表格较宽，可左右滑动

   模型 / 数据	GroupCover	ArrowCloak	白盒	黑盒
   ViT-Base / CIFAR-10	98.4%（1.55×）	98.5%（1.55×）	98.1%（1.55×）	63.4%
   ViT-Large / Food-101	86.9%（1.33×）	85.9%（1.32×）	85.5%（1.31×）	65.3%
   GPT2-Base / MNLI	80.5%（1.69×）	80.4%（1.69×）	80.8%（1.69×）	47.7%
   Llama3.2-1B / GSM8K	31.8%（4.75×）	30.7%（4.58×）	35.5%（5.30×）	6.7%
   Llama3.2-3B / IFEVAL	71.7%（6.83×）	73.8%（7.03×）	73.5%（7.00×）	10.5%
   Table 2 Average	2.44×	2.44×	2.49×	1.00×

   • 作者解读：作者称 GroupCover 与 ArrowCloak 的平均比值接近白盒上界，视觉、语言理解和推理上都如此，并认为泄漏来自单侧混淆本身。摘要写超过 2.4×，Table 2 的 Average 行为 2.44×。
   • TLG：Table 2 中 TLG 的平均 Rel. Black 为 2.47×。作者称这与先前工作的结论一致。
   • 与白盒同行不完全相同：若干行的攻击准确率高于或低于同行白盒准确率。未列入上表的例子是 ViT-Base / Food-101：GroupCover 为 85.6%，白盒为 83.4%（Table 2）。Figure 4 中作者称这两种单侧方案的攻击准确率不随受保护层数下降；文本未给出各点数值。

   对 BiShield-TEE 的自适应攻击

   • 四种策略：参数替换（黑盒基线）、只恢复输入侧、只恢复输出侧，以及两侧交替拟合。作者称只恢复一侧时另一侧仍然缺失，故单侧重构不能直接攻破双侧保护。
   • Llama 与其他模型不同：Table 3 中，Llama3.2-1B 与 Llama3.2-3B 的 Input-Only、Output-Only 在 GSM8K 和 IFEval 均为 0.0%；作者称代理无法产生连贯输出。ViT 与 GPT2 不是这个数：ViT-Base / CIFAR-10 的 Input-Only 为 10.7%、Output-Only 为 14.8%；GPT2-Base / SST2 的 Input-Only 为 56.2%，参数替换为 63.0%。
   • Table 4 的比较方式：BiShield 取各自适应策略的最高攻击准确率，单侧方案取 Table 2 中的最低攻击准确率。即便如此，平均 Rel. Black 为 1.00×，Prior Best 为 2.42×。不是每一行都是 1.00×：Llama3.2-1B / GSM8K 为 1.04%（7.0% 对黑盒 6.7%），Llama3.2-3B / GSM8K 为 1.01×（28.0%）。Llama3.2-3B / IFEVAL 的联合攻击为 9.4%，低于参数替换 10.5%。

   授权效用与端到端延迟

   • 授权输出：Table 5 中，五个模型全部列出的数据集上，Obfuscated 与 Original 逐项相同，例如 Llama3.2-3B 的 GSM8K 与 IFEVAL 均为 64.4% 与 73.5%。作者称 TEE 中的逆变换恢复了原始输出。
   • 延迟：Table 9 的输入为 ViT batch 1、序列长度 197，GPT2-Base 与两个 Llama 为 batch 2、序列长度 64。作者称 BiShield-TEE 在五个模型上延迟最低；正文写平均快 1.70× 与 1.46×，Table 6 的 Mean Ratio 同为这两个数。Llama3.2-3B 上三者为 9848.23±74.23、8441.53±32.54、5148.10±7.22 ms。
   • 密钥占用：Table 10 是 TEE 内变换密钥占用，不是 enclave 总内存。作者称五个模型平均比 ArrowCloak 小 19.0%，比 GroupCover 小 45.5%。

   其他消融与分析

   • 微调幅度：Appendix F 在 ViT-Base / CIFAR-100 上把微调增量乘以 α。作者称 α≤2 时攻击仍贴近受害模型自身准确率；α=1.8 与 2.0 时 CKA 约 0.5–0.6；α=2 时受害准确率低于 82%；α≥2.5 时低于 70%，作者认为此时模型不会被部署。
   • 去掉对角缩放：Table 11 只留双侧 Householder 时，平均 Rel. Black 为 1.34×，最高 2.37×（Llama3.2-3B / IFEval）；完整设计平均 1.00×。作者称 Householder 带来密钥歧义，但高维下权重位移可以仍然较小；对角缩放用于加大错误密钥下的重构误差。
   • 诊断图：Figure 5a 中，作者称预处理后的估计矩阵主导项集中在块对角区域。Figure 5b 的 99.993% 与超过 99.99% 见上文。
   • 迭代与学习式恢复：联合恢复迭代固定为 5；作者称更多迭代只会把重构推向 Wpre。作者还称学习式恢复缺少可用初始化，且密钥不可区分，梯度优化可能停在远离真实密钥的解（Appendix E.2）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称真机只测了 Intel SGX，且不支持量化，也未分析 TEE 侧信道。

   作者在 Section 7 写明真机只测了 Intel SGX，当前设计不支持量化推理，也未把 TEE 侧信道纳入分析。

   作者指出的局限与后续方向

   • TEE 种类：真机评测限于 Intel SGX；Arm TrustZone 等其他 TEE 仍待测试（Section 7）。
   • 量化：当前设计不支持量化推理，因为 INT8/INT4 的缩放、截断和舍入可能破坏用于恢复输出的代数关系（Section 7）。
   • 侧信道：分析未考虑针对 TEE 的侧信道攻击（Section 7）。
   • 模型更新：端侧微调与联邦学习中的模型更新可能带来额外隐私风险，留待后续研究（Section 7）。

   实验覆盖范围

   • 模型与任务：被测模型为 ViT-Base、ViT-Large、GPT2-Base、Llama3.2-1B、Llama3.2-3B，共 5 个（Section 6.1）。Table 2 的任务为 CIFAR-10、CIFAR-100、Food-101、SST2、QQP、QNLI、MNLI、GSM8K、IFEval；其中没有 ViT-Large / CIFAR-10。
   • 对照与攻击策略：单侧对照为 TLG、GroupCover、ArrowCloak；对 BiShield-TEE 的策略为 Input-Only、Output-Only、Joint I&O 和参数替换（Table 2、Table 3）。
   • 测量协议：准确率取五次独立运行的最高值；延迟在 SGX1 工作站上预热后重复 10 次（清单说明、Appendix E.5、Table 6）。输入配置见 Table 9。
   • Llama 与查询：Llama 只混淆中间 Transformer 层，重构后直接用 lm-evaluation-harness 评测（Appendix E.1、E.2）。论文写查询预算少于训练数据的 1%，Table 7 列出各非 Llama 数据集的代理集比例。
   • GPU TEE：Section 7 称现有 GPU TEE 面向 NVIDIA H100 等服务器平台，或需要固件修改，与商品边缘 GPU 不兼容；BiShield-TEE 因此采用不依赖 GPU TEE 的算法设计。微调幅度扫描只在 ViT-Base / CIFAR-100 上改变 α（Appendix F）。

   收起这一问

6. 06总结一下论文的主要内容

   单侧混淆因 SDP 可被重构；BiShield-TEE 把平均 Rel. Black 从 2.44× 压到 1.00×。

   这项工作同时重构两种单侧 TEE 权重混淆，并用双侧方案 BiShield-TEE 把攻击压回全屏蔽黑盒水平。

   • 问题：端侧分区推理把线性层放到 TEE 外 GPU，只用输出侧的秘密变换保护权重。若受害模型由公开检查点微调而来，该变换可被最小二乘唯一估计，作者称之为 SDP。
   • 攻击：GroupCover 的估计保留块对角分组，ArrowCloak 的共享掩码成为混淆矩阵的主导主成分。作者称这是对这两种方案的首次成功攻击。重构阶段无查询；非 Llama 模型还用少于训练数据 1% 的查询重训分类头。
   • 防御：BiShield-TEE 在输入侧和输出侧都做对角缩放加 Householder，并在自注意力里让部分右侧密钥相消。作者称由此得到多个同样成立的候选，只拟合公开权重不能可靠找出私有微调增量。
   • 单侧结果：Table 2 中 GroupCover 与 ArrowCloak 的平均 Rel. Black 均为 2.44×，白盒平均为 2.49×；摘要与结论写超过 2.4×。比值随任务差得很多，Llama3.2-3B / IFEVAL 上 ArrowCloak 为 7.03×。
   • 双侧与开销：Table 4 在对 BiShield 取各行最高自适应攻击、对单侧方案取各行最低攻击准确率时，平均 Rel. Black 为 1.00×；Llama3.2-1B / GSM8K 为 1.04×，Llama3.2-3B / GSM8K 为 1.01×。Table 5 中授权准确率与未混淆模型逐项相同。Table 6 中相对 GroupCover、ArrowCloak 的平均延迟比为 1.70× 与 1.46×。
   • 作者结论：作者认为单侧防御会退到接近白盒，双侧混淆把攻击限制在黑盒基线，并在真机上降低推理延迟。Section 7 同时写明只测了 Intel SGX、不支持量化推理、未分析 TEE 侧信道。

   收起这一问

相关论文