研究揭示基于混淆的端侧 LLM 保护方案的安全边界

现有TEE卸载混淆缺少可组合的安全边界，作者问这些启发式方案的共同代数结构能防到哪里。

• 场景：作者称端侧LLM把权重放在设备上会带来模型窃取与隐私风险；TEE（如Intel SGX、Arm TrustZone）在不可信OS下隔离执行，但安全内存和吞吐不足以承载完整LLM推理。
• 现有做法的不足：TSLP把LayerNorm、Softmax等轻量非线性留在TEE，把矩阵乘卸载到不可信REE，并用列置换、列缩放、加性掩码或低秩掩码混淆权重。作者称这些方案多为启发式，往往只排除少量明显求逆就宣称安全；已有攻击也是针对特定结构的特设攻击。
• 核心观察：作者认为列置换与列缩放不混合列、稀疏掩码只改极少元素、低秩掩码只占低维子空间，因此受害权重Wvic的列方向在这些原语的任意复合下仍会泄漏。
• 本文提出：把混淆形式化为满足正确性、TEE侧高效与抗模型抽取的原语对(O, R)，用典范复合Oprior刻画Bprior的安全边界；提出原语引导攻击Collapse；再加入两种新原语得到Oext，把边界向外扩。
• 威胁模型：
  • 目标：不追求逐参数白盒恢复Mvic，而是构造架构相同、下游表现与Mvic可比的高效用替代模型Msur。分类任务上，若Acc(M̂)≥Acc(Mvic)−δ且δ=0.05，攻击即成功。
  • 知识与身份：honest-but-curious。协议正确执行，恢复映射满足R(XWe)=XW；攻击者是设备拥有者。
  • 能力：完全控制设备；记录每次跨TEE–REE边界的张量及REE侧派生张量，在密钥刷新下得到T个不同暴露视图{We_t}；用模型指纹识别公开骨干Mpre；查询部署模型，收集通常不超过原训练集1%的标注数据做微调。
  • 范围外：针对TEE的硬件侧信道与瞬态执行攻击不在范围内；支持机密计算的REE（如NVIDIA Hopper、Blackwell GPU）不在范围内。防御方按既有做法动态刷新混淆密钥。

• 端侧部署与TEE限制：作者讨论端侧LLM部署以降低时延并保留用户数据，以及Intel SGX、Arm TrustZone在不可信OS下提供隔离，但安全内存与吞吐不足以单独承载完整LLM推理。
• TSLP混淆方案：作者把代表性方案的矩阵级权重变换归到Bprior={P_S, P_L, P_Π, P_D}。
  • 稀疏加性掩码：NNSplitter（ICML’23）与Magnitude（TDSC’21）使用静态稀疏掩码，nnz远小于n²；Magnitude中nnz(S)≈0.01n²。
  • 低秩加性掩码：LoRO（NeurIPS’25）对每层使用动态低秩掩码，rank远小于n。
  • 列向乘法：TransLinkGuard（MM’24）用静态列置换，相邻层置换不同；Soter（ATC’22）用动态列缩放；TSQP（S&P’25）用静态缩放。ArrowCloak（Security’25）动态复合低秩掩码、置换与缩放。
• 特设攻击：Zhang等针对加性掩码方案；ArrowMatch针对列置换与列缩放方案。作者称这些攻击各自针对一类混淆，而不是统一原语上的方法。
• 基线与基准：对照对象是Table 2中的既有TSLP实例（含ArrowCloak、TSQP、LoRO）以及经验黑盒参照。实验模型包括BERT-Base、ViT-Base、Qwen2.5-0.5B、Qwen2.5-1.5B。论文未在已读章节列出每一基准的样本条数。

作者把本文定位为：用同一组原语表示上述矩阵变换，以Oprior作为该族的安全边界，用Collapse展示共享漏洞，再用新原语把边界扩到Oext，且不声称Oext普遍安全。

作者先定义可复合的混淆原语，证明Bprior的效率保持复合都可写成Oprior，再按列方向泄漏构造Collapse，并加入两种新乘法原语得到Oext。

问题设定与原语

• 算子划分：Transformer块中Oplinear是带私有权重的线性层（QKV、输出投影、FFN上/下投影）；Opquadra是自注意力中随序列长度二次增长的token乘积；Opnon-poly是归一化、激活与残差。TEE保留后者，把前两类卸载到REE。
• 原语定义：混淆原语是算子对(O, R)，We=O(W)，且对任意X、W有R_W(X·O_W(W))=XW。另要求TEE侧代价C(O)+C(R)远小于C(XW)，并用观察预算T与标注数据预算B下的抽取博弈刻画抗抽取：替代模型在Deval上的准确率不低于受害模型减去δ。分类任务取δ=0.05。形式化博弈在附录D。
• 四类基元：加性类O(W)=W+R，R(XWe)=XWe−XR。稀疏掩码R=S，nnz≪n²，恢复代价O(m·nnz)；低秩掩码R=AB^T，秩r小，恢复为两次瘦矩阵乘，代价O(mn)。乘法类在列约定下O(W)=WT，R(XWe)=XWe T^{−1}。列置换T=Π，恢复是内存重排；列缩放T=D为非奇异对角阵，恢复是O(mn)次标量除法。稠密高斯掩码正确但TEE侧代价与原矩阵乘相当，被排除。
• 复合封闭：Theorem 1称相容原语按先混淆、逆序恢复复合后，正确性精确、TEE代价相加，且在附录E的全转录模拟条件下，复合不会比任一组件更容易抽取。效率保持族F(B)只保留TEE侧累计代价仍远小于C(XW)的复合。

安全边界 Oprior

• 典范形式：Theorem 2给出Bprior的安全边界Oprior(W; S, L, D, Π)=(W+S+L)DΠ。任意效率保持复合经对角与置换的乘法封闭、乘法穿过加性掩码、同类加性掩码合并，都可改写成该形式。
• Table 2的对应：六种方案只用单一原语，ArrowCloak同时用低秩、置换与缩放；令D=D1、L=v1_n^T D2 D1^{−1}，其变换等于(W+L)DΠ。Mode分静态单掩码与跨推理多掩码。该抽象覆盖TEE–REE边界上的权重混淆与恢复，不覆盖作者未写入表中的其他系统机制。

Collapse

• 输入与观察：对单个权重，攻击者看到T个视图We_t=(W+S+L_t)D_t Π_t。S静态，L、D、Π动态刷新。另有指纹得到的Wpre，以及规模至多原训练集1%的Dtask。三阶段之后输出Msur。Stage 1–2按权重矩阵独立进行，Stage 3在拼好的模型上做一次。
• Stage 1，相对列对齐：用线性相关检测（LDD）判断两视图的列子集是否对应同一组受害列。对大小同为k的列块，拼接矩阵C的数值秩区分完全重叠N_full=k+2r与部分重叠N_part=k+s+2r。因ρ≤2k，可分辨的缺口为s≤k−2r；文中举例k=32、r=2时可分辨s≤28。算法分播种、消歧、传播三步，恢复相对置换Π_a Π_b^{−1}，绝对Π仍未知。Phase 3主导代价，LDD调用为O(n²)。脚注称BERT-Base（n=m=768，r=2）取k=80时，单次随机块对Pr[Ovl>2r]≈93.92%。至少保留K≥4个共列序视图。
• Stage 2，低秩掩码恢复：取四个已对齐视图，写成We_t=(W+S+L_t)D_t。对两个不相交列块的列空间求交，得到两视图低秩掩码张成的2r维子空间；用SVD取正交基后，向正交补投影去掉掩码，再按列解相对尺度与掩码坐标，得到锚点序下的Ŵ+S估计。稀疏位置留到Stage 3。
• Stage 3，绝对对齐与微调：用Wpre和Dtask去掉列缩放、未知列顺序和残余稀疏误差，得到Msur。作者的理由是列方向一旦得到，只需固定方向并微调列幅度。
• 全刷新变体：附录F讨论S也随视图刷新时，Stage 1仍对齐置换；Stage 2只用估计稀疏支撑之外的元素估计相对尺度，差分后回到原Stage 2；Stage 3复用原流程。作者称该调度下攻击仍然成功。

Oext

• 新原语：稀疏乘法原语混合Mvic的列；双侧乘法原语同时扰动行与列。二者与既有原语组合为Oext，用来打乱Collapse所依赖的行、列不变量。
• 安全声明：作者写明不声称Oext普遍安全；Oext只针对现有Collapse流水线评测，没有做面向该防御的自适应改写。

实验设置

• 模型：BERT-Base、ViT-Base、Qwen2.5-0.5B、Qwen2.5-1.5B，共四个。受害模型由公开预训练Mpre在私有数据上微调得到，再以TEE–REE混淆视图部署。
• 防御实例：Table 2中的NNSplitter、Magnitude、LoRO、TransLinkGuard、Soter、TSQP、ArrowCloak，以及作者提出的Oext。静态与动态Mode按该表。
• 数据与预算：微调用查询Mvic得到的标注任务数据，规模通常不超过原训练集1%。LDD示例参数包括k=32、r=2，以及BERT-Base上k=80、n=m=768。论文已读正文未给出各数据集样本条数、重复次数和具体学习率。
• 指标：Deval上的任务准确率。分类任务成功条件为替代模型准确率不低于受害模型5个百分点（δ=0.05）。作者另用经验黑盒参照作为Oext的比较点。
• 攻击流程：Collapse的三阶段；Oext评测使用同一Collapse流水线，不做防御专用自适应。
• 评审：论文以任务准确率比较受害模型与替代模型。已读章节未写LLM评审器或人工一致性。

主结果

摘要与引言给出的是定性主结果，实验章节的逐模型表格在本次文本转换中列对齐不可核，故不填未核对数字。

设置	作者报告的结果	出处
Collapse对Oprior及其实例（含ArrowCloak、TSQP、LoRO）	作者称抽出高保真、效用可与Mvic相比的替代模型	摘要、§1
Oext对抗同一Collapse流水线	作者称替代模型准确率平均降到经验黑盒参照	摘要、§1
全组件刷新 We_t=(W+S_t+L_t)D_t Π_t	作者称三阶段攻击仍然成功	附录F

• 作者解读：列置换、列缩放、稀疏掩码和低秩掩码的复合仍泄漏列方向，因此多个顶会TSLP方案共享这一漏洞。
• Oext：作者称新原语打乱行列不变量后，Collapse不再得到高于经验黑盒参照的替代模型；该比较是平均意义上的。
• 范围：作者明确该结论只覆盖所评测的Collapse流水线，不外推为Oext对任意自适应攻击安全。

代数与检测分析

• 测了什么：LDD用拼接矩阵的数值秩区分完全重叠与部分重叠，从而恢复相对置换。
• 结果：可检测缺口满足s≤k−2r；k=32、r=2时s≤28可被ρ区分。BERT-Base、r=2、k=80时，作者给出单次随机块对Pr[Ovl>2r]≈93.92%。
• 作者解读：即使重叠很小，秩也会暴露；相对置换可在不知道绝对Π时恢复。

其他消融与分析

• 原语复合的TEE代价按组件相加，超过效率预算的复合被排除出F(B)（Theorem 1、Definition 1）。
• Stage 1至少使用K≥4个对齐视图；Stage 2用其中四个视图的子空间交剥离低秩掩码（§5.1–§5.2）。
• 稀疏掩码效率条件为nnz≪n²；Magnitude实例写nnz(S)≈0.01n²（Table 1、Table 2）。
• 低秩恢复代价为O(mn)，列缩放恢复为O(mn)次除法，列置换恢复为memcpy（Table 1）。
• 附录F把静态S改为逐视图刷新后，差分支撑外元素可把问题还原到原Stage 2。
• 稠密i.i.d.高斯掩码被作者排除，因其TEE侧代价等同于直接计算XW。

作者指出的局限与后续方向

• 不声称普遍安全：作者写明Oext只针对现有Collapse流水线评测，没有做面向该防御的专用自适应改写，因此不声称Oext普遍安全（§1）。
• 全刷新调度：附录F给出四组件全部刷新时的三阶段策略，并称攻击在该调度下仍然成功；这是攻击扩展，不是作者声称的未解决问题。
• 侧信道除外：硬件侧信道与瞬态执行攻击被列为范围外（§2.2），作者未把它写成未来工作。
• 机密计算GPU除外：支持机密计算的REE不在本文系统范围内（§2.2）。
• 论文已读的Limitations式陈述主要是上述Oext声明。其余“可以进一步”的句子若只出现在实验结果讨论中，不计入局限。

实验覆盖范围

• 被测模型为BERT-Base、ViT-Base、Qwen2.5-0.5B、Qwen2.5-1.5B，共4个（摘要、§1）。
• 防御侧覆盖Table 2的七种既有方案及Oext；Mode含static与dynamic。
• 攻击数据预算为不超过原训练集1%的标注任务数据，另加公开骨干Mpre与T个暴露视图（§2.2、Figure 2）。
• 成功判定在分类任务上使用δ=0.05（§3.1脚注）；形式化博弈在附录D，复合证明在附录E。
• 论文未在可核正文中报告逐模型准确率表的可对齐数字、查询次数、重复次数，以及评审与人工的一致性。

这篇工作用代数原语统一若干TEE卸载混淆，给出该族的典范边界，再说明该边界挡不住一种分阶段模型抽取。

• 问题：端侧LLM要在TEE算力不够时把线性层放到不可信REE。既有TSLP用稀疏掩码、低秩掩码、列置换或列缩放做混淆，论证多为“若干明显求逆失败”，攻击也按方案特设。
• 方法：有效原语必须精确恢复XW、TEE侧代价可忽略，并在预算T与不超过1%任务数据下抵抗抽取。四原语的效率保持复合都可写成Oprior=(W+S+L)DΠ。Collapse用跨视图秩检测对齐列、用四个视图的子空间交去掉低秩掩码，再用公开骨干和少量标注数据微调列幅度与残余稀疏误差。Oext增加混合列的稀疏乘法原语和同时扰动行、列的双侧乘法原语。
• 结果：作者称Collapse对ArrowCloak（Security’25）、TSQP（S&P’25）、LoRO（NeurIPS’25）等Oprior实例抽出高保真替代模型。分类成功线是替代模型比受害模型最多低5个百分点。作者称Oext把替代模型准确率平均降到经验黑盒参照。BERT-Base上，k=80、r=2时随机块对满足Ovl>2r的概率约为93.92%。附录F称四组件都刷新时，修改后的三阶段仍然成功。
• 结论：作者认为这些顶会方案共享列方向泄漏；Oext把该不变量打乱，但作者只在未自适应的Collapse上做了评测，并写明不声称普遍安全。