研究：置换式保密在混合 FHE 推理中失效，可精确恢复 ResNet-20 全部线性层

在混合FHE推理所要求的解密正确性噪声界内，输出置换加shuffle-model差分隐私不能阻止客户端精确恢复线性层的置换不变摘要。

• 场景：作者称私有推理应同时隐藏客户端输入和服务器模型。纯FHE延迟与带宽高，混合方案由服务器同态计算线性层、客户端在明文做非线性；Safhire等已在卷积和transformer骨干上采用该划分。
• 现有做法：客户端能看见中间层明文。Safhire、STIP、Centaur、PermLLM用秘密输出坐标置换，把解密噪声当作local randomizer、置换当作shuffler，并援引shuffle-model DP，主张只暴露有限模型信息。
• 核心观察：量化步长为γ时，正确解密要求加性噪声幅度低于γ/2。作者指出，正在此界内，对响应取整可消去随机性，置换只剩坐标重标号；该结论不依赖置换策略或方案上的DP参数。
• 本文做的事：形式化一类置换保护方案，给出d+1次可接受查询下排序谱的精确恢复，并论证输入DP与模型机密性正交，且shuffle放大所需的local-DP前提在该噪声界下不成立。
• 威胁模型：
  • 目标是逆向服务器模型；模型机密性游戏中则是区分排序谱多重集不同的两个挑战模型。
  • 服务器为honest-but-curious。客户端看到的是解密后的置换含噪响应，论文未把该知识写成white-box或black-box。
  • 客户端可发任意chosen inputs，无分布限制、明文校验或良构性零知识证明；系数编码下基输入{0, e1, …, ed}可被接受，并可自适应查询。
  • 受害接口是Definition 1的线性层；主要实例是Safhire逐轮混合FHE，噪声满足无穷范数小于Δ。

按引言与Section 1.1的分组：

• 模型抽取：Tramèr等人（2016）、Orekondy等人（2019）、Jagielski等人（2020）的经典抽取通常需要大量预言机查询；作者称softmax等非线性遮住了线性层。Carlini等人（2020）的密码分析攻击，正文记为在4K–100K参数MLP上使用218.5–221.5次查询。作者对比称本文每层只需d+1次，在0.27M参数ResNet-20上共5,712次，差距来自置换保护直接暴露排序后的线性层快照，并与加密数据库上的推断攻击[18]并列。抽取与指纹[15]、成员推断[21]被用来支持把识别级泄漏当作模型机密性威胁。
• 防御的不可能性：Karchmer（2023）在次指数LPN下给出多项式规模决策树的黑盒观测防御的条件不可能性；Xiao等人（2024）讨论保持可学习性的数据编码。作者称本文与二者不可比，是在Definition 1更窄通道上对排序谱的无条件精确恢复。论文描述ArrowMatch（Wang等人，2025）的经验结果：仅TEE屏蔽的权重混淆挡不住自适应客户端，未与本文做定量对比。
• 密码推理栈：SEEK（Chen与Fan，2022）从同态加密/MPC上的11.7M参数ResNet-18抽取近似权重，每参数少于50次查询、合计约5×10^8，相对误差约3×10^{-4}。作者称其杠杆是任意中间特征平移，不针对Definition 1。Chaturvedi等人（2023）与Folkerts和Tsoutsos（2025）攻击纯FHE及拆分模型FHE的LLM推理，作者称落在置换类之外。
• 置换防御与DP限度：Thomas等人（2025）用顺序token标记恢复PermLLM、STIP、Centaur中的客户端输入token；作者称这与本文对模型参数的chosen-input攻击不相交。Desfontaines与Pejó（2020）、Gawron与Stubbings（2022）、Yan等人（2022）讨论把DP用作模型保护而非训练数据保护的限度；作者称Proposition 3在混合FHE体制下量化了这一限度。

作者将本文定位为：在正确性界噪声下给出查询紧的精确恢复，说明输入DP推不出模型机密性，并在TFHE转录和ImageNet规模视觉模型上展示泄漏后果。实验未把Carlini攻击或SEEK当作同一设置下的对照基线。

作者把置换保护抽象为Definition 1，用取整再排序从d+1次选择查询恢复置换不变的层摘要，并分开处理DP论证与噪声–效用界。

方案类

• 接口：Query把x变成良构查询；Respond确定有效输入x⋆。若有隐藏输入置换则x⋆=ρ(x)，否则x⋆=x。查询空间包含{0, e1, …, ed}。
• 响应：客户端得到的量满足 ỹ=π(Wx^⋆+b)+η, ‖η‖_∞<Δ。π为秘密输出置换。量化步长γ指这些基查询对应的Wx⋆+b落在最小间距为γ的格上。
• 保留信息：第i列排序谱是该列与偏置之和的非降序排列；有序族为 L(W,b):=(s₁(W,b),…,s_d(W,b))。作者称L正是输出通道置换下仍保留的信息。
• Safhire对应：第r轮可写成x⋆为上一轮置换的逆作用在x上、π为第r轮输出置换，首轮输入置换为恒等。明文在Tp上，论文写通常p=2^b、b∈{8,12,16}，γ=1/p；正确解密要求|e|<1/(2p)。末层不置换，以便客户端直接读argmax。置换由会话种子导出，会话内固定、跨会话重随机化。

精确恢复与查询紧性

• 步骤：RTS先把响应舍入到最近的γ格点再排序。零查询得到sort(b)。对每个ei，有效输入为e_{ρ(i)}，RTS得到该列与偏置之和的排序。ρ是双射，故d次基查询给出全体列排序谱的多重集。
• 条件：Theorem 1要求γ≥2Δ，并以无穷范数噪声小于Δ为条件；在每个满足该界的噪声实现上精确，与输出置换策略、噪声分布和DP参数无关。ρ为恒等时（Safhire首轮）得到按查询列编号的L(W,b)，而不只是多重集。
• 紧性：作者称γ≥2Δ是紧的。若Δ>γ/2，存在无穷范数小于Δ的噪声，使任何确定性、取值在格上的算法都不能保证恢复（Proposition 6，附录B）。b=0时恢复列谱多重集至少要d次查询；连同Theorem 1，无偏层为d次，还需sort(b)时为d+1次。
• 首轮概率：p精度下γ=1/p、Δ=1/(2p)，故γ=2Δ。作者称标准格基FHE参数下正确性失败概率通常低于2^{-128}，在至多poly(λ)次攻击查询上，精确恢复概率为1−negl(λ)。

输入DP与shuffle前提

• 游戏：对手提交排序谱多重集不同的两个模型；挑战者均匀随机选一个并给予Respond预言机。优势Adv_mc为|2Pr[估计比特等于挑战比特]−1|。
• 正交：Proposition 2称，γ≥2Δ时存在只用d次基查询的对手使优势为1，不论Respond满足何种输入DP。输入DP约束的是固定模型下相邻输入的输出概率比。
• local-DP：Proposition 3假设每个噪声系数几乎必然落在(−B,B)且B<γ/2。若某坐标上两输入的输出相差至少γ，则该坐标机制的支撑不交，任何有限ε0的(ε0,δ0)-DP都须δ0≥1。论证只用几乎必然的支撑界，故离散RLWE噪声与有界连续替代都适用。
• 作者的推论：无界高斯不在该假设内；大到重叠相邻格点的高斯又以不可忽略概率违反|η|<γ/2。有界噪声下全变差为1，作者称由此上界全变差的散度型隐私概念在这类邻居上变为无穷或空洞。Safhire的基查询会使非零权重对应坐标产生γ的间隙。把分析限制在敏感度小于γ的邻居，在其威胁模型下不可用，因为客户端输入没有范数上界。

噪声界与多轮

• 放松噪声：Proposition 4在无穷范数噪声小于B时，取整后再排序的列与真排序谱的ℓ∞距离不超过e_B，且e_B≤B+γ/2。
• 指纹分类器：Theorem 2对有限模型族和满足式(1)的Lipschitz指纹映射，在L_ϕ·e_B小于模型间最小指纹距离的一半时，查询0与各ei的最近邻分类器在每个噪声实现上都识别正确；要打败它，需要B至少为0与“半距离除以L_ϕ再减γ/2”中的较大者。作者强调这只认证阈值以下的攻击成功，不认证阈值以上的防御安全。Remark 3的列范数指纹满足该条件，L_ϕ为md的平方根。
• 多轮：会话内上一轮置换固定，d次基查询恰好探到该层每一列一次，总预算仍为d+1。若每次请求独立重采样该置换，Proposition 5称查询数T≥d(ln d*+c)时，以至少1−e^{−c}的概率恢复全部互异排序谱，d*≤d。
• 恢复对象：每层得到L(W,b)及由其决定的置换不变量，包括仿射列范数和每列经验值分布。批归一化下常见b=0，则得到精确权重多重集、列范数和Frobenius范数。sort与减法不对易，偏置一般不能从权重中拆开；作者称这一剩余歧义不影响Section 5的应用。

实验设置

• 模型：Safhire式ResNet-20（CIFAR-10，BN折叠后21个卷积层，0.27M参数；附录A的20个检查点训练10 epoch，平均测试准确率82.8%）。效用与蒸馏另用ResNet-56。ImageNet侧为八个torchvision预训练CNN，以及ViT-B/16（IMAGENET1K_V1，37个线性层，86M参数）。另有带偏置的两层MNIST MLP。
• 实现：TFHE转录经Concrete v2.11重放，p=256。八个CNN与ViT是逐层模拟，不是端到端TFHE转录。
• 查询与指标：每层d+1次，对应0与基向量；ResNet-20预算为5,712。最大恢复误差；Atk err为平均逐列ℓ∞误差；FP为20个检查点上的指纹top-1；Pred.agr为预测一致率；Acc为逐层测试准确率。指纹距离为ℓ2。蒸馏在10个种子上报告均值±标准差。评审不是LLM，恢复靠格点取整后与真谱比较。
• 样本量：Table 3注N=200（ResNet-20）、N=300（ResNet-56）。Figure 1为ResNet-56的N=100（九个水平）与ResNet-50 Imagenette的N=20。谱系为5个基模型各3个子模型。论文未报告TFHE重放的重复次数或墙钟时间。
• 噪声：效用扫描为clipped-Gaussian，倍数相对正确性界。附录C另测zero、Gaussian、triangular、Laplace、uniform，以及η_k取±B。

主结果

Swipe horizontally to read the table

模型	设置	最大恢复误差	规模	出处
ResNet-20	TFHE，p=256，固定与fresh-perm	0	21层，每体制5,712次	Table 1
ResNet-50	逐层模拟，4/8/12-bit	0	53层，23,454,912参数	Table 2
ResNet-152	逐层模拟，4/8/12-bit	0	155层，57,992,384参数	Table 2
VGG-16	逐层模拟，4/8/12-bit	0	13层，14,710,464参数	Table 2
DenseNet-121	逐层模拟，4/8/12-bit	0	120层，6,870,208参数	Table 2
MobileNet-V2	逐层模拟，4/8/12-bit	0	52层，2,189,760参数	Table 2
EfficientNet-B0	逐层模拟，4/8/12-bit	0	81层，3,956,192参数	Table 2
ViT-B/16	p=256，37个线性层	0	86M参数	正文4.2

表中省略ResNet-101（104层，42,382,016参数）与ConvNeXt-Tiny（22层，1,877,472参数）。Table 2称八个架构的每个卷积层在三种精度下最大误差都为0。最大层形状2048×4608，论文未指明属于哪一架构。Table 1两个体制合计11,424次加密查询。

• 作者称任意置换策略下Theorem 1仍成立，包括每次查询新抽置换；Table 1的fresh-perm最大误差仍为0。Section 4.1则对每次请求独立重采样上一轮置换给出O(d log d)，两处表述并列，论文未再解释差异。
• 作者称ViT-B/16的37层是注意力Q/K/V、输出投影和MLP，并称同一线性原语使恢复无需修改即可用于包括PermLLM目标在内的语言transformer。论文未报告语言模型上的恢复数字。
• 正文4.2称随机初始化模型、六种有界噪声和带非零偏置的MLP也是零误差恢复，并指向附录C。

指纹与谱系

• 指纹：20个ResNet-20检查点的conv1列范数排序向量。正确性界下模型内距离为0，模型间最小距离Δφ_F=0.298，作者称190对都可分开。CIFAR-100上同一指纹在200 epoch后Δφ_F=0.565，190对仍都可分开。作者称Proposition 2的对手在这190对上Adv_mc=1；ρ为恒等的首轮设定下一次查询即够。
• 谱系：5个基模型在mild、moderate、aggressive下各一个子模型，对三层卷积的排序列范数拼接做ℓ2最近邻。分离比（最小基模型间距离除以最大基模型内距离）为26.7、6.0、1.59，均大于1；15/15归因正确，285个非谱系对零误报。
• ImageNet尺度：ResNet-50的V1、V2，以及在Imagenette上把V1微调两轮的V1ft。V1与V2的指纹ℓ2距离为1106.43，V1与V1ft为1.38。作者称V2与V1ft的距离与V1–V2在四位有效数字上一致，在25.5M参数骨干上谱系/非谱系距离比约800:1。

噪声–效用与蒸馏

Table 3（CIFAR-10，8-bit，clipped-Gaussian；N=200与N=300）：

Swipe horizontally to read the table

倍数	R20 FP	R20 Pred.agr	R20 Acc	R56 Pred.agr	R56 Acc
1×	20/20	100.0%	82.2%	100.0%	82.2%
10×	20/20	99.8%	82.2%	99.8%	82.2%
100×	20/20	98.3%	82.2%	98.2%	82.2%
1,000×	1/20	63.7%	59.0%	51.8%	48.9%
5,000×	1/20	10.6%	10.1%	9.6%	10.0%

• Atk err（Table 3，1×到5,000×）：ResNet-20为0、1.4×10^{-2}、1.1×10^{-1}、1.02、6.34；ResNet-56为0、1.3×10^{-2}、1.1×10^{-1}、1.01、6.34。ResNet-56无FP列。
• 作者解读：指纹在100×仍为20/20，作者称此时效用基本无损失；至少到1,000×才降到1/20，此时逐层准确率已为59.0%与48.9%。作者称ResNet-50在Imagenette、N=20上效用在30×与70×之间崩溃，比CIFAR早约一个数量级，因噪声在53层上累积。Figure 1图注写阴影带为攻击被打破但效用仍在，两条曲线都未进入该带。论文称Proxy只在最终分类器加噪并作为效用上界，Table 3未单列Proxy数字。作者称就其所知，此前没有工作在该类方案中把逐层噪声量化为针对模型机密性的防御。
• 蒸馏（Table 4，CIFAR-10，10种子；教师准确率ResNet-20为82.92%、ResNet-56为82.47%）：

Swipe horizontally to read the table

设置	Baseline	Col-norms	Full	出处
R20，q=1,000	47.21±1.21	50.09±0.94	51.11±1.06	Table 4
R20，q=2,000	56.16±1.60	59.87±0.91	60.07±0.82	Table 4
R20，q=5,000	71.58±1.67	74.66±0.50	74.12±0.97	Table 4
R56，q=2,000	53.28±1.68	55.38±1.37	54.53±1.64	Table 4
R56，q=5,000	70.99±1.45	73.50±0.92	72.53±1.10	Table 4

正文称相对仅logit的基线，学生准确率最多提高3.1个百分点。表中q=5,000时ResNet-20的Col-norms高于Full，ResNet-56上Col-norms也不低于Full。First列介于Baseline与Col-norms之间，例如ResNet-20、q=1,000为48.60±1.51，q=5,000为72.71±2.14；ResNet-56、q=2,000为53.60±1.10，q=5,000为72.46±2.07。

其他消融与分析

• 独立重采样模拟：训练ResNet-20上每层d*=d；最宽层d=576、c=3时界约5,400次；5次试验Temp/Ttheory∈[0.58, 0.87]。
• 附录C，m=1,000的准确率（ResNet-20/56）：Gaussian 59.0%/48.9%，triangular 41.3%/29.8%，Laplace 21.6%/13.6%，uniform 18.7%/12.5%，η_k∈{+B,−B}为10.0%/10.0%。m=100时worst-case为76.8%/75.6%，Gaussian仍为82.2%。零噪声下为82.3%与82.2%。作者称没有分布反转这一次序。
• 重复查询：1,000×下k=5把文中所称平均误差从0.92降到0.38。作者称加噪使查询代价按二次增长，而不是阻止恢复。该0.92与Table 3的Atk err 1.02，论文未说明是否同一量。
• Remark 3：ResNet-20的conv1，m=16、d=27、8-bit、Δφ_F≈0.298时，Theorem 2给出B≥2.7(γ/2)。作者称该认证界比Table 3中10^2–10^3(γ/2)的经验转折低两到三个数量级，且不认证阈值以上的防御安全。
• MNIST MLP：测试准确率97.7%，fc1为128×784、fc2为64×128，8-bit；每列sort(W:,i+b)不等于sort(W:,i)+sort(b)，RTS仍精确恢复前者。
• Scrambled对照：q=5,000时74.02±1.10，与Col-norms相差在一个标准差内；作者认为增益在很大程度上是结构性的，而非教师特异。

作者指出的局限与后续方向

论文没有Limitations或Future Work专节。Discussion与文首总结没有把某项结果写成待补的不足或计划中的后续实验。Section 6说明若干方案不满足Theorem 1的假设，那是定理适用范围，不是作者列出的局限。论文未专门讨论局限。

实验覆盖范围

• 端到端TFHE转录只针对Safhire式ResNet-20、Concrete v2.11、p=256、21个卷积层；固定置换与fresh-perm各5,712次查询，最大误差为0（Table 1）。论文未报告该重放的重复次数或墙钟时间。
• ImageNet恢复是逐层模拟：Table 2的八个CNN共600个卷积层，在4/8/12-bit上最大误差为0；ViT-B/16的37个线性层在p=256上最大误差为0。作者称同一原语适用于语言transformer，论文未报告语言模型上的恢复数字。
• 指纹与谱系使用20个CIFAR-10 ResNet-20检查点、CIFAR-100的200 epoch对照，以及ResNet-50的V1、V2、V1ft。蒸馏为ResNet-20与ResNet-56、查询预算1,000–5,000、10个种子（附录D）。另有MNIST两层带偏置MLP。
• 噪声扫描为逐层clipped-Gaussian（Table 3的倍数；Figure 1的N=100与N=20）以及附录C的六种有界分布。作者称这六种分布都不反转攻击误差与准确率的次序。
• Section 6写明：Safhire在所述威胁模型下满足(P)(N)(C)；STIP与Centaur违反(N)与(C)，Theorem 1不给出有意义的客户端攻击；Fission违反(P)；PermLLM的置换在序列轴而非输出通道，落在Definition 1之外。讨论列出秘密线性变换、跨不共谋服务器的函数秘密分享、全服务器端FHE三条路线，并称GAZELLE、DELPHI、CrypTFlow2属于第二条；论文未报告在这些系统上的恢复数字。

在解密正确性要求的噪声界内，输出置换不能维持混合FHE的模型机密性。

• 问题：服务器同态算线性层、客户端明文做ReLU时，中间输出可见。Safhire等用秘密输出置换，并把噪声加shuffle说成模型机密性。正确解密却要求噪声小于半个量化格步。
• 方法：在Definition 1下，零查询加d个基查询，取整再排序，得到sort(b)和列排序谱多重集；Safhire首轮没有隐藏输入置换时得到有序族L(W,b)。无偏层的查询复杂度为d，一般情形为d+1，与置换怎么抽无关。输入DP约束的是固定模型下的相邻输入；正确性界下，输出相差至少一个格步时local-DP的δ0至少为1。
• 恢复：ResNet-20的TFHE转录（p=256，21层，每体制5,712次查询）在固定置换和fresh-perm下最大误差都为0（Table 1）。八个ImageNet CNN在4/8/12-bit逐层模拟上最大误差为0（Table 2）；ViT-B/16在p=256的37个线性层上最大误差为0。
• 泄漏用途：20个ResNet-20的conv1指纹最小模型间距离为0.298，190对都可分开，Adv_mc=1。微调子模型15/15归因正确。ResNet-50上V1与V2的指纹距离为1106.43，V1与两轮微调的V1ft为1.38。
• 噪声：Table 3中100×时ResNet-20指纹仍为20/20、Acc为82.2%；1,000×时指纹为1/20、Acc为59.0%。作者称把噪声加到能压住攻击的尺度时，推理效用随之丧失，该逐层加噪族没有可用工作点；按作者的说法，每次查询刷新置换也不改变Table 1的零误差。