MOAI：面向非交互式安全 Transformer 推理的模块优化架构

核心问题：基于全同态加密（FHE）的非交互安全 Transformer 推理计算开销过大，作者称这是其实用化的主要瓶颈。

• 应用场景：Transformer 模型部署在云服务商（CSP）时，客户端需上传敏感信息，作者称存在隐私泄露担忧；FHE 允许直接在密文上推理，是保护客户端数据隐私的方案。
• 现有方案的不足（按论文说法）：交互式方案结合 FHE 与 MPC，需多方参与；NEXUS 只报告微基准汇总、未提供端到端方案，且打包格式不一致、格式转换开销未计入；THOR 实现了端到端推理但需要格式转换与额外的密文转置；Powerformer 一类方案替换 Softmax/LayerNorm 后需要知识蒸馏重训练，作者认为这限制了向其他架构的推广。
• 核心观察：HE rotation 是开销最大的底层操作之一（论文引用 Halevi & Shoup 2018 等），减少 rotation 次数并统一打包格式即可降低整体评测时间。
• 论文提出：MOAI（Module-Optimizing Architecture for non-interactive secure transformer Inference），一个基于 CKKS 的非交互安全 Transformer 推理框架，不修改 Transformer 组件、无需重训练，并开源实现。
• 威胁模型：
  • 保护对象：客户端的输入数据与推理输出，对 CSP 保密。
  • 部署方式：客户端加密输入上传，CSP 在密文上完成全部推理并返回加密结果，非交互。
  • 安全参数：1743 位密文模数，按同态加密标准达到 128-bit 安全。
  • 受害系统/模型：BERT-base-uncased（128 token）与 LLaMA-3-8B 在密文上推理。

交互式隐私保护 Transformer 推理

• Chen et al. (2022)、Pang et al. (2024)、Lu et al. (2023)、Dong et al. (2023)、Zeng et al. (2025)——结合 FHE 与 MPC，将用户数据拆成分片分发给服务器，多以 BERT 为目标，需要交互。

纯 FHE 的非交互方案

• NEXUS（Zhang et al., 2024a，NDSS'25）——论文称其为首个纯 FHE 非交互方案，提出 FHE 友好的矩阵乘与激活函数近似；论文指出它只报告微基准汇总、未提供端到端方案，且打包格式不一致导致算法无法直接组合，格式转换开销未计入性能（论文称 Lim et al. 2025、Moon et al. 2024 也有同样观察）。
• LEAF（Zhang et al., 2025）——用系数编码矩阵乘与函数自举做推理，但只覆盖前馈块，非端到端。
• THOR（Moon et al., 2024，CCS'25）——论文称其为最先进的 HE 非交互端到端方案，在 BERT-base、128 token 上报告单 GPU 10 分钟/输入；论文指出其密文-密文矩阵乘需要格式转换。

改造 Transformer 的 FHE 友好方案

• Zimerman et al. (2024b) 用多项式替代非多项式函数（如 Softmax）；Power-Softmax（Zimerman et al., 2024a）将 Softmax 中的指数函数换成幂函数并常规微调。
• Powerformer（Park et al., 2024b，ACL'25）——将 BERT-base 的 Softmax 与 LayerNorm 替换为幂函数与线性函数（BPmax、Batch LN），报告单 GPU 5.74 分钟/输入；论文指出这类方案需要知识蒸馏重训练，限制了对其他架构的推广。

基线与对比基准：端到端对比基线为 THOR 与 Powerformer（单 NVIDIA A100 GPU，时间取自其论文）；Softmax/LayerNorm 微基准对比 NEXUS（用其开源实现运行）与 THOR；模型为 BERT-base-uncased，在 SST-2、QNLI、RTE 上微调。

本文定位：作者称 MOAI 与 NEXUS、THOR 一样不修改 Transformer 组件、无需重训练，是 plug-and-play 框架；区别在于用一致的打包策略消除格式转换、用 rotation-free 算法消除 Softmax/LayerNorm 的 HE rotation，同时也可套用到 Powerformer 这类重训练架构上加速。

整体思路：以 HE rotation 为主要优化目标，设计一套贯穿所有层的一致打包流程，使各模块输出格式恰好匹配下一模块输入格式，并为 Softmax、LayerNorm 设计无 rotation 的求值算法。框架名称为 MOAI。

矩阵打包与矩阵乘

• 列打包（Definition 3.1）：矩阵 X ∈ R^{m×d} 按列加密为 d 个密文；对角打包（Definition 3.2）：方阵按上对角线加密为 m 个密文。
• Case I（CPMM）：计算 Q、K、V 时 X 为列打包、权重为明文，矩阵乘视为 X 各列的线性组合，不需要 rotation（Algorithm 2）。
• Case II（CCMM，QK^T）：利用 Lemma 3.1，\mathrm{Diag}_j(QK^\intercal) = \sum_i q_i \otimes \mathrm{Rot}_j(k_i)，即 QK^T 的第 j 条对角线可由 Q、K 各列逐点乘加得到，输出直接为对角打包，无需单独转置 K（Algorithm 3）。
• Case III（CCMM，softmax(·)V）：对角打包矩阵乘列打包的 V，采用 Halevi & Shoup 的 baby-step giant-step 方法，rotation 数为 O(√m)（Algorithm 4）。

交错批处理（Interleaved Batching）

• 将 N/(2m) 个长度为 m 的向量按位交错装入一个密文（Eq. (1)），利用 CKKS 的 2^15 个 slot 摊销成本。
• Lemma 3.2：对交错向量做 Rot_{jN/(2m)} 等价于对每个子向量内部旋转 j 位；论文称朴素批处理做一次"内部旋转"需 2 次 HE rotation，交错批处理只需 1 次，减少一半。
• 交错打包与三个矩阵乘算法及 Softmax/LayerNorm/GELU 兼容（附录 D.3）。

非线性函数的 rotation-free 求值

• Softmax（Algorithm 1）：输入输出均为对角打包；依据 Lemma 4.1（列和等于对角线和），把指数后的各对角密文直接相加得到分母，再用 Goldschmidt 除法求逆后逐分量相乘，全程无 rotation；√d′ 因子折入 W_K 省一个 level。
• LayerNorm（Algorithm 8）：输入为列打包，均值与方差通过对各列密文 SIMD 求和并乘 1/d 得到，两次标量乘合并省一个 level；逆平方根用 Goldschmidt 除法；按位置选择两种等价形式（Eq. 5 / Eq. 6）以保证精度。
• GELU：用 tanh 近似式（Eq. 2），以 Remez 算法构造 23 次多项式 P23，区间 [−20, 10]；更大区间用 Cheon et al. (2022) 的域扩展多项式。

全流程与 bootstrapping 放置

• 全流程（Figure 2）：Q/K/V 与 FFN 均为列打包，QK^T 输出对角打包，Softmax 保持对角打包，σ(·)V 输出列打包，层间无格式转换。
• bootstrapping 优化：作者观察到 Softmax 至少需 10 次 Goldschmidt 迭代、整体约 20 层深度，于是在 Algorithm 1 第 3 行后对 ctsum 做一次 bootstrapping（Algorithm 9），将 Softmax 深度从 20 降到 10，使前两个矩阵乘在更低 level 执行。
• 关键参数：N = 2^16（2^15 slots）、1743-bit 密文模数（128-bit 安全）、scale 2^46；CPU 用 SEAL + FHE-MP-CNN + OpenMP，GPU 用 Phantom 库。

实验设置

• 被测模型：BERT-base-uncased（12 层、12 头、隐藏维 768，输入 128 token，在 SST-2、QNLI、RTE 上微调）；LLaMA-3-8B（32 层 decoder-only，8 token 输入，另有长度 1 的实验）。
• 对比对象：THOR（CCS'25）、Powerformer（ACL'25）的端到端时间取自其论文，硬件同为单 NVIDIA A100 GPU；NEXUS 的 Softmax/LayerNorm 用其开源实现运行；NEXUS 未做端到端对比（论文称其只提供微基准且格式转换不可复现）。
• 指标：摊销评测时间（秒/输入，BERT 按 256 输入摊销）、HE rotation 总数、key switch 总数、GLUE 分数。
• 硬件：CPU 为 Intel Xeon Platinum 8480+（56 核）；GPU 为单 H200（Table 4 端到端）或单 A100（Table 5、6 对比）。
• 参数：N = 2^16、2^15 slots、1743-bit 模数、scale 2^46；与 Powerformer 对比时遵循其设置（2^15 slots、bootstrapping 前 11 个乘法 level）。
• 重复次数：论文未报告。

主结果

端到端总时间（单 A100 GPU，秒；据 Table 5、Table 6，THOR/Powerformer 数字取自其论文）：

表格较宽，可左右滑动

对比	MOAI 总时间	对方总时间	差值
vs THOR（含 Pooler & Class.）	283.95	602.26	318.31
vs THOR（不含 Pooler & Class.）	283.25	599.56	316.31
vs Powerformer（含 Pooler & Class.）	152.4	344.52	192.12
vs Powerformer（不含 Pooler & Class.）	151.7	344.32	192.62

• 作者称 MOAI 相对 THOR 总时间减少 52.8%，相对 Powerformer 减少 55.7%；Table 5 中 MOAI 的 bootstrapping 为 227.84 秒（THOR 337.86 秒），Table 6 中为 102.5 秒（Powerformer 103.72 秒）。
• BERT-base 端到端（Table 4，256 输入摊销）：CPU 总计 574.6 秒、GPU（H200）141.3 秒，作者报告摊销 9.6 分钟/输入（CPU）与 2.36 分钟/输入（GPU）。
• HE rotation 总数（Table 1，代入 BERT 参数）：MOAI 9648，NEXUS > 221184，THOR 22224，Powerformer 16740；正文称 MOAI 比三者分别少 22.9×、2.3×、1.7×，第 5 节又称 23.2×、2.56×、1.46×（两处数字不一致，均照抄）。

非线性函数微基准

• 测了什么：Softmax（128×128）与 LayerNorm（128×768）的摊销时间，对比 NEXUS（开源实现运行）与 THOR（仅 GPU，取自其论文），同 N = 2^16、n = 2^15（Table 9）。
• 结果：Softmax 上 MOAI CPU 0.62 s / GPU 0.005 s，NEXUS 2.53 s / 0.032 s，THOR GPU 0.11 s；LayerNorm 上 MOAI 0.38 s / 0.0039 s，NEXUS 46.7 s / 0.34 s，THOR GPU 0.59 s。
• 作者解读：作者称 Softmax 至少比 NEXUS 快 4×、比 THOR 快 22×，LayerNorm 至少快 87× 与 151×；Table 2/3 显示代入 BERT 参数后 Softmax 与 LayerNorm 的 rotation 从 2448 降为 0。

精度与误差分析

• GLUE 分数（Table 7）：BERT-base 密文输入 SST-2 93.8、QNLI 90.5、RTE 65.5，明文为 93.9、90.7、65.7；Match/Mismatch 计数为 1818/4、5437/27、2959/42。LLaMA-3-8B（Table 11）密文 94.5、93.6、82.2，明文 94.9、94.2、84.2。
• 逐层误差（Figure 3）：作者称误差在前 6–7 层增长后趋于稳定、保持有界；单层误差（Figure 6，44 个输入 token）中位数落在 [0.01, 0.03]。
• 作者解读：作者认为 FHE 引入的额外误差对推理精度影响可忽略。

其他消融与分析

• key switch 数（Table 8，BERT-base 单层）：MOAI 834，NEXUS > 18444，THOR 1874，Powerformer 1407，作者称 MOAI 最少。
• LLaMA-3-8B（Table 10，8 token，GPU）：总摊销 224.53 秒；输入长度 1 时（Table 12）26.94 秒；论文称与 NEXUS 直接对比不合适（格式转换未计入、NEXUS 未实现 RoPE/SwiGLU）。
• hoisting（附录 C.3）：最多可加速 2.29 秒（占 141.3 秒的 1.62%）；为公平对比，所有对比实验均未使用 hoisting。
• 对 NEXUS 的批评性验证（附录 F.1/F.2）：作者称 NEXUS 的 LayerNorm 输入量级约 Θ(d^3) 超出支持范围、无法计算 BERT-base 的 LayerNorm；其分段多项式 GELU 的区间 [−8, 8] 不够（作者实验观察到 [−20, 10]），且近似符号位会引入误差。

作者指出的局限与后续方向

• FHE 与明文推理技术的结合：附录 H.2 写道，将 KV-cache、token pruning 等明文 Transformer 推理技术与 FHE 结合"是有用且有趣的未来方向"，并称据其所知尚无工作探索这些技术的 FHE 版本。
• 除上述外，论文未设置 Limitations 或 Future Work 小节，未专门讨论其他局限。

实验覆盖范围

• 被测模型：BERT-base-uncased（12 层，输入 128 token）与 LLaMA-3-8B（8 token 输入，另有输入长度 1 的实验），共 2 个。
• 精度评测：GLUE 的 SST-2、QNLI、RTE 三个任务，报告明文与密文两组分数及 Match/Mismatch 计数。
• 对比数据来源：THOR 与 Powerformer 的端到端时间取自其论文（同型号 A100 GPU）；NEXUS 仅 Softmax/LayerNorm 微基准用其开源实现自测，未做端到端对比；THOR 无 CPU 实现，微基准只列 GPU 时间。
• 硬件环境：CPU 为 Intel Xeon Platinum 8480+，GPU 为单 H200（Table 4）与单 A100（Table 5、6、9）。
• 论文未报告：实验重复次数与运行时间方差；Table 4 与 Table 5/6 的 GPU 型号不同（H200 与 A100），跨表时间不可直接比较。

一篇关于全同态加密（FHE）安全推理的系统论文：客户端用 CKKS 加密输入，云服务商在密文上完成 Transformer 推理，全程非交互。

• 问题：FHE 推理计算开销大，作者称 HE rotation 是最昂贵的底层操作之一，且现有方案存在格式转换、额外转置或需要重训练的问题。
• 方法：MOAI 框架——列打包与对角打包一致组合使各层无缝衔接；基于"列和等于对角线和"的 rotation-free Softmax 与 SIMD 求和式 rotation-free LayerNorm；列打包消除明文-密文矩阵乘的 rotation，交错批处理将内部旋转从 2 次降为 1 次；并在 Softmax 中间对单个密文做 bootstrapping 以降低整体深度。
• 主要结果：
  • BERT-base 全部矩阵乘的 HE rotation 为 9648，低于 THOR 的 22224 与 Powerformer 的 16740（Table 1）；Softmax 与 LayerNorm 省去 2448 次 rotation（Table 2）。
  • 单 A100 GPU 上总时间 283.95 秒，作者称比 THOR 减少 52.8%；套用到 Powerformer 框架后 152.4 秒，作者称减少 55.7%（Table 5、6，对方数字取自其论文）。
  • 单 H200 GPU 摊销 2.36 分钟/输入（Table 4）。
  • 精度：SST-2/QNLI/RTE 密文分数 93.8/90.5/65.5，与明文差不超过 0.2（Table 7）。
• 作者结论：作者称 MOAI 是 plug-and-play 框架，不修改 Transformer 组件、无需重训练，技术可推广到 Powerformer 等改造架构及 LLaMA-3-8B 等 decoder-only 模型；实现已开源。