Odin：面向隐私保护 Llama 3 8B 推理的开源端到端 FHE 实现

云端 Llama 推理把提示词交给服务方会造成隐私泄露，而现有 FHE 方案在 Llama-3 规模上受权重编码与布局转换拖累。

• 场景与重要性：作者认为 Transformer 常部署在云上，用户须把可能含个人、医疗、商业或内部信息的提示词发给服务方，服务方能直接看到推理输入。在保留云端模型访问的同时保护用户隐私，被作者称为私有 LLM 推理的中心问题。
• 现有方法的不足：作者称 MPC 或混合协议（Iron、PUMA、BOLT、BumbleBee）能支持较大模型，但需要客户或多服务器多轮交互并传输大量中间数据，安全还依赖参与方不共谋。纯 FHE 让服务器直接在密文上计算，但打包决定密文数量、线性层开销和线性层、注意力、非线性之间的表示转换；模型与序列变长后，低效布局会使编码、计算和转换开销累积。作者把 THOR 风格布局适配到 Llama-3-8B 后，观察到大量明文权重的在线编码成为线性计算的主要瓶颈。
• 核心观察：打包方案决定权重对角能否跨输入密文复用，以及 QK^T、Softmax、PV 之间是否需要中间重打包。近似区间与允许误差共同决定 minimax 多项式次数与乘法深度，需要按模型质量联合分配，而不是各算子使用同一保守精度。
• 论文提出的系统：作者提出 ODIN，为 Llama 协同设计密文打包与模型执行。Odin 用特征主序跨层布局统一残差连接和层接口，并为线性投影与注意力构造短暂的算子内布局；非线性在最大近似误差约束下做区间上的 minimax 多项式近似，并用输入范围控制与按模型质量引导的联合误差分配来降低多项式次数和乘法深度。作者称据其所知，这是 Llama-3 上首个开源的、GPU 加速 CKKS 端到端实现。
• 威胁模型：
  • 目标：在 RLWE 假设下保护提示词及其派生的中间状态；客户除提交输入和接收结果外不参与服务器侧同态求值。
  • 知识与角色：客户持有提示词和 CKKS 私钥，本地完成分词、embedding 查表并加密输入，连同求值密钥发给服务器。服务器持有明文模型权重。模型架构与权重、序列长度、密码参数和运行时间视为公开信息。
  • 能力边界：假设服务器是诚实但好奇的，遵守推理协议，但可能利用输入密文、求值密钥、中间密文和可观察的公开信息推断客户输入。
  • 不在范围内：不防范偏离协议的恶意服务器、侧信道、拒绝服务或访问模式泄露，也不保护服务器的模型权重。客户侧预处理与加密不计入 FHE 评测时间。

• 交互式 MPC 与混合协议
  • Iron（Hao 等，论文引用 [8]）——用紧凑 HE 打包做安全矩阵乘法，并为 Softmax、GELU、LayerNorm 设计专用协议。
  • PUMA（论文引用 [6]）——把两方安全推理扩展到 LLaMA-7B，用高精度 GeLU 与 Softmax 近似，以及安全 Embedding 和 LayerNorm。
  • BOLT（论文引用 [11]）与 BumbleBee（论文引用 [9]）——前者协同优化安全矩阵乘法与非线性计算；后者为大 Transformer 设计低通信量矩阵乘法与激活函数协议。作者称这些系统保护客户输入和服务器模型，但在线阶段仍需两方持续通信。
• 纯 FHE 的 Transformer 推理
  • NEXUS（论文引用 [15]）——提出若干同态矩阵运算和非线性近似；作者指出其不同打包格式的组合及相互转换成本没有纳入端到端执行路径。
  • THOR（论文引用 [10]）——用对角主序编码和紧凑密文打包，在单 GPU 上对 BERT-base 做端到端 FHE 推理。作者将其适配到 Llama-3 后作为剖析基线。
  • MOAI（论文引用 [16]）——通过协调各模块打包格式减少布局转换和旋转。作者用它说明布局兼容的重要性：投影保持列打包，QK^T 产生对角打包，Softmax 保留该表示，再与列打包的 V 相乘后恢复列打包。
  • Scaling up Privacy-Preserving ML（Park 等，论文引用 [12]）——把 CKKS 推理扩展到 Llama-2-7B，并用公开 token 与加密 token 的区分支持更长输入；线性投影使用系数编码，其余运算保留 slot 编码。作者称 EasyFHE 尚未提供这些表示转换的完整执行路径，因此把系数编码当作备选设计点，后续评测只比较同在 slot 域的 THOR 与 Odin。
• 非线性电路与范围控制
  • Cho 等（论文引用 [4]）——由 Softmax 倍增迭代公式提出快速同态 Softmax。ODIN 以其为同态 Softmax 的基本计算框架。
  • Park 等（论文引用 [12]）结合 Xiao 等的 attention sink（论文引用 [14]）与 QuaRot（Ashkboos 等，论文引用 [1]）——作者称据其所知，这是在 FHE Llama 中同时沿 token 维处理 attention sink、沿特征维处理维度离群值的工作。ODIN 采用这一 FHE 适配作为模型预处理基线，并把 QuaRot 变换离线融合进公开权重。Park 等还用明文误差模拟观察到 12-bit 误差预算相对其 FP16 基线不降低 PPL；ODIN 以此为可复现起点 τ_0 = 2^{-12}。
  • Bae 等（论文引用 [2]）——把系数编码的 RLWE/MLWE 密文组织成矩阵方程，把宽的明文–密文矩阵乘法降为少量明文矩阵乘法。
• 基线与数据：性能基线是作者构建的 THOR-style Llama-3 打包；非线性区间在 WikiText-2 与 C4 上比较，并用校准集初始化近似区间。作者把本文定位为：在 THOR 风格适配暴露权重编码瓶颈之后，用可跨层复用的打包和按全模型质量分配的非线性误差，形成 Llama-3 全部 Transformer 层的服务器侧 FHE 执行路径。

ODIN 把 Llama-3 的服务器侧 FHE 执行分成两条线：用 Odin 打包减少宽投影的重复权重编码和注意力内部重打包；用校准区间上的 minimax 多项式，并按全模型注入测试分配误差预算。

问题设定与 CKKS 划分

• 执行划分：服务器持明文权重，激活保持加密。Q/K/V/O 与 gate/up/down 是明文–密文矩阵乘法；QK^T 与 PV 是两个密文相乘。RMSNorm、Softmax、SiLU 须变成 CKKS 可执行的多项式或迭代电路。客户侧分词、embedding 与加密不计入 FHE 时间。
• 槽编码：对 x ∈ R^D、A ∈ R^{D×D}，第 k 条循环对角 D_k(A)[i] = A[i, (i+k) mod D]，矩阵–向量乘写成对角与旋转后逐槽相乘再累加。BSGS 是在给定布局上复用部分旋转的求值策略，不是独立打包方案。
• 近似目标：对区间 I 上的 f，均匀绝对误差 E_d(f; I) 是次数至多 d 的多项式与 f 的最大绝对偏差的最小值。给定最大允许误差 τ，取满足该误差的最小次数。区间与 τ 由 Remez 算法生成近似 minimax 多项式。作者避免基于比较的分段，在校准区间上直接近似各标量子函数；Softmax 再把这些多项式放进倍增迭代。

Odin 打包

• 跨层接口：特征主序布局固定为残差连接和层间传递的隐状态接口；线性投影与注意力使用短寿命的算子内布局。结构化权重表示使已编码的权重对角可被多个输入密文复用，减少 Llama-3 宽投影中的冗余明文编码。
• 相对 THOR 适配的原因：作者称其 THOR 风格页对角表示把一条明文权重绑定到特定输入页、输出组、实部或虚部以及旋转副本，只有这些物理布局属性都相同才能直接复用。扩到 4096 维隐状态和 14336 维 FFN 后，每层产生 425,984 个明文权重对象。Odin 按物理权重页和逻辑对角组织明文，使编码结果可在 token 分片输入之间复用。
• 注意力数据流：QK^T 产出 Softmax 可直接消费的分数表示；Softmax 为输出概率保留该表示；PV 直接消费这些概率，从而避免 Softmax 与 PV 之间的中间重打包。作者称这构成 C–Δ 注意力布局。Section 4 定义布局与线性计算原理；5.3 与 5.4 描述 Odin 打包的运行时实现，以及从算子约定组装单层计算图。

范围控制与多项式

• 预处理：对公开 Llama-3 权重施加 QuaRot，并把 O 投影与 down 投影之前的 Hadamard 变换融合进相邻权重，使它们不增加在线同态运算。变换后的模型同时用于区间测量、多项式生成和 FHE 线性计算。attention sink 前缀的思路来自 Park 等与 Xiao 等：前缀与用户查询无关，可作为公开静态缓存并预计算其键值状态；作者写明采用这一 FHE 适配作为预处理基线。
• 区间：各层各非线性输入的近似区间由观测极值乘扩展因子得到，当前配置的扩展因子为 1.2。SiLU 用基于最大绝对值的对称区间；RMSNorm 的逆平方根输入为正，故用正区间。Softmax 区间在其实现中单独描述。作者称该安全裕度降低越界风险，但会提高给定误差目标下的多项式次数；Section 5.1 还加入越界检查。WikiText-2 与 C4 上，32 层对应算子位置的 p99 幅度中位数之比为 1.0，作者称两套通用语料之间没有整体尺度偏移，因此用校准集初始化区间，但不保证所有推理输入都落在区间内。
• Softmax：采用 Cho 等的倍增恒等式。设 m 为该行最大值，z = x − m ∈ [−M, 0]，k = ⌈log_2 M − log_2 ln n⌉。实现用校准得到的统计最大值 Û 和区间长度 M̂ 代替式中的 M；只要 Û 覆盖该行最大分数，平移不变性给出 Softmax(ẑ) = Softmax(x)。多数层在层内共享 Û 与 k；分布更宽的位置（如 Layer 31）使用按头的 Û，并取 k = max_h k_h，使同一 SIMD 批次的迭代次数相同。主轨道保存全部分数并做指数、逐槽乘法与平方；辅助轨道只保存每行约简值并在少量有效槽上做逆平方根，自举限制在紧凑的辅助轨道密文上。逆平方根不按理论区间 [1/n, n] 直接近似，而是测量每层、每轮 s^{(j)} 的实际范围，乘安全因子后再生成多项式。j1/j2 的逆平方根保持 12-bit，不参与容差放宽。Algorithm 1 给出带公开统计平移的完整过程。

误差预算与调度

• 搜索空间：作者不按层为四个非线性函数分别选连续预算，而让同类算子跨层共享一个输出扰动预算，搜索降为四个耦合变量：两个 RMSNorm、Softmax、SiLU。注入位置是全部 32 层的 RMSNorm rsqrt 输出、Softmax ex 输出和 SiLU 输出。
• 代理准则：M̃_τ 在每个近似位置独立注入 e ∼ U[−τ, τ]，M_0 为使用精确非线性函数的参考模型。ΔPPL_inj(τ) = PPL(M̃_τ) − PPL(M_0)，搜索准则为 ΔPPL_inj(τ) ≤ δ_PPL。作者称注入只比较相对敏感度，不复现某个 Remez 多项式的确定性残差，也不保证二者 PPL 相同，因此最终多项式生成后还要单独评估模型质量。
• 两段搜索：先让四类算子共享 τ_c，在不同 δ_PPL 下找满足注入准则的最大共同容差。再按 Algorithm 2，以优先级 π = [SiLU, RMSNorm2, RMSNorm1, Softmax] 逐个把算子放到条件上界。作者给出的理由是：SiLU 位于宽度 14336 的 FFN 门控支路，其次数下降可能同时减少非线性求值和后续宽线性层的 limb；在单算子试点中，区间不变、SiLU 容差从 2^{-12} 放到 3.82×10^{-3} 时，32 层 SiLU 多项式次数之和从 2048 降到 998。RMSNorm 次数下降不一定改变当前执行图中的自举位置。
• 成多项式与自举：对第 l 层算子 i，在区间 I_{i,l} 上取满足最大绝对误差不超过 Table 4 中 τ_i 的最小次数，再用 Remez 生成近似 minimax 多项式；次数不能由目标误差直接推出，因此在 Remez 之外逐步增大候选次数并在极值点检查最大绝对误差。5.4.2 按 limb 预算安排自举位置。自举位置由整条执行链的 level 需求与算子深度共同决定，降低 RMSNorm 或 Softmax 的次数不一定减少自举次数。组装产物包括变换后的权重、测得的输入区间、多项式系数和自举位置。

实验设置

• 硬件与软件：AMD Ryzen 9 9950X、128 GB 主机内存、一张 NVIDIA H100 80 GB GPU。底层 CKKS 与 GPU 内核来自开源 EasyFHE；模型转换与实验驱动为 Python，PyTorch 做张量准备和参考求值，Odin packer 调用专用 GPU 内核。
• 模型与输入：实际 Llama-3-8B（Meta-Llama-3-8B）权重，128-token 输入，顺序求值全部 32 个 Transformer 层。客户侧预处理与加密不计入 FHE 评测时间。
• 基线：同一模型、同一输入、同一 CKKS 参数和同一硬件上的 THOR 在线 FHE 评测。单层与线性算子剖析使用作者的 THOR-style Llama-3 适配，对象是 Layer 16、128-token，三次运行取中位数。
• 非线性数据与指标：区间比较使用 WikiText-2 与 C4。注入测试指标为 ΔPPL_inj，阈值包括 0.001、0.005、0.010、0.050。起点精度 τ_0 = 2^{-12}。多项式生成后作者要求再用完整算子输出和模型困惑度核验；所附文本在多项式次数搜索处截断，未见最终 PPL 表。
• 性能指标：服务器侧端到端 FHE 评测时间、峰值设备内存，以及按模块和按算子（打包/编码、旋转、乘法、合并、rescale）的时间。论文未在所附可见文本中给出 CKKS 的环维度、level 或缩放因子数值。
• 重复：Table 1 与 Table 2 为三次运行的中位数。端到端 366.4 s 与 1651.9 s 的重复次数，论文未在摘要对应句子中另行说明。

主结果

摘要给出端到端对比；Table 1、Table 2 是 THOR 基线下 Layer 16 的时间分解，不是 ODIN 对 THOR 的逐模块端到端表。ODIN 的逐模块时间在所附文本的后部评测节中未被完整保留，下表只列文中可定位的数字。

Swipe horizontally to read the table

• 作者的解读：线性计算是该 THOR 基线的主要成本；权重打包与编码是线性路径的主要瓶颈，编码单独占线性计算时间的 38.6%（17.03 s 编码，另有 10.99 s 打包）。明文–密文投影合计 38.02 s，QK^T 与 PV 合计 6.78 s（Table 1）。
• 端到端：作者报告在相同模型、输入、CKKS 参数和硬件下，ODIN 相对 THOR 的在线评测得到 4.51× 加速，并在单张 H100 80 GB 上顺序跑完 32 层。
• Table 1 中的单层模块时间（THOR，三次中位数）：RMSNorm1 与 RMSNorm2 各 0.05 s；QKV 5.44 s，QK^T 4.83 s，Softmax 4.82 s，PV 1.95 s，O 投影 5.39 s；FFN 中 gate 11.69 s、up 8.00 s、SiLU 0.40 s、down 7.50 s；非线性算子合计 5.32 s；自举、RoPE、布局转换及未归属运行时 9.12 s。

编码瓶颈的算子级分解

• 测了什么：Table 2 在独立的算子级剖析中拆开 THOR 打包下 Llama-3-8B 的两类线性计算，三次运行取中位数。列包括权重打包/编码、辅助编码、旋转、乘法、合并、rescale。
• 结果：明文–密文小计 36.76 s，其中权重打包/编码 28.02 s、旋转 0.70 s、乘法 3.40 s、合并 3.71 s、rescale 0.94 s。分项为 Q 3.70 s（打包/编码 2.91 s）、K+V 1.53 s（1.23 s）、O 4.88 s（2.47 s）、FFN 26.55 s（21.34 s）。密文–密文小计 7.34 s：QK^T 4.94 s（旋转 3.88 s），PV 2.40 s（旋转 1.64 s）；二者的权重打包/编码栏为“–”，辅助编码分别为 0.48 s 与 0.37 s。全部线性计算 44.10 s。
• 作者的解读：作者称该瓶颈来自 THOR 风格权重表示的复用粒度与 Llama-3 宽投影不匹配；每层 425,984 个明文权重对象，预编码会带来存储与驻留成本，按需生成则会在运行时反复打包和编码。

误差注入搜索

• 共同容差：Table 3 中 32 层共享 τ_c。δ_PPL = 0.001 时 τ_c = 2.258×10^{-3}（相对 2^{-12} 为 9.25×），测得 ΔPPL_inj = −0.00161；0.005 时 2.354×10^{-3}（9.64×，ΔPPL_inj = 0.00455）；0.010 时 2.403×10^{-3}（9.84×，0.00798）；0.050 时 2.838×10^{-3}（11.62×，0.04732）。作者称在当前实验协议下，12-bit 参考配置对有界扰动是保守的。δ_PPL = 0.001 一行的测得增量为负。
• 联合预算：Table 4 在 δ_PPL = 0.001、共同起点 τ_c = 2.258×10^{-3} 下，把 SiLU、RMSNorm2、RMSNorm1、Softmax 依次放到条件上界：RMSNorm1 与 RMSNorm2 的 rsqrt 输出均为 9.881×10^{-3}（相对 2^{-12} 为 40.47×），Softmax 的 ex 输出为 3.093×10^{-3}（12.67×），SiLU 输出为 1.993×10^{-2}（81.65×）。作者称这些是候选预算，对应 Remez 多项式的 PPL 须在生成后另测。
• SiLU 试点：区间不变、容差从 2^{-12} 放到 3.82×10^{-3} 时，32 层 SiLU 多项式次数之和从 2048 降到 998，后续 FFN 线性层在当前调度下可用更少 limb。作者因此把 SiLU 列为当前误差预算中优先级最高的目标。

其他消融与分析

• WikiText-2 与 C4：32 层对应算子位置上，p99 幅度的 C4/WikiText-2 中位数比为 1.0；作者称部分层–算子位置仍有偏离。
• 近似区间扩展因子当前配置为 1.2；论文未在可见表格中给出各层区间端点。
• 单算子 SiLU 试点：次数之和 2048 → 998（容差 2^{-12} → 3.82×10^{-3}，区间不变）。
• 系数编码（Bae 等、Park 等的投影路径）被作者讨论为备选，但后续评测限制在 THOR 与 Odin 的 slot 域；论文未报告系数编码在该实现上的端到端时间。
• 作者称降低 RMSNorm 或 Softmax 次数不一定减少自举次数；所附文本没有给出自举次数对照表。
• 正确性、最终模型质量与 ODIN 逐模块性能由 Section 6 评测；除摘要中的 366.4 s、58.9 GiB 和 4.51× 外，所附转换文本未保留 Section 6 的其余表格数字，这些格子不填。

作者指出的局限与后续方向

• 跨层接口的适用范围：结论中作者称，FHE LLM 的打包方案不仅决定单次矩阵乘法的运算次数，还决定权重编码、算子间表示和层间调度能否形成完整执行路径。后续工作可以把这一跨层接口扩展到更多模型与输入规模，并进一步联合优化打包、非线性精度和自举调度（Conclusion）。
• 注入代理不是最终质量：作者在方法中写明，注入扰动只是敏感度代理，不保证对应 Remez 多项式产生相同 PPL，多项式生成后必须单独评估模型质量（Section 5.2）。这是作者对搜索准则的限制，不是 Section 6 的实验结果解释。
• 区间不覆盖全部输入：作者称用校准集初始化近似区间，并不保证所有推理输入都留在区间内，因此 Section 5.1 增加安全裕度和越界检查（Section 3.2.1、Section 5.1）。
• 次数与自举不自动同减：作者称降低 RMSNorm 或 Softmax 的多项式次数不一定减少自举次数，因为自举位置由整条执行链的 level 需求共同决定（Section 3.2.3）。
• 理论最优难求：作者称层间误差会相互作用，模型质量与误差预算之间没有可直接求解的解析关系，得到理论上最优配置因此困难；他们保留逐层区间，但让同类算子共享一个预算（Section 5.2）。
• 条件上界依赖搜索顺序：作者称算子的条件上界不能独立测量后直接相加，逐算子搜索的误差分配结果也依赖于优先级顺序 π（Section 5.2.3）。

实验覆盖范围

• 端到端性能数字对应 Meta-Llama-3-8B 权重、128-token 输入、全部 32 层、单张 NVIDIA H100 80 GB；对照为同一模型、输入、CKKS 参数和硬件下的 THOR 在线 FHE 评测（摘要、Section 6.1）。
• THOR 瓶颈剖析是 Layer 16、128-token、三次运行的中位数，并另有一份独立的线性算子级剖析（Table 1、Table 2、Section 3.4）。
• 非线性区间比较使用 WikiText-2 与 C4；近似区间扩展因子写明为 1.2；QuaRot 变换离线融合进公开权重（Section 3.2.1、Section 5.1）。
• 误差搜索在 32 层模型上比较四个非线性类的注入 PPL，共同容差对应四个 δ_PPL，联合预算表对应 δ_PPL = 0.001（Table 3、Table 4）。Softmax 辅助轨道上 j1/j2 的逆平方根保持 12-bit，不进入容差放宽。
• 后续数值评测被作者限制在 slot 域的 THOR 与 Odin；系数编码及 SlotToCoeffs/CoeffsToSlots 被讨论为备选，作者称 EasyFHE 尚未提供这些表示转换的完整执行路径（Section 3.3.1）。论文未报告端到端 366.4 s 这一数字的重复次数，也未在摘要中给出最终解密后的 PPL。

ODIN 是面向 Llama 的服务器侧 CKKS 推理系统：客户加密提示词，诚实但好奇的服务器用明文权重在密文上算完 Llama-3，只返回结果密文。

• 问题：云端服务直接看到提示词。MPC 类系统要多轮通信并假设参与方不共谋。纯 FHE 的成本取决于打包：它决定密文数量、权重如何编码，以及线性层、注意力和非线性之间要不要转换布局。作者把 THOR 风格布局扩到 Llama-3-8B 后，宽投影的在线权重编码成为主要瓶颈。
• 方法：跨层隐状态固定为特征主序，残差和层接口因此一致；线性投影和注意力只用短寿命的算子内布局，编码后的权重对角可在多个输入密文间复用。注意力里 QK^T 的分数直接进入 Softmax，概率直接进入 PV。RMSNorm、SiLU 和 Softmax 在扩展因子 1.2 的校准区间上做 minimax 多项式；Softmax 沿用倍增迭代，并以统计最大值做平移。误差从统一的 2^{-12} 出发，用全模型有界注入比较敏感度，再按 SiLU、RMSNorm2、RMSNorm1、Softmax 的顺序分配候选预算。QuaRot 离线融合进公开权重。
• 结果：Llama-3-8B、128-token、单张 H100 80 GB 上，32 层服务器侧端到端评测 366.4 s，峰值设备内存 58.9 GiB。同一模型、输入、CKKS 参数和硬件下，THOR 在线评测 1651.9 s，作者称加速 4.51×。THOR 的 Layer 16 单层中位数为 59.24 s，其中线性计算 44.80 s（75.6%）；算子级剖析里权重打包/编码 28.02 s，占线性时间 44.10 s 的 63.5%。注入测试在 δ_PPL = 0.001 时把共同容差放到 2.258×10^{-3}（2^{-12} 的 9.25×）；联合搜索进一步把 SiLU 放到 1.993×10^{-2}。
• 作者的结论：作者认为 FHE LLM 的性能不仅取决于单个同态算子，还取决于打包能否在整条计算路径上兼容，并使权重编码、算子间表示和层调度形成完整执行路径。作者计划把该跨层接口扩展到更多模型与输入规模，并继续联合优化打包、非线性精度和自举调度。作者称据其所知，这是 Llama-3 上首个开源的 GPU 加速 CKKS 端到端实现。