HE-Guardrail：面向加密大模型推理的同态护栏防御越狱攻击

HE-LLM推理中，服务器不能检查加密提示词与回复，因而难以发现并拦截恶意客户端的越狱。

• 场景：客户端提交加密输入，服务器在同态加密下运行LLM并返回密文，明文全程隐藏。作者认为，保护良性客户端的机密性也使越狱难以检测或阻断，成功攻击还可能对服务器完全不可见。
• 现有不足：既有HE-PPML多以semi-honest服务器为威胁模型，客户端恶意选择输入常不在范围内。作者称既有护栏面向明文推理，输入、内部状态或输出一旦加密就不能直接用于安全决策。
• 观察与做法：作者认为服务器可在密文中复用目标模型的内部信号。据此提出HE-Guardrail：在HE下评估护栏，并用同态门控决定返回目标回复还是预设拒绝回复；实例为Llama Guard、JBShield与GradSafe。
• 威胁模型：
  • 服务器：semi-honest，遵守协议，但可能从密文与中间计算推断客户端输入；无私钥，不能直接查看明文提示词、中间表示或生成回复。
  • 客户端：输入选择上可为恶意，可提交越狱等对抗提示词以引出有害回复；假定正确遵循HE协议，但对加密前的明文不加限制。
  • 解密后：客户端解密返回密文，护栏拦截后仍可能试图恢复被抑制的目标模型回复。
  • 系统：两方推理。服务器持有Llama-3-8B-Instruct与护栏模型，客户端持有私有提示词和HE私钥。

论文没有独立的Related Work，相关讨论在引言和第2节。

同态加密推理

• PPML路线：引言把差分隐私、安全多方计算和同态加密并列，并称HE能在密文上直接计算。早期工作做CNN与BERT类加密推理；近期做到Llama、GPT的prefill、自回归解码和加密KV cache。
• 打包：第2.1.3节写到列式、对角、三环编码，以及MOAI的interleaved batching。MOAI还给出Llama-3-8B的加密prefill和密文布局，并说明可扩到自回归解码。
• 原威胁模型：HE-PPML通常假定semi-honest服务器。部分框架还假定semi-honest客户端，以便同时保护输入和服务器模型。作者称客户端恶意行为往往不在考虑范围内。

越狱攻击

• 单轮：作者沿Wang et al. [19]的分类，把单轮分为手工提示词、优化搜索、用辅助模型生成或改写，以及用变换或间接指令隐藏意图。
• 多轮：多轮把恶意目标分散或逐步展开到多次交互。作者称多轮对现有护栏仍然困难，需要能对演化中的多轮交互做推理的防御。

越狱护栏

• 阶段：预处理看输入，过程中看内部状态或梯度，后处理看生成结果。论文点名Llama Guard、SelfDefend、GuardReasoner、GradSafe、JBShield，以及后处理类方法。
• 与本文的关系：作者称这些护栏为明文推理设计，决策所需信息保持加密时不能直接用。作者转述Wang et al.把白盒访问视为过程中护栏的适用性限制。后处理能查有害输出，但要等生成结束，并承担完整生成成本。

基线与基准

• 基线：Table 1的对照是无护栏HE-LLM。第4.2节还比较加密护栏与对应明文护栏的决策，但没有另给明文ASR/PGR表。
• 基准：攻击沿Wang et al.的六族；良性输入是AlpacaEval与OR-Bench。评测采用该工作的Security-Efficiency-Utility框架，有害性用HarmBench分类器。

作者把本文放在上述工作之外：护栏全程在HE下求值，加密决策用同态响应门控执行，并显式考虑会提交对抗提示词的客户端，而不只在输入无害的前提下保护客户端数据。

HE-Guardrail在服务器侧用同态运算评估护栏，得到加密接受门，再构造返回客户端的密文；提示词、回复和门值都不向服务器打开。后处理护栏被排除，因为它们必须等生成结束才开始。

设定与响应门控

• 协议：客户端加密提示词并持有私钥；服务器持有目标LLM与护栏，只返回加密最终回复。作者写RNS-CKKS满足IND-CPA，只看密文的服务器不能从计算上区分明文。
• 逐token门控：解码步t把目标token和预设拒绝token都写成词表上的one-hot。拒绝回复短于生成预算时，其余位置填EOS。图1与式(1)是整段形式，式(4)是逐步形式。
• 定义：作者把客户端可见回复写成Z_t(g)=gY_t+(1−g)R_t+ϵ_t(g)。g为加密接受门，两项分别是目标token与拒绝token，最后一项掩盖被抑制回复。

比较门与噪声淹没

• 比较：每个护栏抽象成加密分数p和阈值δ，方向定为p>δ表示良性。CKKS没有原生比较，符号函数用Lee et al.的minimax复合多项式，分量次数为(15, 27, 29)。
• 门：作者使用g=(1+sgnpoly(p−δ))/2。p大于δ时g趋近1（接受），小于δ时趋近0（拒绝）。p、g和模型输出在服务器侧保持加密。
• 噪声：近似误差或CKKS噪声可使拒绝时g略大于0，残留分量仍可能标出被抑制token的坐标。噪声项取(1-g)乘服务器每次新采样、对客户端保密的小随机向量：拒绝时放大，接受时压低。第3.2.1节用一个数值例子说明argmax仍得到拒绝token。

过程中护栏

• 设计理由：作者称服务器拥有并同态求值目标模型，可使用加密隐藏状态或同态求出的梯度，明文部署里的白盒限制在此设定下较弱。两者都用prefill期间或刚结束时的信息，不依赖后续解码。
• HE-JBShield-D：离线在明文中用校准提示词做锚点和rank-one SVD，得到毒性概念与越狱概念，并预先归一化。在线取第32层最后token的4096维隐藏状态，与锚点作差后直接算余弦相似度，不再做在线SVD。逆平方根用Goldschmidt迭代。两个相似度分别与0.037和0比较，两者都激活才判越狱，接受门为1减两个激活值之积。
• HE-GradSafe：离线在明文中、对固定顺从回复，计算注意力与MLP投影权重的行、列梯度切片；有害与安全参考的余弦相似度差大于1的切片保留，并预归一化有害梯度参考。在线不更新权重，只从prefill logits初始化反向传播，因此可与后续解码并行。
• 梯度实现：检查点在前向用完后降到低存储层级，反向需要时再自举并对齐。Softmax、RMSNorm、SiLU的反向复用前向已算出的量。关键梯度算出后立即做加密余弦相似度、累加后丢弃；平均值超过0.25判不安全，接受门为1减该判定。

预处理护栏

• Llama Guard 3-8B：对套入护栏模板的加密提示词做前向，在第一个安全决策位置比较safe与unsafe两个token的logit，差值经同一符号多项式得到门。作者称这等价于比较这两个token的概率，因为softmax保持logit顺序；不对全词表做softmax，也不生成文字解释。论文未给出模板原文。
• 多模型服务：两条独立HE管线会使密文显存加倍。作者扩展MOAI的interleaved batching：同一密文的不同lane放入不同模型的明文权重，从而在一组密文里同时求值目标模型与护栏。两条序列填充到相同长度，并使用各自的注意力掩码。

实验设置

• 模型与硬件：目标模型为Llama-3-8B-Instruct。护栏实例为Llama Guard 3-8B、JBShield-D、GradSafe-Zero。实现用desilofhe的RNS-CKKS，两块NVIDIA H200、AlmaLinux 9.8；目标模型与另调度的护栏各占一块GPU。
• HE参数：自举后可用乘法层级为17。SiLU用127次多项式，RMSNorm的逆平方根用Goldschmidt迭代，Softmax按Cho et al.。填充长度2,048，生成预算200。论文写由此得到16条interleaved lane；联合跑目标与Llama Guard时每请求两条lane，为8个带护栏请求，而不是16个仅目标请求。纯文本把槽数排成215，但该数除以2,048等于16，故按2^15理解。
• 攻击：沿Wang et al.的六族，共2,215条提示词或会话：IJP 1,000、GCG 100、AutoDAN 100、DrAttack 100、MultiJail 315、ActorAttack 600。
• 良性输入：AlpacaEval n=805，OR-Bench n=1,000，合计n=1,805。
• 指标：ai为护栏接受，hi为有害回复判定。ASR是接受且被判有害的比例，PGR是护栏接受比例，FPR是良性被拒比例。作者称只看低ASR不足以说明护栏有效。
• 评审：有害性由cais/HarmBench-Llama-2-13b-cls判定。目标回复和护栏决策都在加密域计算。论文未报告重复次数。

主结果

据Table 1。数字为百分比，越低越好。宏平均是表中Average行，对六族等权，不是按样本量加权。目标模型均为Llama-3-8B-Instruct。

Swipe horizontally to read the table

方法	宏平均ASR	宏平均PGR	ActorAttack ASR	ActorAttack PGR
无防御	11.0%	未报告	16.3%	未报告
Llama Guard 3-8B	7.1%	38.7%	16.2%	98.5%
JBShield-D	11.0%	77.0%	16.3%	99.2%
GradSafe-Zero	10.8%	62.3%	16.2%	99.8%

• 分族ASR：Table 1中Llama Guard在六族上都低于无防御。作者特别写出GCG从13.0%到2.0%、IJP从14.3%到9.6%。JBShield-D六族ASR与无防御逐项相同。作者称GradSafe-Zero与无防御相差至多1.0个百分点。
• PGR差异：GCG上三套护栏的PGR分别为3.0%、72.0%、77.0%；AutoDAN上为21.0%、46.0%、4.0%（Table 1）。作者称三套护栏都放过了ActorAttack的绝大多数会话，见表中该列。
• 作者解读：作者称这些差距反映检测规则，而不是HE把决策改坏；PGR用于把护栏拒绝和目标模型自己的拒答分开。

与明文决策的一致性

• 测了什么：加密护栏决策是否等于对应明文护栏决策。
• 结果：作者报告在全部评测提示词上，加密护栏复现明文决策的比例为99.7%（第4.2节）。论文未给出分母，也未说明是否包含良性提示词。
• 作者解读：作者认为多项式近似和HE数值误差很少改变安全决策本身，因此后文比较反映的是检测规则，而不是HE造成的下降。

显存与延迟

• 测了什么：相对仅跑目标模型的近似额外GPU显存，以及双GPU配置下的端到端延迟开销。延迟定义为带护栏与仅目标的端到端时间差，从提交请求到释放最终回复。

配置	额外显存
Llama Guard单独执行	≈140 GiB
Llama Guard多模型服务	≈0
JBShield-D	≈5 GiB
GradSafe-Zero	≈110 GiB

据Table 2。多模型服务的脚注：固定16条lane时，是8对目标–护栏，而不是16个仅目标请求。

• 延迟：该两块H200配置下，三种护栏的延迟开销都是0。作者称200 token自回归解码主导端到端时间，护栏决策在最终回复释放前已就绪，因此不增加目标模型关键路径上的延迟，但仍占用第二块GPU的计算和显存。
• 作者对显存的说明：JBShield在线只用隐藏状态向量和校准参考。GradSafe虽流式丢弃梯度，反向计算仍要一套检查点工作集。Llama Guard单独执行占用第二块H200；联合服务不增加密文显存，但批容量减半。

良性提示词效用

• 测了什么：护栏对良性提示词的误拒，即FPR。OR-Bench被作者用来考察过度拒绝。

Swipe horizontally to read the table

护栏	AlpacaEval	OR-Bench	合并
Llama Guard	1.37%（11/805）	2.20%（22/1000）	1.83%（33/1805）
JBShield-D	0.12%（1/805）	0.00%（0/1000）	0.06%（1/1805）
GradSafe-Zero	0.12%（1/805）	0.20%（2/1000）	0.17%（3/1805）

据Table 3。括号中为拒绝条数与该列样本量。

• 作者解读：作者称Llama Guard更强的攻击拒绝以更高的良性拒绝为代价；JBShield与GradSafe的低FPR反映检测规则更宽松，而不是一律更好的护栏。

其他消融与分析

• 论文没有消融表，未扫描符号多项式次数、护栏阈值、输入长度或噪声幅度。
• 符号多项式分量次数固定为(15, 27, 29)；SiLU固定为127次多项式。
• JBShield阈值固定为0.037和0，层固定为32；GradSafe间隙阈值固定为1，在线阈值固定为0.25。
• 输入填充固定2,048，生成预算固定200。
• 门控噪声只在第3.2.1节给机制和一个数值例子，实验未报告客户端能否恢复被抑制token。

作者指出的局限与后续方向

• 多轮越狱：作者在第5节把多轮越狱称为当前护栏机制的重要局限。作者引Wang et al.，称即便会话级护栏对多轮攻击、尤其是自适应攻击X-Teaming，仍有相当大的脆弱性。
• 意图如何出现：作者认为这一局限来自恶意意图可能在多次交互中逐渐出现，而不是从单条提示词或单条回复就能识别（第5节）。
• HE下不能人工查看：作者称明文部署中运营者至少可以直接检查对话历史，或作人工审核；HE-LLM中服务器不能直接检查提示词或生成回复，这种明文干预不可用（第5节）。
• 后续方向：作者把能在加密对话历史上安全推理的HE兼容护栏列为后续方向（第5节）。结论另称这些结果为加密LLM推理的安全机制打开一个研究方向（第6节）。

实验覆盖范围

• 模型与护栏：被测目标模型为Llama-3-8B-Instruct。跑过的独立护栏模型为Llama Guard 3-8B；JBShield-D与GradSafe-Zero使用该目标模型的加密隐藏状态或梯度。第3节说明不实现后处理护栏，因其须等回复生成后才开始，会直接增加端到端延迟。
• 攻击：Table 1的六族为IJP、GCG、AutoDAN、DrAttack、MultiJail、ActorAttack，共2,215条提示词或会话。第5节讨论的X-Teaming不在这六族中。
• 良性与判定：良性集为AlpacaEval（n=805）与OR-Bench（n=1,000）。有害回复由cais/HarmBench-Llama-2-13b-cls判定；护栏接受与否来自加密护栏自身（第4.1节）。
• 效率配置：显存是相对仅目标推理的近似增量（Table 2）。延迟开销是在两块H200、生成预算200 token的配置下测量，三种护栏均为0（第4.3节）。
• 论文未报告：重复次数；门控噪声的分布、幅度，以及客户端恢复被抑制token的测量；明文护栏的分项ASR/PGR表。第4.2节给出加密与明文决策一致率99.7%，未说明分母是否含良性集。

把越狱护栏装进同态加密LLM推理：服务器不解密，也能按安全决策决定客户端看到目标回复还是拒绝回复。

• 缺口：常规HE-LLM主要防服务器窥探客户端数据。作者指出，恶意客户端可提交越狱提示词，服务器既不能检查也不能拦截，有害回复还可能全程不可见。
• 机制：加密检测分数经多项式符号函数变成接受门。返回密文是目标token与预设拒绝token的同态插值，另加与拒绝程度成比例、由服务器私有的噪声，避免残留坐标暴露被抑制token。
• 三套实例：JBShield-D用第32层最后token表示；GradSafe-Zero只反传、不更新权重，并流式累加梯度相似度；Llama Guard 3-8B比较safe与unsafe的logit，并用多模型lane与目标模型共用密文。
• 结果：Table 1宏平均ASR为无防御11.0%、Llama Guard 7.1%、JBShield-D 11.0%、GradSafe-Zero 10.8%。第4.2节的加密与明文决策一致率为99.7%。Table 3合并良性FPR分别为1.83%、0.06%、0.17%。两块H200上延迟开销为0。
• 作者结论：作者称加密护栏的防御表现接近对应明文护栏，但安全、效率和效用的取舍不同，且护栏可与生成重叠而不增加回复延迟。作者认为，协议合规却对抗性使用加密模型的客户端，是可信HE推理需要面对的设定；能处理加密多轮历史的护栏仍是后续方向。