LADE：用暗知识中的模型无关潜在安全信号防御 LLM 越狱

解码阶段防御加强安全时会过度拒答，且依赖内部隐状态、难跨架构。

• 场景：作者称 LLM 进展伴随安全担忧，越狱可绕过护栏并引出有害回复。近年防御转向解码阶段，用内部隐状态把生成从有害输出引开。
• 不足：作者指出安全越严，良性查询上的有用性越差，形成过度拒答；依赖隐状态需要架构特定辅助模块，开销大，且不能跨多样 LLM 泛化。
• 观察：作者认为，除表层拒答 token 外，首 token 分布里 argmax 之外的暗知识（dark knowledge）含潜在安全信号，即有害与良性查询上概率差距大的 token。作者称这些信号在安全对齐 LLM 间一致，形成由对齐产生的模型无关方向。
• 提出：提出 LADE（Latent Safety Signals for Defense）。它只读输出概率、不读隐状态，在生成前过滤可能引出有害回复的查询。
• 威胁模型：
  • 目标：绕过安全对齐，引出模型本会拒绝的有害回复。
  • 知识：附录 D 的自适应攻击为 white-box，攻击者知晓信号 token 集、分词器映射、有害参考集与阈值，并优化 LADE 实际使用的距离。
  • 能力：主实验含优化生成的模型特定提示（GCG、AutoDAN、PAIR 各 50，LIAR 104）与 DeepInception 的 50 条固定模板。自适应预算为 50 条有害提示、200 步、每步 128 个候选后缀。
  • 受害系统：被测的安全对齐开源 LLM。LADE 在其首 token 输出概率上做一次判定，距离不超过阈值则在生成前返回拒绝。

越狱攻击

• 手工提示：角色扮演（Shen 等，2024）与少量上下文示范（Wei 等，2026），利用指令跟随绕过护栏。
• 自动搜索：GCG（Zou 等，2023）用梯度搜索对抗后缀；AutoDAN（Liu 等，2024）用遗传算法，无需人工干预。
• 语义与多轮：密码提示（Yuan 等，2024）、认知过载（Xu 等，2024）、多轮策略（Ha 等，2025）；AutoDAN-Turbo（Liu 等，2025）用终身学习自主发现新策略。作者称这些工作显示 LLM 仍易受多种对抗提示影响。

输入级与训练级防御

• 输入级：释义（Robey 等，2023）、困惑度检测（Jain 等，2023）、Self-Reminder（Xie 等，2023）。作者称这类方法常挡不住语义改写后的对抗输入。
• 训练级：安全微调（Ouyang 等，2022）与对抗训练（Jain 等，2023）。作者称能提高鲁棒性，但计算重，并有灾难性遗忘。

解码级防御

• 代表方法：SafeDecoding（Xu 等，2024）用安全专家调整 token 概率；RDS（Zeng 等，2025）及相关层编辑（Zhao 等，2024）用内部隐状态压制有害生成；SafeInfer（Banerjee 等，2025）在解码时调整隐状态与 token 选择。
• 作者的批评：安全与过度拒答的权衡会降低良性查询上的有用性；依赖模型特定内部表示，跨架构迁移受限。

基线与基准

• 防御基线：Self-Reminder、SafeDecoding、SafeInfer、RDS；护栏模型 Prompt-Guard-2-86M、Llama-Guard-4-12B、WildGuard-7B。
• 查询与攻击：AdvBench、Hex-Phi、StrongReject、MMLU、Alpaca、GSM8K、XSTest；越狱为 GCG、AutoDAN、PAIR、LIAR、DeepInception。

作者称 LADE 不访问内部表示，只在首个解码步的输出概率上工作，并在生成开始前过滤有害查询。

LADE 从参考模型的首 token 输出分布提取潜在安全信号，映射到目标分词器后，用到有害参考集的距离在生成前过滤。全程不读内部隐状态。

抽取潜在安全信号

• 输入：参考模型 Mr 与词表 Vr。有害集 Dh、良性集 Db 来自基准的不相交子集；主实验 Dh 为 253 条 Hex-Phi，Db 为 XSTest。
• 分布：对查询 q 取首 token 分布，再对两集分别求每个 token 的均值 µh(v)、µb(v)。
• 选 token：Algorithm 1 与 Figure 2 按差距绝对值排序，记为 Δ(v)=|μ_h(v)−μ_b(v)|；正文式 (3) 的排版未显示绝对值号。去掉特殊 token 与纯标点后保留 top-k，主实验 k=500。另存良性均值，只用于下一步的比例校准。
• 作者的理由：按原始概率选取不够，因为最高概率常是与意图无关的表层说法。

分词器映射

• 子词拆分：源 token 先由参考分词器解码，再由目标分词器编码。若拆成多个子词，取归一化后非纯空白的第一个有意义子词。此步只在分词器层做一次，无 LLM 前向。
• 重复映射：多个源 token 落到同一目标 token 时，以该组中良性均值最大的槽为锚，锚权重为 1，其余按与锚的良性均值之比缩小。特征值等于权重乘目标概率。
• 输出：映射集与权重按每个目标 LLM 单独计算。作者称这是为避免重复源 token 过度加权同一目标概率。

kNN 判别

• 特征：读映射位置的概率，乘权重后做 L1 归一化。作者称归一化去掉查询与模型间的尺度差。
• 参考集：只用第 3.1 节的有害查询。作者称有害查询在特征空间形成紧簇，良性查询则跨数据集、跨领域变化大。
• 阈值：对参考距离做 bootstrap，取每次的 ρ 分位数再取中位数。ρ 决定参考集中有多少比例落在阈值内。主实验 ρ=0.90，近邻数 K=5，重采样 B=200。
• 决策：平均欧氏距离不超过阈值则在解码前返回拒绝，否则把查询交给目标模型。作者对比：先前解码防御在生成的每一步改 token 概率，LADE 只在生成前做一次过滤。

离线配置

• 两阶段：离线一次完成选 token、映射、建参考集与校准阈值；在线每条查询一次前向再做 kNN。完整步骤见 Algorithm 1 与附录 A。
• 参考模型：Llama-3-8B-Instruct。作者称这一选择并非严格原则性的，并报告信号对参考模型不敏感。各目标模型共用同一抽取集、同一有害参考与同一超参，不做逐模型调参。

实验设置

• 模型：Llama-2-7B-Chat、Llama-3-8B-Instruct、Qwen2-7B-Instruct、Qwen3-8B、Gemma-7B-it、Mistral-7B-Instruct-v0.3；有害/良性查询另加 Vicuna-13B-v1.3、Llama-2-13B-Chat。参考模型为 Llama-3-8B-Instruct。
• 数据：AdvBench、Hex-Phi、StrongReject、MMLU、Alpaca、GSM8K、XSTest。MMLU、GSM8K、Alpaca 各随机 500 条；其余全量为 520、300、313、249，按列举顺序对应 AdvBench、Hex-Phi、StrongReject、XSTest。GCG、AutoDAN、PAIR、DeepInception 各 50 条，LIAR 104 条。
• 基线：Self-Reminder、SafeDecoding、SafeInfer、RDS，以及 Prompt-Guard-2-86M、Llama-Guard-4-12B、WildGuard-7B。RDS 因无预训练 EAGLE head，不评 Gemma-7B-it 与 Mistral；SafeInfer 不评 13B。
• 指标与判定：沿用 RDS 协议。compliance 为有害内容作答的条数，用 Qwen3Guard-4B；refusal 为良性误拒条数，用关键词检测器 Dic-Judge。Held-out Avg. 排除离线用过的 Hex-Phi 与 XSTest。
• 实现：k=500，ρ=0.90，K=5，B=200。Dh 为 253 条 Hex-Phi，Db 为 XSTest，R 为 Hex-Phi。各目标共用该配置。

主结果

Held-out Avg.（↓），据 Table 2。SafeDecoding 与 SafeInfer 的同指标见该表，未列入下表。

Swipe horizontally to read the table

模型	无防御	Self-Reminder	RDS	LADE
Llama-2-7B-Chat	24.20	132.80	5.00	1.60
Llama-3-8B-Instruct	70.40	18.40	3.20	1.40
Qwen2-7B-Instruct	4.80	3.60	10.60	5.40
Qwen3-8B	3.40	4.20	4.00	3.00
Gemma-7B-it	99.60	68.40	未报告	6.00
Mistral-7B-Instruct-v0.3	65.20	12.80	未报告	32.60
Vicuna-13B-v1.3	9.60	9.20	19.00	3.00
Llama-2-13B-Chat	3.80	26.00	2.40	1.40

• 作者称 LADE 在八个 LLM 中的六个上该平均最好；表中 Qwen2-7B-Instruct 与 Mistral-7B-Instruct-v0.3 不是。
• Table 1 的五类越狱顺从平均：LADE 在 Qwen2、Gemma、Mistral 上为 2.00、15.80、2.20，无防御为 20.60、47.40、36.60。作者称 Self-Reminder 在部分模型上顺从为 0，但其 Gemma、Mistral 平均为 31.60、20.60。
• 例外：SafeInfer 在 Qwen2、Qwen3 的越狱平均为 22.40、18.40，高于无防御的 20.60、17.60。Gemma 上 LADE 对 AutoDAN 仍有 41/50 顺从（Table 1）。Mistral 的 Alpaca 误拒为 82，无防御为 10。Llama-2-13B-Chat 的 Full Avg. 中 LADE 为 14.00，无防御为 8.29；作者归因于 XSTest 上 89 次拒答（Table 17）。

护栏、迁移与对齐

• 护栏：Table 3 以 Llama-3-8B-Instruct 同时作参考与目标。Held-out 平均准确率表中为 LADE 0.969、WildGuard-7B 0.947、Llama-Guard-4-12B 0.852、Prompt-Guard-2-86M 0.575；正文写 0.9689 与 0.9474。作者称 WildGuard 在直接有害查询上更好，LADE 对越狱更稳。
• 迁移：Figure 3 的 6×6 平均准确率为 0.8934、0.9413、0.9649、0.9660（Split/Ratio 四组）。作者称换任一被测 LLM 作参考，准确率仍高；无 Split 时若干迁到 Llama-2 的结果降到约 0.40。
• 对齐：Table 5 平均准确率 Gemma-7B 为 0.6836，Gemma-7B-it 为 0.9396，Gemma-2-9B-it 为 0.9474，Gemma-3-4B-it 为 0.9647。作者称前两者只差对齐阶段，故信号来自安全对齐。

自适应攻击与效率

• 自适应：Table 14，Llama-3-8B-Instruct、50 条、200 步、每步 128 个候选。LADE 在 GCG 上为 1.000，自适应后为 0.480（24/50 仍判有害）；WildGuard-7B 为 0.997 与 0.220（11/50）。四模型平均降至 0.420。作者称这并不覆盖全部自适应攻击。
• 规避参考集：Table 15，AutoDAN 判为有害的比例从 42.00% 到 93.50%，良性误判从 2.22% 到 5.42%。针对增强版再优化后，准确率从 0.960 降到 0.480，原版降到 0.240。
• 效率：Table 4，RTX A6000、Llama-3 为目标，LADE 为 34.13±3.93 ms、14.96 GiB。另测 60 条 StrongReject：RDS 为 3,057±122 ms，SafeDecoding 为 1,613±2,104 ms，LADE 为 33.02±2.10 ms。

其他消融与分析

• 仅拒答 token（附录 J，对应 Figure 4）：Mistral、Qwen2、Qwen3 的准确率为 0.7599、0.7121、0.9311；加潜在信号后为 0.9150、0.9745、0.9645。
• 候选位置（Table 6）：仅第一/二/三位置为 0.9657、0.9222、0.8449；三者合用为 0.9523。
• 前缀攻击（Table 13，逐模型调参，Llama-3 为参考）：六模型平均均高于 0.99。
• 参考模型拒答占比（Table 12）：Dh 中 234/253（92.49%）被拒；只用 19 条未拒答时，token 集重叠 87.8%，有害/良性仍为 96.52%/0.13%。
• 现实良性集（Table 16，只计 LADE 过滤）：24 组中 18 组低于 10%；Mistral 的 JailbreakBench 为 28.00%，Qwen2 的医疗查询为 13.70%。

作者指出的局限与后续方向

• 依赖对齐：LADE 依赖目标 LLM 已有安全对齐；用于弱对齐模型时判别准确率更低，不能替代对齐。作者认为这一点在实践中较次要，因为几乎所有公开发布的 LLM 在部署前都会做安全对齐（附录 M）。
• 仍会过度拒答：作者称 LADE 并非完全没有过度拒答；Table 2 中 Mistral-7B-Instruct-v0.3 在 Alpaca 上的拒答高于无防御，有害参考流形与部分对话式良性查询重叠（附录 M、附录 K）。
• 需要输出概率：需要目标 LLM 的首 token 输出概率，封闭 API 上可能受限；作者称最可能的 20 个首 token 已足以复现几乎全部过滤决策（附录 M，细节在附录 I）。
• 固定 token 集：token 集固定，知道它的攻击者可优化输入以避开过滤。附录 D 评了这类自适应攻击及一种缓解（附录 M）。
• 间接伤害：附录 K 的误判多为伤害间接或依赖上下文的查询。作者称要加强这类情况，需要安全对齐明确覆盖间接伤害，并留作未来工作。
• AutoDAN 失败：Gemma-7B-it 上 AutoDAN 把首 token 分布推离有害参考集。作者称处理该失败可能需要更后的解码位置或更大的有害参考集，留作未来工作（附录 K）。

实验覆盖范围

• 主防御评测为 6 个开源 LLM；有害/良性查询另加 Vicuna-13B-v1.3 与 Llama-2-13B-Chat（第 4.1 节、Table 2）。
• 越狱为 GCG、AutoDAN、PAIR、LIAR、DeepInception；另有前缀式攻击（附录 C，该实验逐模型调参）与 white-box 自适应攻击（附录 D，目标为 Llama-3-8B-Instruct，并报告四模型平均）。
• 护栏对比在 Llama-3-8B-Instruct 上做分类，论文写明不跨多个 LLM 平均（第 4.2 节）。compliance 由 Qwen3Guard-4B 判定，refusal 由 Dic-Judge 判定。
• 离线固定 Dh 为 253 条 Hex-Phi、Db 为 XSTest、R 为 Hex-Phi；Held-out Avg. 排除这两集。附录 I 在三个 LLM 上报告，只保留最可能的 20 个首 token 时，6,998/6,999 与全分布决策相同。
• 附录 G 报告 Beaver-v3 与 ThinkSafe-Qwen3-8B 的 Held-out Avg. 为 4.60 与 1.80。主表 compliance 论文未报告重复次数；附录 H 在 467 条有害回复与 3,498 条良性回复上比较另外三个自动评判，论文未报告人工一致性。

LADE 是一种只读首 token 输出概率的防御，用来在生成前挡下可能引出有害回复的查询。

• 问题：作者认为解码阶段防御有两限：加严安全会过度拒答，读取内部隐状态则难跨架构。
• 做法：在参考模型上对比有害与良性查询的首 token 分布，取差距最大的 top-k token；经子词拆分和重复映射的比例校准转到目标分词器；再与只含有害查询的参考集做 kNN，距离不超过阈值则拒绝。主实验参考模型为 Llama-3-8B-Instruct，k=500，ρ=0.90，K=5。
• 越狱：Table 1 中 LADE 的平均顺从条数，在 Qwen2-7B-Instruct、Gemma-7B-it、Mistral-7B-Instruct-v0.3 上为 2.00、15.80、2.20。Self-Reminder 在部分模型为 0.00，但在 Gemma、Mistral 上为 31.60、20.60。Gemma 上 AutoDAN 仍有 41/50 顺从。
• 权衡：Table 2 的 Held-out Avg.，作者称 LADE 在八个 LLM 中的六个上最好，如 Llama-3-8B-Instruct 为 1.40、Gemma-7B-it 为 6.00；Qwen2 与 Mistral 不是，后者为 32.60，Self-Reminder 为 12.80。
• 对照：同一 Llama-3 作参考兼目标时，Table 3 的 Held-out 准确率 LADE 为 0.969，WildGuard-7B 为 0.947。Figure 3(d) 的 6×6 平均准确率为 0.9660。附录 D 的 white-box 自适应攻击把 LADE 从 1.000 降到 0.480。
• 作者结论：作者称 LADE 不依赖内部隐状态，在所测架构上无需修改即可使用，并有竞争性的安全–效用权衡。附录 M 同时写明它依赖已有对齐，固定 token 集也可被知晓机制的攻击者针对。