TERM：基于熵引导残差调制的无目标越狱防御

1. 01这篇论文试图解决什么问题？

   作者要解决无预定义表示目标时按输入自适应做推理时越狱防御、同时限制过度拒答的问题。

   核心问题：如何在没有预定义表示目标（转向向量、安全区域）的情况下，让推理时防御按每个输入自适应干预，既挡住多样的越狱攻击又不过度拒答良性请求。

   • 问题场景：越狱攻击形态多样——角色扮演、场景嵌套、多语言改写、密码编码、搜索优化和多轮诱导——作者认为这要求防御在不同攻击策略下都有效。
   • 现有方法的不足：作者称部分推理时防御仍依赖预定义的表示目标，包括预计算的转向向量（Wang et al., 2024; Lee et al., 2025）和参考拒答区域（Wu et al., 2025a）；Figure 1 的 3D PCA 投影显示七个攻击家族在 LLaMA-3.1-8B 表示中分布位置不同、且与良性输入（含 XSTest）部分重叠，作者据此认为可视化本身不能证明原始表示空间存在共享安全方向。
   • 核心观察：注意力模式随提示词和解码步变化，原始熵值难以直接当作一致的干预信号；作者的做法是把注意力熵与每个提示词自己的 prefill 基线比较，得到输入特定的参考。
   • 论文提出：Target-free Entropy-guided Residual Modulation（TERM），一个推理时防御框架，用提示词校准的注意力熵偏差引导对模型自身残差更新的有界自适应调制。
   • 威胁模型：
     • 攻击者目标：用七类越狱提示词（AIM、AutoDAN、Cipher、GCG、Jailbroken、Multilingual、ReNeLLM）让已对齐模型生成有害回复。
     • 防御方设定：模型权重冻结，不用外部安全分类器、不做安全微调、不用预定义转向方向；观测与干预只用模型内部信号。
     • 受害系统：Llama、Qwen、Gemma 三个家族的开源指令模型（0.6B–32B）。
     • 未覆盖：自适应攻击与多轮攻击，作者列为未来工作。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三组：越狱攻击、四类防御、机制可解释性与表示级干预；基线为 7 种推理时防御。

   越狱攻击

   • 策略型攻击：角色扮演与人设调制（Shah et al., 2023）、多语言混淆（Deng et al., 2024）、密码编码（Yuan et al., 2024）等，利用精心设计的提示策略绕过对齐。
   • 优化型攻击：GCG 的梯度后缀优化与 AutoDAN 的进化式提示优化（Zou et al., 2023; Liu et al., 2024），自动搜索对抗提示。
   • 超出单轮的攻击：Foot-In-The-Door 多轮渐进升级、自适应攻击、Chimera 组合异构原语（Weng et al., 2025; Andriushchenko et al., 2025; Park et al., 2026）；作者认为攻击目标、表面形式和优化机制的多样性使跨家族泛化成为防御的核心挑战。

   防御方法

   • 提示增强与检测：自我提醒或演示（Xie et al., 2023; Zhou et al., 2024a），以及用模型信号或辅助安全模型识别恶意输入（Xie et al., 2024; Hu et al., 2024; Zhang et al., 2024; Inan et al., 2023）；作者称前者依赖提示设计并增加上下文开销，后者的鲁棒性可能随攻击形式增多而下降。
   • 安全对齐：通过额外训练和参数更新提升鲁棒性（Qi et al., 2025; Cao et al., 2026）；对比精炼方法侧重减少对良性敏感请求的过度拒答（Lu et al., 2026）。
   • 推理时控制：token 选择、回溯、投机解码、KV 缓存编辑、跨生成深度的安全恢复（Xu et al., 2024; Zhang et al., 2025; Wang et al., 2025b; Jiang et al., 2024; Zhang et al., 2026）；作者称这些方法可能改变原始解码过程或引入额外推理成本。

   机制可解释性与表示级干预

   • 安全特征研究：研究隐状态中安全相关特征如何形成并随深度演化（Zhou et al., 2024b），这类工作推动了表示级防御。
   • 转向与区域方法：迁移安全激活差、学习安全/拒答方向（含稀疏、约束、反馈控制的转向）（Wang et al., 2024; Shen et al., 2025; Sheng et al., 2026; Nguyen et al., 2026），或学习安全区域与边界约束内部表示（Wu et al., 2025a; Lu et al., 2025）。
   • 熵信号检测：已有工作用基于熵的信号检测越狱与对抗提示（Pu et al., 2025; Nikolenko et al., 2026; Alshaalan & Rodrigues, 2026），本文把归一化注意力熵用作单遍观测。

   基线与基准：对比 7 个推理时防御——解码类的 ROSE、Self-CD，转向类的 Jailbreak Antidote、Surgical、InferAligner、CAST、AdaSteer（附录 B.4），另在附录 C.10 与 AlphaSteer 在 6 个共享攻击上对比；基准为 7 个攻击家族加 XSTest、OKTest、AlpacaEval。

   定位：作者称本文在生成过程中干预，不需要额外训练或辅助模型，用模型自身在生成中观测到的信号做自适应表示级干预，不依赖预定义安全目标。

   收起这一问

3. 03论文如何解决这个问题？

   TERM 用提示词校准的注意力熵偏差，经归一化与时间累积得到控制信号，对模型自身残差更新做有界缩放。

   整体思路：TERM（Target-free Entropy-guided Residual Modulation） 在生成过程中在线监测注意力熵相对每个提示词 prefill 基线的偏差，把持续偏差累积成控制信号，再用它对模型自身的残差更新做有界缩放，不引入外部安全方向。观测与干预默认在同一层 ℓ，ℓ 选自分层可分性分析（Figure 5）中稳定的高可分区域。

   问题设定与观测量

   • 设定：对齐的自回归模型 M 有 N 层，给定提示词 X 逐步生成 Y；目标是在推理时只用 M 自身的信号和转移做调节，不用外部分类器或预定义转向方向。
   • 注意力熵观测：对监测层 ℓ 每个头-查询对计算归一化熵 H(p) = −1/(log|K|)∑_{i∈ K} p_i log p_i，值近 0 表示注意力集中、近 1 表示分散；再在查询集合与所有头上平均得到层级观测 Eℓ(Q)。
   • 残差转移：Rℓ,t = Hout − Hin 隔离第 ℓ 层贡献的更新；只调制最近 S 个序列位置（集合 St）上的残差更新，更早位置不变。

   提示词校准的熵偏差（§3.2.1）

   • 双窗口：固定基线窗口 B 取 prefill 最后 min{Wb, n} 个查询位置，整个生成过程不变；在线窗口 Wt 取最近 min{Wh, Lt} 个查询位置，每生成一个 token 滑动一步。
   • 偏差定义：∆Ht = Ht − Hbase − δ，其中 Hbase = Eℓ(B)、Ht = Eℓ(Wt)，δ ≥ 0 是良性边际；∆Ht > 0 表示注意力比提示词参考分散超过边际。
   • 设计理由：作者称绝对熵值不是可靠的风险信号——良性提示可能自然产生分散注意力，短模板或编码的恶意提示反而可能注意力集中，所以用提示词相对的偏差；∆Ht 只作控制输入，不作有害性标签。

   自适应时间控制信号（§3.2.2）

   • 尺度归一化：用指数滑动二阶矩 vt = (1−α)vt−1 + α(∆Ht)² 估计偏差尺度，再经 sigmoid 得到瞬时激活 η_t = σ(κ(Δ H_t)/(max(ϵ,√v_t)) − τ)；作者称减去自适应均值会吸收持续的电平偏移，所以只归一化尺度而不重定中心。
   • 时间累积：Ct = ρCt−1 + (1−ρ)ηt，C0 = 0；j 步前的激活权重为 (1−ρ)ρ^j，ηt ∈ (0,1) 保证 Ct 有界于 [0,1)。
   • 定位：作者强调良性生成也会产生持续偏差，Ct 是残差阻尼的控制信号，不是有害性标签。

   自适应残差阻尼（§3.2.3）

   • 缩放系数：ωt = clip(1 − βCt, ωmin, 1)，ωmin = −1；βCt ≪ 1 时 ωt ≈ 1 近似保留原转移，Ct 增大时系数减小直至截断，0 ≤ ωt < 1 为衰减、ωt < 0 为方向反转。
   • 干预方式：把选定行的残差更新 Pt Rℓ,t 改为 ωt Pt Rℓ,t，层输出替换为 Hout + Pt⊤[(ωt−1)Pt Rℓ,t]；作者称与加法式激活转向不同，这不引入外部安全或拒答方向，只按当前累积信号重缩放模型自身的转移。
   • 有界性：因 |ωt| ≤ 1，重缩放不会增大所选残差更新的 Frobenius 范数；附录 A.2 给出非扩张性、变分解释与下游 token 分布的条件扰动界，并说明残差不扩张不等于输出扰动小或语义安全。

   关键参数与实现

   • 参考超参数（附录 C.8）：β = 9、ρ = 0.5、α = 0.08、τ = 0.3、κ = 20；窗口与干预跨度在附录 C.5 扫描，主设置下 prefill 窗口 16、在线窗口 8、干预 token 窗口 8（Table 7 中 8 token 干预窗口 Score 最高）。
   • 监测层：按模型选择，如 LLaMA-3.1-8B 用第 12 个解码块（附录 C.8）；分层 AUROC 分析（Figure 5）显示高可分区域主要在早到中层，但峰值位置因骨干而异。
   • 流程：附录 A.1 的 Algorithm 1 给出从 prefill 到每个解码步的完整在线流程；所有实验在单张 NVIDIA Tesla A100 上用 PyTorch 实现。

   收起这一问

4. 04论文做了哪些实验？

   在 3 个主骨干上对比 7 种防御与 7 种攻击，TERM 平均 DSR 最高、ORR 最低；另有泛化、消融、效率与机理分析。

   实验设置

   • 被测模型：主实验为 LLaMA-3.1-8B、Qwen2.5-7B-Instruct、Gemma-2-9B-it；泛化实验加 Llama3.2-3B、Gemma3-4B-it、Qwen3.5-9B 及 Qwen3-0.6B/1.7B/4B/8B/14B/32B（附录 B.1）。
   • 基准：7 个越狱攻击（AIM、AutoDAN、Cipher、GCG、Jailbroken、Multilingual、ReNeLLM）；良性基准 XSTest（250 条）与 OKTest（300 条测试）；效用基准 AlpacaEval、GSM8K（1,319 题）、MMLU（14,042 题）（附录 B.2、B.3）。
   • 基线：No Defense 加 7 个推理时防御（ROSE、Self-CD、Jailbreak Antidote、Surgical、InferAligner、CAST、AdaSteer），附录 C.10 另比 AlphaSteer。
   • 指标：DSR（有害提示被成功阻断的比例）、ORR（良性敏感提示未得到实质回答的比例）、Score = 平均 DSR − 平均 ORR；Defense 为 7 攻击 DSR 的无权平均，ORR 为 XSTest 与 OKTest 的无权平均（附录 B.5）。
   • 评审方式：GPT-4o 判定 DSR 与 ORR（附录 B.5）；AlpacaEval 报告与对应未防御模型的成对胜率。
   • 对照协议：同一骨干上 Base、TERM 与各防御使用相同提示词、解码设置、生成预算和评判流程；样本级分析每模型良性池 550 条、攻击池 650 条（附录 C.7）；论文未报告重复次数。

   主结果

   据 Table 1（每格为 DSR，ORR 为 XSTest/OKTest 均值）：

   表格较宽，可左右滑动

   模型	方法	Defense↑	ORR↓	Score↑
   Llama3.1	No Defense	38.14	5.60	32.54
   Llama3.1	AdaSteer	91.86	2.13	89.73
   Llama3.1	TERM (Ours)	97.00	1.43	95.57
   Qwen2.5	No Defense	41.43	5.00	36.43
   Qwen2.5	AdaSteer	91.71	8.90	82.81
   Qwen2.5	TERM (Ours)	98.43	0.60	97.83
   Gemma-2	No Defense	30.29	13.73	16.56
   Gemma-2	AdaSteer	85.86	7.20	78.66
   Gemma-2	TERM (Ours)	89.29	6.77	82.52

   （省略 ROSE、Self-CD、Jailbreak Antidote、Surgical、InferAligner、CAST 五行，它们的 Score 均低于 AdaSteer 与 TERM；完整数据见 Table 1。）

   • 作者解读：作者称 TERM 在三个骨干上平均 DSR 最高、ORR 最低，比最强基线高 3.43–6.72 个百分点，说明鲁棒性提升不是靠一律多拒答换来的。
   • 单攻击反例：TERM 并非每个攻击都最高，如 Llama3.1 上 AIM 的 DSR 为 89.00，低于 ROSE/Surgical/CAST/AdaSteer 的 100.00（Table 1）。
   • 效用：AlpacaEval 对未防御模型的胜率为 50.50%（Llama3.1）、51.93%（Qwen2.5）、48.76%（Gemma-2）（Table 5）。

   泛化：跨家族与 Qwen3 规模

   • 跨家族（Table 2 上块）：Llama3.2-3B Score 89.30→90.20，Gemma3-4B 34.04→51.55，Qwen3.5-9B 86.74→87.90；作者称目标自由方法可泛化到三个主骨干之外。
   • 反例：Gemma3-4B 的 DSR 从 42.71% 升到 63.29%，但 ORR 也从 8.67% 升到 11.74%，作者指出更高的综合分数不意味着两个指标同时改善。
   • Qwen3 规模（Table 2 下块）：所有规模的 Score 都提升，但幅度不随参数量单调增长——Qwen3-1.7B 从 32.00 升到 74.87，Qwen3-8B 只从 61.97 升到 64.46。

   消融与样本级代价

   • 组件消融（Table 3，LLaMA-3.1-8B）：完整方法 DSR 97.00%、ORR 1.43%；去掉自适应 RMS 归一化或负残差缩放，DSR 分别降到 40.86% 和 41.71%；去掉 prefill 基线或信号累积，DSR 保持 93% 以上但 ORR 升到 77.83% 和 83.40%。作者称校准与累积负责良性选择性，归一化与带符号缩放提供干预强度。
   • 样本级代价（附录 C.7，Figure 10）：在 5 个 Qwen3 模型上都同时存在有利与不利转移；如 Qwen3-14B 上 15.85% 的攻击提示由成功转为被阻断、8.62% 由被阻断转为成功，良性提示 1.64% 由拒答转为回答、6.00% 由回答转为拒答（良性池 550 条、攻击池 650 条）。作者称净收益是两类转移的平衡，不是无代价的纠错。
   • 输入依赖性（Figure 3）：Ct 相近的解码步在事后拒答轴上的投影变化方向可正可负，作者称累积信号决定调制强度而非固定的表示方向。

   效率、层选择与监测信号

   • 推理效率（Figure 4a，90 个固定提示）：TERM 45.03 tokens/s，为未防御模型 47.73 的 94.3%；高于 Surgical（34.44）、Self-CD（27.04）、ROSE（25.65），与 CAST（44.46）、InferAligner（44.08）接近。
   • 层选择（Table 8，LLaMA-3.1-8B）：干预层移到 32 时 XSTest ORR 升到 96.4%–98.8%（DSR 仍 96.0–100.0）；检测 12 + 干预 12 的组合 ORR 最低（1.2%）、等权 DSR 99.0%。
   • 分层可分性（Figure 5）：9 个骨干上注意力熵对 AdvBench/HarmBench 与 GSM8K 的 AUROC 峰值接近 1.0，高可分区域主要在早到中层但不对齐到同一深度；附录 C.12 显示良性参考换成 Harmless Instructions 后多层 AUROC 接近或低于 0.5。
   • 监测信号对比（Table 13，附录 C.13）：方向对齐的 Ct 变体在早期检测上 TPR 最高（第 4 步 64.86%，注意力熵 45.52%），第 32 步两者接近（77.29% vs 75.10%）；但其误报持续度 56.18% 为五个信号中最高（Table 14）。

   其他消融与分析

   • 窗口扫描（Table 7）：prefill 窗口 2–256 结果不变（DSR 99.0%、ORR 1.2%）；在线窗口 4/8 的 Score 最高（97.8）；干预窗口 ≥32 时 ORR 升到 10.0%–15.6%。
   • 超参数扫描（Figure 4、Tables 9–11）：β∈{6,9,12,15}×ρ∈{0.3,0.5,0.7} 下 DSR 94.5%–100.0%、XSTest ORR 1.2%–6.0%；α、τ 扫描 DSR 94.5%–99.5%；κ 从 5 到 40 的 DSR 97.5%–99.0%。
   • 通用能力（Table 6）：GSM8K 准确率分别降 2.73、3.79、0.08 个百分点；MMLU 上 Llama3.1 降 0.73、Qwen2.5 降 0.14、Gemma-2 升 0.04 个百分点。
   • AlphaSteer 对比（Table 12，6 个共享攻击）：TERM 的 XSTest ORR 在三个骨干上都更低（1.2% vs 8.8%、1.2% vs 4.4%、5.2% vs 20.8%）；Qwen2.5 上 AlphaSteer 平均 DSR 98.83 高于 TERM 的 98.33。
   • 隐状态轨迹（Figure 6）：作者称干预后有害提示的平均方向移向拒答方向、XSTest 良性提示移离拒答方向，且到最后一层仍可见。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称未来需研究实际部署与自适应、多轮攻击等更强威胁模型；实验覆盖单轮攻击与开源模型。

   作者指出的局限与后续方向

   • 更强威胁模型：作者称未来工作将考察对更强威胁模型的鲁棒性，包括自适应攻击和多轮攻击（Conclusion）。
   • 实际部署：作者称未来工作将研究实际部署场景（Conclusion）。
   • 良性参考的依赖：分层分析显示可分性依赖良性参考集——换成 Harmless Instructions 后许多层 AUROC 下降、部分接近或低于 0.5，作者称这提醒不能把绝对注意力熵当作通用的有害性判别器（附录 C.12）。
   • 监测信号的误报代价：方向对齐的 Ct 变体虽然良性 FPR 较低（4.36%），但误报持续度 56.18% 为五个信号中最高，作者称更强的告警连续性伴随良性侧代价（附录 C.13）。
   • 样本级代价：作者称干预在 5 个 Qwen3 模型上都同时产生有利与不利转移，聚合收益是两类转移的平衡而非无代价纠错（附录 C.7）。

   实验覆盖范围

   • 被测模型：Llama、Qwen、Gemma 三个家族共 12 个开源模型（0.6B–32B），权重冻结；未涉及闭源模型。
   • 攻击覆盖：7 个单轮越狱家族；多轮与自适应攻击只在相关工作中讨论，未做实验。
   • 良性与效用评测：XSTest（250 条）、OKTest（300 条测试）、AlpacaEval、GSM8K（1,319 题）、MMLU（14,042 题）。
   • 评审方式：DSR 与 ORR 由 GPT-4o 判定（附录 B.5）；论文未报告评审与人工的一致性。
   • 实验协议：论文未报告重复次数与统计显著性检验；效率测量用 90 个固定提示（附录 C.9）。

   收起这一问

6. 06总结一下论文的主要内容

   TERM 用提示词校准的注意力熵偏差引导残差调制，在三个骨干上取得最高平均 DSR 与最低 ORR。

   一篇推理时越狱防御论文，面向已对齐的开源 LLM。

   • 要解决的问题：作者认为部分表示级防御依赖预定义转向向量或安全区域，难以在无预定义表示目标时按输入自适应干预并限制过度拒答；Figure 1 的 PCA 投影显示七个攻击家族分布各异且与良性输入部分重叠。
   • 方法要点：TERM 以每个提示词 prefill 的注意力熵为基线，计算在线熵偏差 ∆Ht，经自适应 RMS 归一化与指数累积得到控制信号 Ct，再把模型自身残差更新按有界系数 ωt = clip(1−βCt, −1, 1) 缩放，不引入外部安全方向；模型权重冻结，不用辅助分类器。
   • 主结果（Table 1，GPT-4o 评判）：Llama3.1、Qwen2.5、Gemma-2 上平均 DSR 分别为 97.00%、98.43%、89.29%，平均 ORR 分别为 1.43%、0.60%、6.77%，作者称优于 7 个推理时基线；但单攻击上有反例（Llama3.1 的 AIM 为 89.00，低于多个基线的 100.00）。
   • 泛化与代价：Table 2 显示跨家族与 Qwen3 各规模的综合分数都提升，但 Gemma3-4B 的 ORR 从 8.67% 升到 11.74%，收益也不随规模单调增长；附录 C.7 显示 5 个 Qwen3 模型上都存在不利转移（如 Qwen3-14B 上 6.00% 良性提示由回答转为拒答）。
   • 消融与效率：去掉信号累积或 prefill 基线会把 ORR 推高到 83.40% 和 77.83%（Table 3）；吞吐 45.03 tokens/s，为未防御模型的 94.3%（Figure 4a）。
   • 作者结论：作者称提示词校准、时间累积与输入相关的残差调制共同支撑了防御与低过度拒答；未来工作将考察实际部署与自适应、多轮攻击等更强威胁模型。

   收起这一问

相关论文