SENTINEL：通过意图感知的输入-输出匹配防御 LLM 越狱

如何在生成过程中显式抽出复杂越狱提示里的有害意图，并在控制过拒的同时及时停写。

• 部署场景：聊天与copilot普及后，攻击者用对抗上下文伪装有害意图，绕过护栏以获取有害指令或宣传。作者称安全部署因此更紧迫。
• 现有不足：作者称token扰动难覆盖AutoDAN、GPT-Fuzz等长提示，安全提示与后缀优化易被指令覆写。二者多抑制有害输出，少建模意图位置，因而防护不稳、过拒偏高。
• 核心观察：指令微调LLM有输入–输出语义一致性：无论越狱多复杂，输出仍倾向反映攻击者的真实意图。
• 本文做法：提出即插即用的生成时防御SENTINEL，不改参数。匹配语义接近的输入输出区域，抽出意图子序列，用拒答方向估计有害性，必要时停写。
• 威胁模型：
  • 目标：诱使模型绕过对齐护栏，产出有害指令或宣传。
  • 知识：相关工作称PAIR、TAP、GPT-Fuzz为black-box；自适应实验写明full white-box access。主评测未再统一标注知识等级。
  • 能力：用对抗上下文伪装意图。自适应时优化20个可学习embedding后缀，既逃避意图匹配又保留有害行为。
  • 受害系统：被测为指令微调LLM。主表为Llama2-7B、Llama3-8B、Mistral-7B-v0.2、Vicuna-7B。防御读取隐状态并可中止生成。

越狱攻击

• 后缀搜索：GCG（Zou et al., 2023）与AutoDAN（Liu et al., 2023）用梯度或token级搜索构造对抗后缀。
• 黑盒改写：PAIR（Chao et al., 2023）、TAP（Mehrotra et al., 2023）与GPT-Fuzz（Yu et al., 2023）在black-box设定下，用攻击模型反馈或变异迭代改写提示。
• 意图混淆：RADICAL（Du et al., 2023）把有害指令与良性内容混合，使模型更易开始并继续回答。作者称这些攻击的共同点是输出与用户底层意图语义对齐。

输入空间与提示防御

• token扰动：SmoothLLM（Robey et al., 2023）、RA-LLM（Cao et al., 2023）与Erase-and-Check（Kumar et al., 2024）通过编辑或检查输入暴露有害性。引言称这类方法难扩展到长提示。
• 后缀与过滤：RPO（Zhou et al., 2024）优化通用防御后缀；IBProtector（Liu et al., 2024b）按信息瓶颈训练小模型过滤token。附录A还写Semantic Smoothing，并称输入空间方法在长而复杂的提示上往往不足。
• 安全提示：引言把Xie et al. (2023)与Kim et al. (2024)的安全提示，以及后缀优化，归为上下文级防御，称其仍易被指令覆写。

隐空间防御

• Circuit Breaker（Zou et al., 2024）：把有害激活推到正交空间并尽量保持良性激活。附录E称其对多种攻击防御强，并对表示级攻击有一定鲁棒；论文引用Thompson and Sklar指出过拒。
• Latent Adversarial Training（Sheshadri et al., 2024）：在隐空间搜索会引出有害行为的扰动并抑制。
• 转向拒答：CAST与Jailbreak-Antidote（Lee et al., 2024; Shen et al., 2024）用Arditi et al. (2024)的拒答方向把激活转向拒答。附录A称隐空间防御通常更不可解释，自由度高时控制可能非最优，并造成高过拒、损害通用效用。

对比设置

• 基线方法：主实验为RPO、Circuit Breaker、LAT、IBProtector、MoGU；消融为不做意图抽取的RDP。比较限于不用越狱样本训练的zero-shot防御，且各集成防御只在其原工作所用或微调的同一LLM上评测。附录G另比Zhang et al. (2025)的LLM意图分析（IA one pass / two pass）。
• 基准：HarmBench（每种攻击300条）；良性查询来自AlpacaEval、Puffin、TriviaQA（共2,000条）；边界过拒用OR-Bench（2,000条）；通用能力用ARC-C、TruthfulQA、GSM8K。

作者把SENTINEL定位为保留可解释性的输入空间防御，称效果可与隐空间防御相当且过拒更低，并把机制说成越狱特征从对齐盲区回到对齐区域。

SENTINEL把防御做成生成时的意图抽取：对齐输入与输出中语义接近的窗口，对抽出的子序列做拒答方向打分，超阈值则停写。不改模型参数。

问题设定与匹配目标

• 抽取对象：输入x长度为m，输出y长度为n。要抽出语义一致的子集xsub、ysub。对齐约束要求特征距离小于ε；信息量约束要求长度大于η且短于全文。
• 窗口化：作者称单token语义过孤立，故改为滑动上下文窗口。对每个窗口赋抽取概率p、q，在单纯形上优化。
• 实用目标：min_p,q p^⊤ D_μν q − α(p^⊤ D_μμ p + q^⊤ D_νν q)。前一项是交叉集Wasserstein距离的上界替代，后一项拉大组内方差，避免p、q退化为one-hot。α权衡对齐精度与信息量。附录C给出该上界推导。
• 求解：对未归一化分数做softmax，用Adam优化5步。实现取α=0.25。

窗口特征与token分数

• 窗口：stride为1，实现长度为5、10、15，以覆盖短程与长程。
• 特征：取最终层token隐状态，窗口内均值池化后再L2归一化。
• 聚合：token分数s_t是覆盖该token的窗口分数的平均。Figure 1示意优化会保留语义接近的窗口并去掉大部分对抗token。

自适应清洗与去重

• 多阈值：在0到1上均匀取阈值，保留分数不低于θ_i的token，得到不同清洗程度的候选。实现为5个线性间隔阈值。
• 去重：按余弦相似度做贪心max-min，保留K个互不相似的子序列，从重要性最高的候选开始。实现K=2。附录B给出流程。

拒答方向打分

• 方向：对目标LLM，用成对有害与无害数据的激活均值差并归一化，再在另一验证集上选取层l*与位置i*的单位方向r̂。论文未写明这些数据集的名称。
• 判定：s_refusal=⟨ h^(l∗)_i^∗,r̂⟩。对K个候选取平均，与阈值τ比较。τ为良性数据投影的均值加两倍标准差。作者称这样大约97.5%的良性提示不受过拒影响；这是阈值规则，不是Table 1的实测FPR。

生成时介入

• 周期检查：不等完整输出。每生成10个token运行一次，最多10次。判定有害则停写并附加拒答。
• 开销：附录H称意图优化本身通常不到0.1秒，瓶颈在打分前向。作者称理论开销不到标准生成的10%，附录H有复杂度比较。

实验设置

• 目标模型：主表为Llama2-7B、Llama3-8B、Mistral-7B-v0.2、Vicuna-7B。实现细节写vicuna-7b-v1.5；附录Table 4另有Llama3.1-8B与Qwen-2.5-14b。检查点为预训练模型，SENTINEL不做额外微调。
• 攻击与规模：HarmBench上每种攻击300条。攻击为GCG、AutoDAN、GPT-Fuzz、FewShot、PAIR、RADICAL、DSA。
• 基线配置：RPO、CB、LAT、IBProtector、MoGU。各防御只在其原工作所用或微调的同一LLM上比较，且限于不用越狱样本训练的zero-shot防御。因而Table 1中Llama2-7B与Vicuna-7B有IBProtector、MoGU、RPO；Llama3-8B有CB、LAT；Mistral-7B-v0.2只有CB。消融基线为RDP。
• 指标与评审：ASR用HarmBench微调的Llama2-13B分类器；SR用StrongReject微调的Gemma-2B，表头标为百分比；FPR用GPT-4，遵循OR-Bench协议。IPS是关键token相对非关键token的重要性分数AUROC。
• 效用数据：AlpacaEval、Puffin、TriviaQA中随机共2,000条良性查询；OR-Bench随机2,000条边界问题；另测ARC-C、TruthfulQA、GSM8K。
• 实现：最终层残差流；窗口5、10、15；Adam 5步；α=0.25；阈值5个；K=2；每10个token检查、最多10次；单卡A100 80GB。论文未报告重复次数。

主结果

SENTINEL的FPR与ASR（%），据Table 1。SR未列入。

表格较宽，可左右滑动

模型	Benign FPR	OR-Bench FPR	GCG ASR	PAIR ASR	AutoDAN ASR
Llama2-7B	3.05	34.02	5.66	2.33	0.00
Llama3-8B	3.09	29.70	0.67	1.66	0.67
Mistral-7B-v0.2	1.59	24.66	4.00	2.00	0.67
Vicuna-7B	2.05	20.76	6.00	7.33	2.67

• 作者概括：摘要称把ASR降到接近5%，且OR-Bench过拒低于防御效果相近的方法。引言称Mistral-7B-v0.2这类弱对齐模型低于5%，Llama-3-8B这类强对齐模型接近3%。正文称大体持平或优于所比防御，同时过拒更低。
• 并非每格最低：Llama2-7B的FewShot，SENTINEL ASR为4.33%，MoGU为1.00%，IBProtector为1.33%；该模型OR-Bench FPR高于RPO的23.45%。Llama3-8B的GPT-Fuzz，SENTINEL为1.67%，CB与LAT为1.00%；AutoDAN上CB、LAT为0.00%。Mistral的AutoDAN，CB为0.00%；RADICAL上CB为2.33%、SENTINEL为3.00%。反向差距如Vicuna的AutoDAN，SENTINEL为2.67%、MoGU为29.67%。
• 无防御与其余攻击：无防御GCG ASR为Llama2-7B 44.00%、Llama3-8B 44.67%、Mistral 90.00%、Vicuna 81.67%。SENTINEL的RADICAL ASR依次为1.33%、0.67%、3.00%、1.00%；DSA依次为2.00%、4.67%、3.33%、5.00%。作者称DSA无防御时ASR已较低，因模型往往难以理解拆分载荷，但流畅输出仍会暴露意图。

意图抽取与可分性

• 对比：在vicuna-7b-v1.5与Llama2-7B上，用GCG、AutoDAN、GPT-Fuzz比较上下文匹配打分与随机打分。拒答倾向用拒答短语的对数似然。
• 作者解读：匹配打分的IPS常接近1，随机打分近0.5，后者常把越狱判成良性。Figure 3横轴为IPS、纵轴为log-likelihood；散点位置在文本转换中不可见。
• 与RDP：作者称抽取后越狱有害分数右移，良性与边界变化小。Figure 2文字行（标为Llama2-7B）给出RDP到SENTINEL：GCG ASR 10.00到0.67，FewShot 6.33到1.67，PAIR 6.33到0.67，AutoDAN 0.00到0.00，GPTFuzz 9.33到0.00，Benign FPR 3.06到3.09，Boundary FPR 35.77到34.02。该行与Table 1的Llama2-7B SENTINEL（GCG ASR 5.66，Benign FPR 3.05）不一致。图例为Benign、Boundary、Attack；曲线不可见。

机制与白盒自适应

• 特征再分布：作者称Figure 4在Vicuna-7B上，良性与有害分布分别以蓝、红轮廓表示；越狱点（文中称黄色）位于远离对齐区域的高密度区域，提取子序列（文中称紫色）回到对齐区域；OR-Bench子序列多落在良性区域。点的位置在文本转换中不可见。
• 只要求顺从开头：Table 3在VICUNA-7B-V1.5上，20个可学习位置。Compliance-only的Ada-GCG为IPS 0.32、ASR 3.00、SR 3.49；Ada-AutoDAN为0.14、6.67、5.71；Ada-GPTFuzz为0.19、3.67、4.22。作者称IPS下降，但输出常跑题或乱码，有害行为没保住。
• 同时要求贴题：Compliance + On-topicness的Ada-GCG为IPS 0.96、ASR 4.33、SR 5.67；Ada-AutoDAN为0.95、5.33、5.12；Ada-GPTFuzz为0.96、4.67、4.85。作者称行为被保住但意图被暴露，因而仍抵抗该自适应攻击。

其他消融与分析

• α：附录F在Vicuna-1.5的GCG与AutoDAN上称，α=0时FPR最低但ASR不是最低；α=0.25时ASR最低且FPR仍低。Figure 5柱值列对齐不可靠，不转写。
• K与NumThresh：作者称K=2时ASR与FPR都最低；NumThresh=5较好，设为10时ASR不再下降、成本加倍、FPR上升。
• Table 2：Llama3-8B的ARC-c从60.75到58.54，TruthfulQA从51.65到49.81，GSM8K从68.69到66.37；Mistral的GSM8K从40.03到38.49。作者称只有小幅下降。
• Table 4：Llama3.1-8B的AutoDAN ASR，IA one pass为18.33、two pass为9.33、SENTINEL为0.33；GCG上two pass为1.00，低于SENTINEL的2.33。表头Qwen-14B-2.5的GPT-Fuzz为24.33、13.00、0.67。作者称复杂提示会覆写分析指令；附录G给了例子。
• Figure 6与附录I：作者称优化前IPS为0.5，GCG与AutoDAN接近1，GPT-Fuzz在Llama2上约0.9、Vicuna上0.75。附录I称GPT-Fuzz的IPS最低，Vicuna更易脱离原始请求去解释角色扮演。
• 耗时：Table 6中AutoDAN平均长度1478，意图优化0.069秒，打分0.357秒；GCG打分均值0.124秒。附录D称即使最长提示，单次调用也在1.5秒内。

作者指出的局限与后续方向

• token空间：Section 6称SENTINEL主要在token空间运作，可能不如连续隐表示有表达力。
• 为何未做隐空间匹配：Section 6称隐空间防御总是考虑整个上下文，而不是输入中的隐藏意图，且在表示空间定义意图匹配并非平凡工作。
• 后续方向：Section 6称未来可在表示空间直接定义意图匹配，以支持更广的防御和更深的机制分析。

论文的局限与后续工作集中在Section 6，未再单列其他不足。

实验覆盖范围

• 模型：主表为Llama2-7B、Llama3-8B、Mistral-7B-v0.2、Vicuna-7B；附录Table 4另有Llama3.1-8B与Qwen-2.5-14b。实现细节写mistral-7b-v2，Figure 7写Mistral-7B-Instruct-v0.2，主表写Mistral-7B-v0.2；论文未说明三者是否为同一检查点。
• 攻击与基线：HarmBench上GCG、AutoDAN、GPT-Fuzz、FewShot、PAIR、RADICAL、DSA，每种300条。基线只出现在原工作所用或微调的同一LLM上，Table 1并非每个模型都有全部基线。比较限于zero-shot、不用越狱样本训练的防御。
• 效用与评审：良性查询共2,000条，来自AlpacaEval、Puffin、TriviaQA；OR-Bench 2,000条；另有ARC-C、TruthfulQA、GSM8K。ASR评审为Llama2-13B分类器，SR为Gemma-2B，FPR为GPT-4。
• 自适应与超参：Table 3的自适应攻击在Vicuna-7B-v1.5上，为full white-box access、20个可学习位置、两种L_beh。附录F的超参分析在Vicuna-1.5的GCG与AutoDAN上。生成时每10个token检查，最多10次。
• 未写明的设置：论文未报告重复次数，未报告自适应攻击的外层优化步数，也未报告拟合拒答方向时所用有害与无害数据集的名称。

SENTINEL是不改参数的生成时越狱防御，用输入输出语义一致性把隐藏意图抽出来再打分。

• 问题：复杂提示把有害意图包在对抗上下文里。作者认为token扰动难扩展到长提示，安全提示易被覆写，且现有防御很少定位意图。
• 做法：滑动窗口匹配得到token重要性，多阈值清洗并保留K=2个不相似子序列，再投影到预先算好的拒答方向。超过良性投影均值加两倍标准差即停写。每10个token检查，最多10次。
• 主结果：Table 1中Mistral-7B-v0.2的GCG ASR，无防御为90.00%，SENTINEL为4.00%；Llama3-8B的SENTINEL GCG ASR为0.67%。引言称弱对齐模型低于5%、强对齐模型接近3%；摘要则说接近5%。同表Llama2-7B的OR-Bench FPR，SENTINEL为34.02%，RPO为23.45%。
• 例外：并非每格都低于基线。Llama2-7B的FewShot上，SENTINEL ASR为4.33%，高于MoGU的1.00%。Llama3-8B的DSA上，SENTINEL ASR为4.67%，并不都落在“接近3%”。
• 其他证据：Table 3在Vicuna-7B-v1.5上，on-topic自适应的Ada-GCG IPS为0.96、ASR为4.33%；只要求顺从开头时IPS降到0.14–0.32，作者称输出常跑题。Table 2中Llama3-8B的GSM8K从68.69到66.37。作者把机制说成：子序列把越狱特征从对齐盲区重新分布到对齐区域，从而重新激活对齐。