ShallowJail：引导针对大语言模型的越狱攻击

对齐后的LLM能否只靠操纵生成初期的token，被导向有害输出。

• 场景：作者称经过RLHF和对抗红队，模型仍可能输出恶意、有毒或冒犯内容；这会削弱对部署系统的信任，极端情况下带来社会风险。Figure 1用正常回答与越狱回答对照，不引用其中的有害句子。
• 现有不足：作者称GCG、AutoDAN等白盒方法要持续访问完整token生成，更易被运行时监控和异常检测缓解；黑盒方法依赖人工提示，费力，且提示常绑在特定目标模型上，跨模型泛化有限。
• 假设：作者援引shallow safety alignment，称安全机制不成比例地依赖最初生成的token，并问只操纵这些浅层token能否把回答导向有害内容。
• 做法：提出ShallowJail。用合规前缀与拒绝前缀构造任务无关的转向向量，在推理时加进隐藏状态，不另做训练。作者称这样可以绕过现有对齐。
• 威胁模型：
  • 目标：误导模型生成有害输出，即jailbreak。
  • 知识：引言把既有攻击分为white-box（可访问权重和梯度）与black-box（不知架构和权重）。论文没有把ShallowJail标成二者之一。
  • 能力：推理时改写各层隐藏状态；向量来自两类前缀的差，与具体恶意任务无关，且不另训练。实验输入是既有恶意提示，论文未描述提示改写。
  • 受害系统：HuggingFace上的对齐开源指令模型。成功与否由Qwen3Guard-Gen-4B把回答分成Safe、Controversial、Unsafe后计分。

背景按越狱、防护和激活转向组织，没有单独的Related Work实验对比。

越狱攻击

• 白盒优化：GCG（Zou等，2023）与AutoDAN（Liu等，2023）在可访问权重和梯度时优化扰动或生成越狱提示。作者称它们要持续访问完整生成过程，更易被运行时监控和异常检测缓解。
• 黑盒提示：引言将黑盒攻击概括为不知架构与权重、依赖提示工程或语义操纵。作者称其费力，提示常与特定目标模型耦合，泛化有限，并引用可迁移性研究。
• 前缀与后缀：prefilling/priming（Andriushchenko等，2024；Vega等，2023）以及对抗后缀工作被放在一起。论文只说它们考察对抗后缀对越狱的影响，未与ShallowJail做数值对比。

防护与检测

• 分类器：Llama Guard（Inan等，2023）与Qwen3guard（Zhao等，2025）。论文称它们是面向LLM回答的预训练分类器。
• 概念干预与拒绝损失：JBShield（Zhang等，2025）识别并操纵有毒、恶意概念；Gradient Cuff（Hu等，2024）用拒绝损失做两步检测。论文未把二者放进结果表。

激活转向

• 推向拒绝：激活转向是推理时用预定向量修改隐藏状态。先前工作计算无害与有害回答之差，把文本或多模态回答推向拒绝，同时维持效用。
• 其他控制：论文还列举防止个人信息泄露、控制情感、约束输出格式、改进翻译，以及分析内部机制。这些引用只作列举，未与本文做实验对照。

浅层安全对齐

• Qi等（2024）：论文称之为shallow safety alignment，要点是安全机制不成比例地依赖初始token。作者称重新考察了这一性质，并用于越狱。

基线与数据集：结果表的基线只有Direct。数据集为AdvBench、MaliciousInstruct、ForbiddenQuestions；D2G的自然回答来自AceReason-Math。

作者把ShallowJail定位成无需额外训练的任务无关激活转向：把合规信号注入前缀，以利用浅层对齐，而不是持续做梯度优化或手工设计提示。

ShallowJail在推理时改隐藏状态，不为每条恶意提示优化后缀，也不另训模型。Figure 2分成转向向量构造和越狱生成两阶段；图注称各模型的真实分词更复杂，且彼此不同。

前缀与转向向量

• 定义合规前缀集Dcom与拒绝前缀集Dref。作者称它们代表多数标准回答。主实验len(Dcom)=len(Dref)=10。
• 对全部前缀配对，取最后token在各层的隐藏状态做差再平均：

s=(∑_i∑_j[L_H(d_com⁽ⁱ⁾)−L_H(d_ref^(j))])/(len(D_com)× len(D_ref)) 该式是合规方向减去拒绝方向。再令s_hat=s/||s||。作者称最后token能代表整句语义，因此这个差给出越狱方向。

按位置加向量

• 生成token tk时，各层隐藏状态改为

h′(t_k)=h(t_k)+αŝ (k≤τ),  h′(t_k)=h(t_k)+αβŝ (k>τ) k不超过τ时加α倍转向向量，超过后强度再乘β。

• 浅层：k≤τ为Shallow Tokens Attack。作者称用全强度迫使模型先写出合规前缀，建立有帮助的人设，从而绕过通常在序列开头触发的拒绝。
• 深层：k>τ为Deep Tokens Attack，强度为α×β。作者称这一段用来保住浅层阶段打开的有害轨迹，并维持流畅；只转深层不够，需要与浅层一起用。作者还称对齐在最初几步最脆弱，浅层一旦转到合规，后面降低强度后模型仍沿该方向走。

使用方式与参数

• 向量按模型构造，论文称与具体恶意任务无关。生成时加到各层，不改提示优化循环。
• Table I主设置：τ=150，β=0.5；Qwen3-4B-Instruct-2507的α=5.0，Qwen2.5-7B-Instruct的α=6.5，Llama-3.1-8B-Instruct的α=0.8。
• 解码：temperature=0.7，max new tokens=700，论文写top k=0.95，repetition penalty=1.1，其余默认。
• 论文未写前缀句子的来源和全文，也未写是否只改部分层。Figure 2只示意两类前缀经各层后做差，再按浅层、深层相加。

实验设置

• 受害模型：Qwen3-4B-Instruct-2507、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct。作者称三者对齐良好，并从HuggingFace公开下载。
• 数据：共1,010条恶意提示：AdvBench 520、MaliciousInstruct 100、ForbiddenQuestions 390。D2G的自然回答从AceReason-Math随机抽100条。
• 基线与解码：Table I只比较Direct。temperature=0.7，max new tokens=700，论文写top k=0.95，repetition penalty=1.1，其余默认。主结果τ=150、β=0.5；α按上列模型为5.0、6.5、0.8。
• ASR：作者弃用关键词匹配，称其会误判。评审模型为Qwen3Guard-Gen-4B，Safe、Controversial、Unsafe记为0.0、0.5、1.0，因此ASR不是Unsafe的比例。论文未写评审解码参数，也未报告与人工的一致性。
• PPL与D2G：PPL以受害模型自身为评估器，越低表示越接近该模型的词分布。D2G是独特bigram除以全部bigram。
• 未报告项：重复次数、随机种子、查询次数，以及构造转向向量所用前缀的全文。

主结果

据Table I。τ=150，β=0.5；α依次为5.0、6.5、0.8。表中ASR是三类分数的均值。

表格较宽，可左右滑动

受害模型	方法	AdvBench	MaliciousInstruct	ForbiddenQuestions
Qwen3-4B-Instruct-2507	Direct	0.0010	0.0050	0.0231
Qwen3-4B-Instruct-2507	ShallowJail	0.9019	0.7950	0.5718
Qwen2.5-7B-Instruct	Direct	0.0048	0.0400	0.0833
Qwen2.5-7B-Instruct	ShallowJail	0.8615	0.7650	0.4872
Llama-3.1-8B-Instruct	Direct	0.0635	0.0200	0.0641
Llama-3.1-8B-Instruct	ShallowJail	0.9702	0.9350	0.5833

• 作者解读：作者称三个模型、三个数据集上的安全性都被拉低。正文称Direct的ASR低于0.07；Table I里Qwen2.5-7B-Instruct在ForbiddenQuestions上的Direct高于0.07。
• 与摘要的差别：摘要称Qwen2.5-7B-Instruct的ASR超过90%。Table I中该模型三列都低于0.90。结论里的上限与Llama-3.1-8B-Instruct的AdvBench一格相同。
• 数据集差别：ForbiddenQuestions一列在三个模型上都低于另外两列。作者未解释这一差距。

浅层与深层token

Table III固定τ=150，没有Qwen2.5-7B-Instruct。

• 只转深层：α=0、β=0.5时，Qwen3-4B-Instruct-2507的Avg为0.0096，Llama-3.1-8B-Instruct为0.0431。作者称这一设置带不出越狱。
• 只转浅层：β=0时，Qwen3在α=5.0的Avg为0.5902，Llama在α=0.8的Avg为0.8172。
• 两者都转：β=0.5时Avg为0.7562与0.8295。作者称浅层是主要驱动，深层用来维持已打开的轨迹。论文未写Avg是否按520、100、390加权。

前缀规模与浅层长度

• Table IV：Qwen3-4B-Instruct-2507（τ=150，α=5.0，β=0.5）在Dcom=Dref为3、5、8、10时，Avg为0.6716、0.7308、0.7135、0.7562。Llama-3.1-8B-Instruct（α=0.8）为0.8295、0.8352、0.8219、0.8295。Qwen2.5未报告。
• 正文与表：正文称组合数从9到100时，Qwen3的平均ASR从0.6716到0.8295，Llama落在0.8295与0.8352之间、error为0.69%。Table IV中0.8295在Llama的Avg列，Qwen3最大Avg是0.7562；Llama还有0.8219。作者称多数情况下增大前缀集能提高ASR。
• Figure 4：坐标轴为Attack Success Rate (ASR)与Affected Shadow Tokens，图例为3.0、4.0、4.5、5.0、5.5、6.0，并有文字Qwen2.5-7B-Instruct, = 0.0。作者称τ从10增到250时ASR上升，超过100后进入平台；并称α=7.5时稳定在near 0.9，α=5.0时峰值在0.5到0.6。7.5不在图例中。

流畅度与超参权衡

• PPL（Table I）：AdvBench上，Qwen3从1.3062到4.3697，Qwen2.5从1.8692到4.3208，Llama从1.5404到15.6540。Llama在MaliciousInstruct上的ShallowJail PPL为19.1552。作者称PPL升高后仍足够连贯，能完成恶意意图并避开自动拒答。
• D2G（Table II）：表头写Qwen3-4B、Qwen2.5-7B、Llama-3.1-8B。Llama在AdvBench、Malicious、Forbidden、Natural为0.3449、0.4132、0.3431、0.2262。Qwen3-4B为0.1656、0.1647、0.1629、0.2012，前三列低于Natural。Qwen2.5-7B为0.1791、0.2030、0.2019、0.2009。结论称D2G常常超过自然回答；Table II里这主要出现在Llama，Qwen3-4B三列都更低。
• Figure 3：图注为AdvBench上α、β、τ影响攻击效果，论文未说明模型。正文称α从3.0到6.0、β从0.1到0.9可提高ASR，但要与文本质量权衡。α=4.0、τ=150时，β从0.3到0.7，ASR从0.2125到0.8385。α=3.0时ASR保持在0.1以下。α=6.0且β走向0.9时D2G下降，作者称重复片段使越狱内容无法实际使用。

其他消融与分析

• 解码项temperature、max new tokens、top k、repetition penalty未做消融。
• 方法写各层都加转向向量；论文未报告只改部分层的结果。
• 实验在单卡H100 NVL（94GB）、H200（141GB）或5090（32GB）上运行，视节点而定。

作者指出的局限与后续方向

• 论文没有Limitations小节，未专门讨论方法自身的局限。
• 后续攻击：Conclusion and Future Works写道，未来将构建adaptive steering method来触发越狱。
• 防御方向：同一节称，需要在整个生成过程中持续起作用的防御。这是作者的呼吁，不是对某一实验缺口的列举。

实验覆盖范围

• 被测模型为Qwen3-4B-Instruct-2507、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct，共3个（Section IV-A）。
• 恶意提示1,010条：AdvBench 520、MaliciousInstruct 100、ForbiddenQuestions 390；D2G自然对照为AceReason-Math的100条（IV-A、IV-B）。
• 主结果基线为Direct。ASR由Qwen3Guard-Gen-4B按Safe、Controversial、Unsafe记为0.0、0.5、1.0来计算（IV-B、Table I）。
• 消融包括τ、α、β和前缀规模。Table III、Table IV只含Qwen3-4B-Instruct-2507与Llama-3.1-8B-Instruct；Figure 4为Qwen2.5-7B-Instruct；Figure 3论文未说明模型（V-B、V-C）。
• 论文未报告重复次数、查询次数和与人工判定的一致性。背景中的Llama Guard、JBShield、Gradient Cuff未出现在结果表中。

ShallowJail是推理时的越狱方法，针对作者所称的浅层安全对齐。

• 问题：对齐后的模型仍可能生成有害输出。作者认为安全机制不成比例地依赖最初的token，并称白盒方法要持续访问完整生成，黑盒方法依赖人工提示且跨模型泛化有限。
• 方法：从合规前缀和拒绝前缀取最后token的各层隐藏状态之差，归一化后得到任务无关的转向向量。主实验每类前缀10条。生成时，前τ个token加α倍向量，其后乘β。Table I使用τ=150、β=0.5，三个模型的α为5.0、6.5、0.8。不另训练。
• 主结果：Qwen3Guard-Gen-4B把Safe、Controversial、Unsafe记为0.0、0.5、1.0。按Qwen3-4B-Instruct-2507、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct的顺序，Table I中ShallowJail的AdvBench ASR为0.9019、0.8615、0.9702，ForbiddenQuestions为0.5718、0.4872、0.5833，都高于同表Direct。摘要称Qwen2.5-7B-Instruct超过90%，与表中0.8615不一致。
• 消融与文本：只转深层时，Qwen3与Llama的Avg为0.0096、0.0431；浅层加深层为0.7562、0.8295（Table III）。Llama在AdvBench上的PPL从1.5404到15.6540。Table II中Llama的D2G高于Natural 0.2262，Qwen3-4B三列低于Natural 0.2012。
• 作者结论：作者称浅层token是主要驱动，对齐在生成初期最脆弱，因而需要贯穿全程的防御，并计划以后做adaptive steering。