Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2602.07107· Shang Liu, Hanyu Pei, Zeyan Liu·Indexed by this site · Originally published

ShallowJail: Guiding Jailbreak Attacks Against Large Language Models

ShallowJail: Steering Jailbreaks against Large Language Models

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

ShallowJail在Llama-3.1-8B上、τ=150、α=0.8时，AdvBench ASR为0.9702。

Threat model攻击者要让对齐LLM生成有害输出。论文未将ShallowJail标为white-box或black-box。

Questions
对齐LLM仍会被越狱。作者称白盒攻击要持续访问完整生成、更易被监控发现，黑盒提示又费力且难跨模型使用。问题是只操纵初始token能否导向有害输出。
Methods
ShallowJail用合规前缀与拒绝前缀最后token的各层隐藏状态之差，归一化成转向向量。生成时，位置不超过τ的token加α倍向量，其后乘β。不另训练，向量与具体恶意任务无关。
Experiments and results
Qwen3/Qwen2.5/Llama在τ=150时AdvBench ASR为0.9019/0.8615/0.9702。ForbiddenQuestions为0.5718/0.4872/0.5833（Table I）。
Limitations and future work
无Limitations小节。作者计划做adaptive steering，并呼吁全程防御。评测含3个开源模型与Direct；未报告重复次数、人工一致性，以及Llama Guard、JBShield、Gradient Cuff的结果。
Experimental setupQwen3-4B-Instruct-2507、Qwen2.5-7B-Instruct et al. · AdvBench、MaliciousInstruct et al. · ASR、PPL et al.
Threat model
攻击者要让对齐LLM生成有害输出。论文未将ShallowJail标为white-box或black-box。方法在推理时改写各层隐藏状态，由合规与拒绝前缀之差得到转向向量，不另训练。受害对象是三个公开开源指令模型。判定用Qwen3Guard-Gen-4B的三类标签计ASR。
Evaluated models
Qwen3-4B-Instruct-2507Qwen2.5-7B-InstructLlama-3.1-8B-Instruct
Benchmarks
AdvBenchMaliciousInstructForbiddenQuestionsAceReason-Math
Metrics
ASRPPLD2G
AI summaryThe researchers propose ShallowJail, a jailbreak attack that exploits the shallow alignment of large language models by manipulating the initial tokens during the inference stage to mislead model outputs. The paper states that this attack significantly reduces the safety of responses from current state-of-the-art large language models in experiments. The authors note that existing jailbreak methods are either black-box, relying on carefully crafted and non-stealthy prompts, or white-box, requiring substantial computational resources. The code has been made publicly available on GitHub.

The researchers propose ShallowJail, a jailbreak attack that exploits the shallow alignment of large language models by manipulating the initial tokens during the inference stage to mislead model outputs. The paper states that this attack significantly reduces the safety of responses from current state-of-the-art large language models in experiments. The authors note that existing jailbreak methods are either black-box, relying on carefully crafted and non-stealthy prompts, or white-box, requiring substantial computational resources. The code has been made publicly available on GitHub.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    ShallowJail用合规与拒绝前缀的差做激活转向，在推理时改浅层隐藏状态。

    对齐后的LLM能否只靠操纵生成初期的token，被导向有害输出。

    • 场景：作者称经过RLHF和对抗红队，模型仍可能输出恶意、有毒或冒犯内容；这会削弱对部署系统的信任，极端情况下带来社会风险。Figure 1用正常回答与越狱回答对照，不引用其中的有害句子。
    • 现有不足：作者称GCG、AutoDAN等白盒方法要持续访问完整token生成，更易被运行时监控和异常检测缓解；黑盒方法依赖人工提示，费力，且提示常绑在特定目标模型上，跨模型泛化有限。
    • 假设：作者援引shallow safety alignment，称安全机制不成比例地依赖最初生成的token，并问只操纵这些浅层token能否把回答导向有害内容。
    • 做法：提出ShallowJail。用合规前缀与拒绝前缀构造任务无关的转向向量，在推理时加进隐藏状态，不另做训练。作者称这样可以绕过现有对齐。
    • 威胁模型：
      • 目标：误导模型生成有害输出，即jailbreak。
      • 知识：引言把既有攻击分为white-box（可访问权重和梯度）与black-box（不知架构和权重）。论文没有把ShallowJail标成二者之一。
      • 能力：推理时改写各层隐藏状态；向量来自两类前缀的差，与具体恶意任务无关，且不另训练。实验输入是既有恶意提示，论文未描述提示改写。
      • 受害系统：HuggingFace上的对齐开源指令模型。成功与否由Qwen3Guard-Gen-4B把回答分成Safe、Controversial、Unsafe后计分。

  2. What related research exists?

    背景覆盖越狱、防护和激活转向；结果表只与Direct比较。

    背景按越狱、防护和激活转向组织，没有单独的Related Work实验对比。

    越狱攻击

    • 白盒优化：GCG（Zou等，2023）与AutoDAN（Liu等，2023）在可访问权重和梯度时优化扰动或生成越狱提示。作者称它们要持续访问完整生成过程，更易被运行时监控和异常检测缓解。
    • 黑盒提示：引言将黑盒攻击概括为不知架构与权重、依赖提示工程或语义操纵。作者称其费力，提示常与特定目标模型耦合，泛化有限，并引用可迁移性研究。
    • 前缀与后缀：prefilling/priming（Andriushchenko等，2024；Vega等，2023）以及对抗后缀工作被放在一起。论文只说它们考察对抗后缀对越狱的影响，未与ShallowJail做数值对比。

    防护与检测

    • 分类器：Llama Guard（Inan等，2023）与Qwen3guard（Zhao等，2025）。论文称它们是面向LLM回答的预训练分类器。
    • 概念干预与拒绝损失：JBShield（Zhang等，2025）识别并操纵有毒、恶意概念；Gradient Cuff（Hu等，2024）用拒绝损失做两步检测。论文未把二者放进结果表。

    激活转向

    • 推向拒绝：激活转向是推理时用预定向量修改隐藏状态。先前工作计算无害与有害回答之差，把文本或多模态回答推向拒绝，同时维持效用。
    • 其他控制：论文还列举防止个人信息泄露、控制情感、约束输出格式、改进翻译，以及分析内部机制。这些引用只作列举，未与本文做实验对照。

    浅层安全对齐

    • Qi等（2024）：论文称之为shallow safety alignment，要点是安全机制不成比例地依赖初始token。作者称重新考察了这一性质，并用于越狱。

    基线与数据集：结果表的基线只有Direct。数据集为AdvBench、MaliciousInstruct、ForbiddenQuestions；D2G的自然回答来自AceReason-Math。

    作者把ShallowJail定位成无需额外训练的任务无关激活转向：把合规信号注入前缀，以利用浅层对齐，而不是持续做梯度优化或手工设计提示。

  3. How does the paper address this problem?

    合规减拒绝得到转向向量，浅层token加α倍，其后乘β。

    ShallowJail在推理时改隐藏状态，不为每条恶意提示优化后缀，也不另训模型。Figure 2分成转向向量构造和越狱生成两阶段；图注称各模型的真实分词更复杂，且彼此不同。

    前缀与转向向量

    • 定义合规前缀集Dcom与拒绝前缀集Dref。作者称它们代表多数标准回答。主实验len(Dcom)=len(Dref)=10。
    • 对全部前缀配对，取最后token在各层的隐藏状态做差再平均：

    s=(∑i∑j[LH(dcom(i))−LH(dref(j))])/(len(Dcom)× len(Dref)) 该式是合规方向减去拒绝方向。再令s_hat=s/||s||。作者称最后token能代表整句语义，因此这个差给出越狱方向。

    按位置加向量

    • 生成token tk时，各层隐藏状态改为

    h′(tk)=h(tk)+αŝ (k≤τ),  h′(tk)=h(tk)+αβŝ (k>τ) k不超过τ时加α倍转向向量，超过后强度再乘β。

    • 浅层：k≤τ为Shallow Tokens Attack。作者称用全强度迫使模型先写出合规前缀，建立有帮助的人设，从而绕过通常在序列开头触发的拒绝。
    • 深层：k>τ为Deep Tokens Attack，强度为α×β。作者称这一段用来保住浅层阶段打开的有害轨迹，并维持流畅；只转深层不够，需要与浅层一起用。作者还称对齐在最初几步最脆弱，浅层一旦转到合规，后面降低强度后模型仍沿该方向走。

    使用方式与参数

    • 向量按模型构造，论文称与具体恶意任务无关。生成时加到各层，不改提示优化循环。
    • Table I主设置：τ=150，β=0.5；Qwen3-4B-Instruct-2507的α=5.0，Qwen2.5-7B-Instruct的α=6.5，Llama-3.1-8B-Instruct的α=0.8。
    • 解码：temperature=0.7，max new tokens=700，论文写top k=0.95，repetition penalty=1.1，其余默认。
    • 论文未写前缀句子的来源和全文，也未写是否只改部分层。Figure 2只示意两类前缀经各层后做差，再按浅层、深层相加。

  4. What experiments did the paper conduct?

    三个模型上ShallowJail的ASR高于Direct；ForbiddenQuestions一列更低。

    实验设置

    • 受害模型：Qwen3-4B-Instruct-2507、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct。作者称三者对齐良好，并从HuggingFace公开下载。
    • 数据：共1,010条恶意提示：AdvBench 520、MaliciousInstruct 100、ForbiddenQuestions 390。D2G的自然回答从AceReason-Math随机抽100条。
    • 基线与解码：Table I只比较Direct。temperature=0.7，max new tokens=700，论文写top k=0.95，repetition penalty=1.1，其余默认。主结果τ=150、β=0.5；α按上列模型为5.0、6.5、0.8。
    • ASR：作者弃用关键词匹配，称其会误判。评审模型为Qwen3Guard-Gen-4B，Safe、Controversial、Unsafe记为0.0、0.5、1.0，因此ASR不是Unsafe的比例。论文未写评审解码参数，也未报告与人工的一致性。
    • PPL与D2G：PPL以受害模型自身为评估器，越低表示越接近该模型的词分布。D2G是独特bigram除以全部bigram。
    • 未报告项：重复次数、随机种子、查询次数，以及构造转向向量所用前缀的全文。

    主结果

    据Table I。τ=150，β=0.5；α依次为5.0、6.5、0.8。表中ASR是三类分数的均值。

    Swipe horizontally to read the table

    受害模型方法AdvBenchMaliciousInstructForbiddenQuestions
    Qwen3-4B-Instruct-2507Direct0.00100.00500.0231
    Qwen3-4B-Instruct-2507ShallowJail0.90190.79500.5718
    Qwen2.5-7B-InstructDirect0.00480.04000.0833
    Qwen2.5-7B-InstructShallowJail0.86150.76500.4872
    Llama-3.1-8B-InstructDirect0.06350.02000.0641
    Llama-3.1-8B-InstructShallowJail0.97020.93500.5833
    • 作者解读：作者称三个模型、三个数据集上的安全性都被拉低。正文称Direct的ASR低于0.07；Table I里Qwen2.5-7B-Instruct在ForbiddenQuestions上的Direct高于0.07。
    • 与摘要的差别：摘要称Qwen2.5-7B-Instruct的ASR超过90%。Table I中该模型三列都低于0.90。结论里的上限与Llama-3.1-8B-Instruct的AdvBench一格相同。
    • 数据集差别：ForbiddenQuestions一列在三个模型上都低于另外两列。作者未解释这一差距。

    浅层与深层token

    Table III固定τ=150，没有Qwen2.5-7B-Instruct。

    • 只转深层：α=0、β=0.5时，Qwen3-4B-Instruct-2507的Avg为0.0096，Llama-3.1-8B-Instruct为0.0431。作者称这一设置带不出越狱。
    • 只转浅层：β=0时，Qwen3在α=5.0的Avg为0.5902，Llama在α=0.8的Avg为0.8172。
    • 两者都转：β=0.5时Avg为0.7562与0.8295。作者称浅层是主要驱动，深层用来维持已打开的轨迹。论文未写Avg是否按520、100、390加权。

    前缀规模与浅层长度

    • Table IV：Qwen3-4B-Instruct-2507（τ=150，α=5.0，β=0.5）在Dcom=Dref为3、5、8、10时，Avg为0.6716、0.7308、0.7135、0.7562。Llama-3.1-8B-Instruct（α=0.8）为0.8295、0.8352、0.8219、0.8295。Qwen2.5未报告。
    • 正文与表：正文称组合数从9到100时，Qwen3的平均ASR从0.6716到0.8295，Llama落在0.8295与0.8352之间、error为0.69%。Table IV中0.8295在Llama的Avg列，Qwen3最大Avg是0.7562；Llama还有0.8219。作者称多数情况下增大前缀集能提高ASR。
    • Figure 4：坐标轴为Attack Success Rate (ASR)与Affected Shadow Tokens，图例为3.0、4.0、4.5、5.0、5.5、6.0，并有文字Qwen2.5-7B-Instruct, = 0.0。作者称τ从10增到250时ASR上升，超过100后进入平台；并称α=7.5时稳定在near 0.9，α=5.0时峰值在0.5到0.6。7.5不在图例中。

    流畅度与超参权衡

    • PPL（Table I）：AdvBench上，Qwen3从1.3062到4.3697，Qwen2.5从1.8692到4.3208，Llama从1.5404到15.6540。Llama在MaliciousInstruct上的ShallowJail PPL为19.1552。作者称PPL升高后仍足够连贯，能完成恶意意图并避开自动拒答。
    • D2G（Table II）：表头写Qwen3-4B、Qwen2.5-7B、Llama-3.1-8B。Llama在AdvBench、Malicious、Forbidden、Natural为0.3449、0.4132、0.3431、0.2262。Qwen3-4B为0.1656、0.1647、0.1629、0.2012，前三列低于Natural。Qwen2.5-7B为0.1791、0.2030、0.2019、0.2009。结论称D2G常常超过自然回答；Table II里这主要出现在Llama，Qwen3-4B三列都更低。
    • Figure 3：图注为AdvBench上α、β、τ影响攻击效果，论文未说明模型。正文称α从3.0到6.0、β从0.1到0.9可提高ASR，但要与文本质量权衡。α=4.0、τ=150时，β从0.3到0.7，ASR从0.2125到0.8385。α=3.0时ASR保持在0.1以下。α=6.0且β走向0.9时D2G下降，作者称重复片段使越狱内容无法实际使用。

    其他消融与分析

    • 解码项temperature、max new tokens、top k、repetition penalty未做消融。
    • 方法写各层都加转向向量；论文未报告只改部分层的结果。
    • 实验在单卡H100 NVL（94GB）、H200（141GB）或5090（32GB）上运行，视节点而定。

  5. What are some points that can be further explored?

    论文未单列局限；作者计划做自适应转向，并呼吁全程防御。

    作者指出的局限与后续方向

    • 论文没有Limitations小节，未专门讨论方法自身的局限。
    • 后续攻击：Conclusion and Future Works写道，未来将构建adaptive steering method来触发越狱。
    • 防御方向：同一节称，需要在整个生成过程中持续起作用的防御。这是作者的呼吁，不是对某一实验缺口的列举。

    实验覆盖范围

    • 被测模型为Qwen3-4B-Instruct-2507、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct，共3个（Section IV-A）。
    • 恶意提示1,010条：AdvBench 520、MaliciousInstruct 100、ForbiddenQuestions 390；D2G自然对照为AceReason-Math的100条（IV-A、IV-B）。
    • 主结果基线为Direct。ASR由Qwen3Guard-Gen-4B按Safe、Controversial、Unsafe记为0.0、0.5、1.0来计算（IV-B、Table I）。
    • 消融包括τ、α、β和前缀规模。Table III、Table IV只含Qwen3-4B-Instruct-2507与Llama-3.1-8B-Instruct；Figure 4为Qwen2.5-7B-Instruct；Figure 3论文未说明模型（V-B、V-C）。
    • 论文未报告重复次数、查询次数和与人工判定的一致性。背景中的Llama Guard、JBShield、Gradient Cuff未出现在结果表中。

  6. Summarize the main content of the paper

    推理时用前缀差转向浅层隐藏状态，三模型上ASR高于Direct。

    ShallowJail是推理时的越狱方法，针对作者所称的浅层安全对齐。

    • 问题：对齐后的模型仍可能生成有害输出。作者认为安全机制不成比例地依赖最初的token，并称白盒方法要持续访问完整生成，黑盒方法依赖人工提示且跨模型泛化有限。
    • 方法：从合规前缀和拒绝前缀取最后token的各层隐藏状态之差，归一化后得到任务无关的转向向量。主实验每类前缀10条。生成时，前τ个token加α倍向量，其后乘β。Table I使用τ=150、β=0.5，三个模型的α为5.0、6.5、0.8。不另训练。
    • 主结果：Qwen3Guard-Gen-4B把Safe、Controversial、Unsafe记为0.0、0.5、1.0。按Qwen3-4B-Instruct-2507、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct的顺序，Table I中ShallowJail的AdvBench ASR为0.9019、0.8615、0.9702，ForbiddenQuestions为0.5718、0.4872、0.5833，都高于同表Direct。摘要称Qwen2.5-7B-Instruct超过90%，与表中0.8615不一致。
    • 消融与文本：只转深层时，Qwen3与Llama的Avg为0.0096、0.0431；浅层加深层为0.7562、0.8295（Table III）。Llama在AdvBench上的PPL从1.5404到15.6540。Table II中Llama的D2G高于Natural 0.2262，Qwen3-4B三列低于Natural 0.2012。
    • 作者结论：作者称浅层token是主要驱动，对齐在生成初期最脆弱，因而需要贯穿全程的防御，并计划以后做adaptive steering。
Read originalarxiv.org
#Jailbreaks and attacks