Skip to content

Translation in progress Some entries still include text in the original language.

Original
论文追踪· arXiv:2606.05609· Seungwon Jeong, Jiwoo Jeong, Hyeonjin Kim, Yunseok Lee, Woojin Lee·Indexed by this site · Originally published

SlotGCG 利用提示词位置漏洞提升 LLM 越狱攻击成功率

SlotGCG: Exploiting the Positional Vulnerability in LLMs for Jailbreak Attacks

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

SlotGCG按VSS选槽再做优化；Table 1中Llama-2-13B的I-GCG组合ASR为94.0%。

Threat model优化式越狱：向带 chat template 的指令微调 LLM 的 token 前、中、后插入对抗 token，以提高有害回复概率。

Questions
GCG 类越狱把对抗 token 固定在提示词后缀。作者要确定其他插入位置是否更容易让模型给出有害回复，并据此选择攻击落点。
Methods
在每个插入槽放探测 token，用上半层对 after-chat 模板 token 的注意力算 VSS，按 softmax 分配对抗 token，再做 GCG 类优化。作者称该搜索与具体攻击解耦，预处理增加 200ms。
Experiments and results
在 AdvBench 50 条、六个开源模型上，Table 1 多数格上升，Vicuna 的 AttnGCG 等有下降。Table 3 困惑度过滤下 ASR 为 0.0%，未写模型。GPT-3.5-turbo 迁移 ASRGPT 从 3.09% 到 50.77%。
Limitations and future work
论文未专门讨论局限。主实验是 6 个开源模型和 AdvBench 的 50 条；Table 3 未标明目标模型；迁移在 388 条上只报 ASRGPT。论文未报告按查询次数计的成本。
Experimental setupLLAMA2-7B-CHAT、LLAMA2-13B-CHAT et al. · AdvBench（50 harmful behaviors）、388-behavior transfer set（Zou et al., 2023） · ASR、ASRHuman et al.
Threat model
优化式越狱：向带 chat template 的指令微调 LLM 的 token 前、中、后插入对抗 token，以提高有害回复概率。VSS 用上半层注意力，更新用 GCG 梯度。相关工作称可访问梯度或 logits 为白盒。第 5.1 节 Threat Models 只列被测模型，无单独知识定义。
Evaluated models
LLAMA2-7B-CHATLLAMA2-13B-CHATLLAMA-3.1-8B-INSTRUCTMISTRAL-7B-INSTRUCT-0.2VICUNA-7B-1.5QWEN2.5-7B-INSTRUCTGPT-3.5-turboGPT-4oGemini 2.0 FlashGemini 2.5 Pro
Benchmarks
AdvBench（50 harmful behaviors）388-behavior transfer set（Zou et al., 2023）
Metrics
ASRASRHumanASRGPTiterations to success
AI summary研究者提出 SlotGCG，通过在全提示词范围内搜索对抗 token 的插入位置来提升越狱攻击效果。作者先实证考察提示词中的候选插入位置（slots），发现越狱脆弱性与位置选择高度相关，据此提出 Vulnerable Slot Score（VSS）量化各位置的可攻击性，再选出最脆弱的位置执行定向优化攻击。该方法与具体攻击无关，可插入任何基于优化的攻击，仅增加 200ms 预处理时间。在多个模型上的实验显示，其攻击成功率比基于 GCG 的攻击高 14%，收敛更快，面对防御方法时比基线高 42%。实现代码已公开，论文被 ICLR 2026 接收。

研究者提出 SlotGCG，通过在全提示词范围内搜索对抗 token 的插入位置来提升越狱攻击效果。作者先实证考察提示词中的候选插入位置（slots），发现越狱脆弱性与位置选择高度相关，据此提出 Vulnerable Slot Score（VSS）量化各位置的可攻击性，再选出最脆弱的位置执行定向优化攻击。该方法与具体攻击无关，可插入任何基于优化的攻击，仅增加 200ms 预处理时间。在多个模型上的实验显示，其攻击成功率比基于 GCG 的攻击高 14%，收敛更快，面对防御方法时比基线高 42%。实现代码已公开，论文被 ICLR 2026 接收。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者报告最优槽不是后缀；SlotGCG 用 VSS 选槽再优化。

    GCG 把对抗 token 固定接在有害提示词末尾，其他插入位置对越狱的影响缺少系统比较。

    • 场景： 作者认为模型广泛部署后，越狱被用作红队，用来暴露对齐机制里的漏洞。GCG 把对抗 token 放在后缀；作者援引既有工作，称后缀对输出影响偏大，注意力可能放大这类扰动。
    • 不足： 作者认为后缀方法把后缀当成最优位置，因此没探索提示内部的其他插入点。插在任意位置时模式更多，需要扫描整段提示，作者认为更难被检测。
    • 观察： 在 AdvBench 的 50 条、Llama 2-7B-Chat 上，穷尽扫描后损失最低的槽都不是后缀，且各提示的最优槽不同（Figure 3）。作者用注意力定义 VSS，并称高分槽在优化前后大体保持（Figure 4，系数多在 0.4 到 0.9）。
    • 方法： SlotGCG 用 VSS 给全部槽打分，把对抗 token 分到高分槽，再做目标优化。作者称该位置搜索与具体攻击无关，可接到基于优化的攻击上，预处理只增加 200ms。
    • 威胁模型：
      • 目标： 使模型生成有害目标回复；优化目标是降低该回复的负对数似然。正文示例是以肯定句开头的有害教程式文本，此处不复述原句。
      • 知识： VSS 使用上半层注意力，更新 token 使用 GCG 的梯度。相关工作把可访问参数、梯度或 logits 的设定称为白盒。第 5.1 节的 Threat Models 是被测模型列表，没有另写攻击者知识定义。
      • 能力： 可在原序列的槽中插入并替换对抗 token。多段插入从右到左，使槽下标相对原序列保持稳定。
      • 受害系统： 经 chat template 输入的指令微调 LLM。VSS 的注意力来源是 after-chat 模板 token。

  2. What related research exists?

    论文把本文放在 GCG 类后缀攻击之外，用 VSS 搜索插入槽。

    相关工作按攻击、GCG 变体、位置因素和防御组织；实验另有一组优化攻击和防御对照。

    自动化越狱

    • 早期手工提示： 相关工作写，Wei 等（2023a）、Shen 等（2024）的手工越狱可以让模型生成有害或违反政策的内容。
    • 白盒： 论文把可访问参数、梯度或 logits 的方法称为白盒，例子是 Jones 等（2023）的梯度优化，以及 Zhang 等（2023）、Zhao 等（2024a）的 logit 操纵。
    • 黑盒： 只有输入输出。论文列举模板补全（Li 等，2023；Wei 等，2023b；2022）、提示改写（Yuan 等，2023；Yong 等，2023），以及用另一个 LLM 生成攻击提示（Deng 等，2023；Shah 等，2023；Mehrotra 等，2024）。

    GCG 及其后续

    • GCG： Zou 等（2023）贪心更新通用对抗后缀，提高有害回复概率。
    • 效率与注意力： 多坐标更新（Jia 等，2024）、动量（Zhang 与 Wei，2025；Li 等，2024a）、更高效搜索（Li 等，2024b），以及与遗传算法结合（Liu 等，2023）。Wang 等（2024）的 AttnGCG 操纵注意力。论文写 Ben-Tov 等（2025）分析后缀劫持注意力，并提出旨在抑制该效应、用于防御的 GCG-Hij；实验节则把 GCG-Hij 标为 Zhao 等（2024b）的攻击基线。
    • 论文的批评： GCG 类方法主要优化接在末尾的后缀，其他位置维度未被充分探索。

    位置因素

    • 间接结果： Wang 等（2025）报告不同位置的触发器带来不同激活；Mu 等（2025）报告后缀坐标里只有一部分对攻击有贡献；Rocamora 等（2024）报告字符级位置效应。
    • 论文的批评： 这些工作只通过消融、触发器定位或坐标掩码间接看位置，没有把插入槽本身当作搜索对象。

    防御

    • 提示级： Jain 等（2023）过滤恶意提示；Robey 等（2023）、Ji 等（2024）对输入做扰动。Kumar 等（2023）的 erase-and-check 反复删除 token 或片段并筛查子序列，任一子序列被标为恶意就拒绝整段输入；论文称该法对组合式越狱提示有效。

    • 模型级： 论文列举安全数据上的 SFT、RLHF、用梯度或 logits 检测，以及让模型自我修正输出。对这些条目，正文没有逐项对照实验。

    • 基线与数据： 攻击基线为 GCG、AttnGCG、I-GCG、GCG-Hij、GBDA。防御对照为 Perplexity filter、Erase-and-Check（suffix/infusion）、SmoothLLM（swap/insert/patch）、RPO、SafeDecoding、Llama-Guard-3。主实验用 AdvBench 的 50 条有害行为；迁移用 Zou 等（2023）的 388 条。

    作者把本文定位为用 VSS 系统搜索插入槽，并称这是对对抗 token 插入位置的首次系统探索；位置搜索与具体优化攻击解耦，用一次前向接入已有框架。

  3. How does the paper address this problem?

    一次前向计算各槽 VSS，按概率分配 token，再做 GCG 类优化。

    SlotGCG 先用一次前向给每个插入槽打分，再按分数分配对抗 token，最后只在这些槽上做 GCG 类离散优化。

    槽与优化目标

    • 长度 L 的序列有 L+1 个槽（Stern 等，2019）：0 在首 token 前，中间槽在相邻 token 之间，L 在末 token 后。
    • 多段插入从槽下标大到小执行，避免先插入改变后续槽相对原序列的位置。结果长度为原长度加上各段长度。
    • 沿用 GCG 的目标 argminxS(−log p(xT∣ xO1:L⊕ xS))，即提高有害目标回复的条件概率。SlotGCG 把只拼接后缀换成在选定槽插入。

    位置为何可事先估计

    • 探索实验都在 AdvBench 50 条、Llama 2-7B-Chat 上做。穷尽扫描：每个槽插入 5 个对抗 token，各优化 100 步；槽下标按最大提示长度归一化。
    • 作者把最终对抗损失最低的槽定义为该提示的最优槽。50 条里该槽都不是 GCG 的后缀（Figure 3）。
    • 随机多槽把 20 个 token 拆进均匀抽取的多个槽。正文称成功的随机插入比标准 GCG 损失降得更快、终值更低，且抽到的槽 VSS 高于后缀（Figure 5，500 步）。
    • 槽 s 的分数为 VSSs=∑ℓ∈ LUH∑h∑c∈ C∑a∈ ak A(ℓ,h)c,a/k。上半层是第 floor(L/2) 层到第 L 层；C 是 after-chat 模板 token，k 是该段对抗 token 数。作者给出的理由是：上半层对应高层语义，越狱相关机制更明显；after-chat token 直接影响回复生成。Figure 4 中，优化后注意力与对抗损失负相关；优化前后 VSS 在多数提示上正相关，系数从 0.4 到 0.9。作者认为易攻击槽主要来自提示本身，而不是优化过程造出来的。

    四步流程

    • 探测： 每个槽放一个 probing token，一次前向覆盖全部槽。作者称接入现有框架只需这一次推理，预处理增加 200ms。
    • 概率： 插入概率与 exp(VSS/T) 成正比，再对全部槽归一化。T 控制分布尖锐程度。附录 H 的实验取 T=8；文中把 GCG 基线的该温度设为 0。
    • 分配： 预算 m 个 token 时，先取各槽期望数的整数部分，剩余 token 分给小数部分最大的槽，使总数仍为 m。再从右到左插入。
    • 优化： 槽固定后，用所选 GCG 类方法更新这些 token。附录 C、D 给出伪代码：每步对可改位置取损失梯度的 top-k 替换，采一批候选，保留损失最低者。实验为最多 500 步、top-k=256、批大小 512（附录 H）。

    通用槽与成功判定

    • Universal SlotGCG： 多种有害行为共享同一套对抗 token，插入位置随提示长度调整。先把各行为的 VSS 插值到共享槽轴并聚合成分布，采样通用槽；再把通用槽线性映射回每条行为后插入同一 token；槽固定，对增长中的活跃行为集合做梯度坐标更新，当前集合全部成功后加入下一条并重算通用槽（第 6 节，附录 K）。
    • 成功判定： 三步 ASR。先做拒绝关键词过滤，词表在附录 E。再用 GPT-4-0613 做语义判断，完整提示词在附录 E，答案为 Yes 或 No；优化一旦被判有害就提前停止。最后人工核对。GBDA 不用提前停止。附录 L 把只做到 GPT-4 的结果称为 ASRGPT，加上人工的称为 ASRHuman。

  4. What experiments did the paper conduct?

    Table 1 多数组合 ASR 上升，Mistral 与 Vicuna 存在下降格。

    实验设置

    • 模型： 主实验六个，附录 F 写为 LLAMA2-7B-CHAT、LLAMA2-13B-CHAT、LLAMA-3.1-8B-INSTRUCT、MISTRAL-7B-INSTRUCT-0.2、VICUNA-7B-1.5、QWEN2.5-7B-INSTRUCT；Table 1 用简写。生成温度 0。迁移另测 GPT-3.5-turbo、GPT-4o、Gemini 2.0 Flash、Gemini 2.5 Pro；通用 token 在 Vicuna-7B 上训练。
    • 数据： AdvBench 50 条有害行为，类别包括错误信息、非法活动和有害内容生成。迁移集为 Zou 等（2023）的 388 条。探索实验同样 50 条，模型为 Llama 2-7B-Chat。
    • 基线与防御： 攻击基线为 GCG、AttnGCG、I-GCG、GCG-Hij、GBDA，各自加上 SlotGCG。AttnGCG 与 GCG-Hij 的注意力权重为 100，I-GCG 多坐标更新 K=7。防御为 Perplexity filter（GPT-2，阈值 1000）、Erase-and-Check（suffix 最多删末尾 20 个连续 token；infusion 多处最多删 2 个，每条抽 20 种）、SmoothLLM（交换率 q=5%，6 个扰动副本）、RPO、SafeDecoding、Llama-Guard-3。附录 H 称防御成功指拒绝提示、阻止有害输出，或扰动副本多数拒绝。
    • 指标与评审： 主 ASR 为关键词、GPT-4-0613、人工三阶段。GPT-4 判有害则提前停止，GBDA 除外。附录 L 另报 ASRHuman 与 ASRGPT。效率指标是成功所需迭代的均值。
    • 预算与重复： 最多 500 步，top-k=256，批大小 512，SlotGCG 的 T=8。主表未写重复次数，也未报告统计检验。附录 M 另用 4 个种子加种子 42；Table 9 未写模型名。作者称 VSS 分配不依赖种子，波动来自 GCG 的随机部分。论文未报告按查询次数计的成本。

    主结果

    据 Table 1。格子为基线 ASR / +SlotGCG。表内差值是百分点式写法：52.0% 加上表中的 +28.0% 等于 80.0%。

    Swipe horizontally to read the table

    模型GCGAttnGCGI-GCGGCG-HijGBDA
    Llama-2-7B52.0% / 80.0%42.0% / 90.0%62.0% / 90.0%76.0% / 90.0%6.00% / 44.00%
    Llama-2-13B58.0% / 78.0%20.0% / 82.0%56.0% / 94.0%78.0% / 90.0%0.00% / 4.00%
    Llama-3.1-8B56.0% / 82.0%58.0% / 82.0%60.0% / 72.0%62.0% / 78.0%22.00% / 66.00%
    Mistral-7B86.0% / 86.0%94.0% / 92.0%90.0% / 90.0%84.0% / 80.0%70.00% / 74.00%
    Vicuna-7B80.0% / 86.0%88.0% / 82.0%96.0% / 96.0%86.0% / 82.0%10.00% / 18.00%
    Qwen-2.568.0% / 68.0%68.0% / 72.0%74.0% / 72.0%82.0% / 86.0%14.00% / 34.00%
    • 作者称 Llama 系列增益更大，并点名 Llama-2-13B 上的 I-GCG 与 AttnGCG。摘要和引言称相对 GCG 类攻击 ASR 平均高 14%；Table 1 末行是分方法平均（GCG 66.7% / 80.0%，AttnGCG 61.7% / 86.3%），没有跨方法再平均成 14% 的格子。
    • 下降和 0 变化出现在 Mistral-7B、Vicuna-7B 的部分攻击，以及 Qwen-2.5 的 I-GCG。作者未解释这些下降。
    • 作者把上升归因于按脆弱槽分配 token，而不是只堆在后缀。Figure 7 是一条提示的注意力热图；正文称 GCG 把注意力集中在最后 2–3 个槽。Table 2 在 50 条上报告平均注意力（×10^-3）：GCG 3.721（StdAvg 4.807），SlotGCG 3.933（StdAvg 3.874）。Table 2 未写模型。

    防御下的 ASR

    Table 3 未写目标模型，覆盖四种 GCG 类攻击（不含 GBDA）。Perplexity Filter 下八个格子都是 0.0%。Erase-and-Check（suffix）的基线都是 0.0%，+Ours 为 52.0%、56.0%、66.0%、62.0%（顺序同表：GCG、AttnGCG、I-GCG、GCG-Hij）。四列平均从 18.9%、16.4%、21.8%、25.8% 到 46.2%、49.3%、53.6%、48.9%。RPO 下 GCG 为 32.0% / 30.0%，GCG-Hij 为 42.0% / 38.0%。引言称输入过滤防御下 ASR 比基线高 42%；Table 3 没有这个格子。

    作者称部分防御下 ASR 高于无防御，原因是无防御时 GPT-4 可能把边缘输出判成功并提前停止；防御挡住较弱攻击后优化继续，人工评定的成功率更高。作者把差异联系到 VSS 更分散：删掉或扰动一部分 token 后，其他位置仍可起作用。附录 J 称在 SmoothLLM 之后重跑，ASR 超过未加防御的 SlotGCG，该段未给数字。

    成功所需迭代

    Table 4 是均值。Llama-2-7B 上 GCG 从 138.11 到 40.50，AttnGCG 从 131.61 到 25.98，I-GCG 从 123.16 到 19.14。六模型平均：GCG 72.59 到 28.59，AttnGCG 75.73 到 20.21，I-GCG 66.52 到 20.11，GCG-Hij 59.65 到 25.25。上升格为 Vicuna-7B 的 GCG（22.85 到 23.61）和 Qwen-2.5 的 GCG（28.86 到 30.76）。作者称一开始打在高 VSS 位置比只优化后缀更快，并称部分情形达到 10×；Table 4 未直接写出该倍数。

    跨行为迁移

    通用 token 在 Vicuna-7B 的 50 条上训练 500 步，冻结后映射到 388 条，只报 ASRGPT（Table 6）。GPT-3.5-turbo 上 GCG 从 3.09% 到 50.77%。GPT-4o 上 GCG 从 0.00% 到 1.80%，四列 +Ours 都不超过 1.80%。Gemini 2.0 Flash 与 Gemini 2.5 Pro 上 AttnGCG 从 0.26% 到 0.00%。训练所用的 Vicuna 7B 1.5v 上，GCG 从 70.10% 到 63.40%，I-GCG 从 81.19% 到 79.90%，GCG-Hij 从 63.66% 到 61.34%；AttnGCG 从 64.43% 到 76.80%。作者称槽感知的通用优化保持或增强了通用后缀的迁移；表内同时有下降格。

    其他消融与分析

    • 附录 L Table 7 的 ASRHuman 与 Table 1 不一致，例如 Llama-2-13B 的 AttnGCG 基线为 16.00% 对 20.0%，Llama-3.1-8B 的 AttnGCG 基线为 44.00% 对 58.0%。Table 8 与 Table 3 重叠防御格的 ASRHuman 一致。论文未解释 Table 1 与 Table 7 的差异。
    • 温度（附录 M）：作者称防御设置下 T=4 时 ASRGPT 平均降 45.5%，T=8 时平均降 30.5%，并称 T=8 最稳。未写该平均对应的模型和防御。
    • 层选择：作者称上半层 ASR 高于下半层和随机层；正文未给 Figure 11b 的数字。
    • 种子（Table 9，模型未写明）：SlotGCG 的 ASRHuman 为 82.00%、70.00%、86.00%、84.00%、82.00%（种子 0、1、2、3、42）。作者称与主文大体一致。
    • 输出分布（Table 10，LLaMA2-7B，100 次，20 个随机 token）：VSS 分配的 L2 为 2101.74、余弦 0.43、KL 为 1.20、Top-1 变化率 0.30；后缀对照为 1079.51、0.85、0.10、0.06。
    • 附录 G 称示例提示里，最终 VSS 的峰与对抗损失最低的槽对应；正文未逐点列出曲线数值。附录 I、J 给出攻击示例，此处不复述。

  5. What are some points that can be further explored?

    论文没有单独写出局限或后续工作。

    作者指出的局限与后续方向

    论文未专门讨论局限。Ethics Statement、Reproducibility Statement 和 Conclusion 没有把某项未做实验写成不足或后续工作。附录 L 承认 GPT-4 过滤与最终 ASR 的写法可能引起混淆，并在该附录分列 ASRHuman 与 ASRGPT，但没有把这一点称为研究局限。

    实验覆盖范围

    • 主 ASR（Table 1）覆盖附录 F 的 6 个开源指令模型、AdvBench 50 条，以及 GCG、AttnGCG、I-GCG、GCG-Hij、GBDA。
    • 防御（Table 3）包括 Erase-and-Check 的 suffix 与 infusion、Perplexity Filter、SmoothLLM 的 swap/insert/patch、RPO、SafeDecoding、Llama-Guard-3；该表未写目标模型。
    • 效率（Table 4）报告六模型的平均成功迭代。主表未报告重复次数，也未报告 ASR 差异的统计检验。附录 M 的五组种子在 Table 9，表内未写模型名。
    • 迁移（Table 6）在 Vicuna-7B 上用 50 条训练，在 388 条上报告 ASRGPT，模型为 GPT-3.5-turbo、GPT-4o、Gemini 2.0 Flash、Gemini 2.5 Pro 和 Vicuna 7B 1.5v。
    • VSS 的探索在 Llama 2-7B-Chat 上完成（第 3 节）；输出分布对照在 LLaMA2-7B 上完成（Table 10，100 次）。论文未报告按查询次数计的成本；200ms 只出现在作者对预处理时间的陈述中。

  6. Summarize the main content of the paper

    作者称按 VSS 分散插入可提高 ASR；Table 1 同时有下降格。

    SlotGCG 是优化式越狱：先按注意力选择提示词里的插入槽，再把 GCG 类搜索放到这些槽上。

    • 要解决的问题是，后缀不一定是最容易诱发有害回复的位置。作者在 50 条提示的穷尽扫描里报告，损失最低的槽都不是 GCG 使用的后缀。
    • 做法是在全部槽放入探测 token，用上半层、after-chat 模板 token 的注意力计算 VSS，按 softmax 分配固定预算，再做坐标梯度更新。通用版本在多条行为间共享 token，并按提示长度映射槽。
    • Table 1 的六模型平均里，GCG 从 66.7% 到 80.0%，AttnGCG 从 61.7% 到 86.3%；Llama-2-13B 的 I-GCG+SlotGCG 为 94.0%。同表有下降，例如 Vicuna-7B 的 AttnGCG 从 88.0% 到 82.0%。摘要称平均高 14%，与表内分方法平均不是同一个数。
    • Table 4 中 Llama-2-7B 的 GCG 成功迭代从 138.11 到 40.50；Vicuna-7B 与 Qwen-2.5 的 GCG 均值上升。Table 3 的 Perplexity Filter 下各列为 0.0%，该表未写模型。
    • 迁移只报 ASRGPT：GPT-3.5-turbo 上 GCG 加通用槽从 3.09% 到 50.77%，GPT-4o 上从 0.00% 到 1.80%。作者的结论是，脆弱槽不限于后缀，按 VSS 分散插入可以提高攻击成功率，并在多种防御下保持更高 ASR。
Read originalarxiv.org
#Jailbreaks and attacks