超越后缀：GCG 对抗攻击中的 token 位置对大语言模型的影响

对抗 token 在提示词中的位置，是否会改变 GCG 越狱的 ASR。

• 场景：作者称对齐后的 LLM 仍会被越狱绕过，并列举编写恶意软件、设计化学与生物武器、骚扰等滥用。GCG 及其后续迭代把对抗 token 接在提示词末尾再迭代优化。
• 不足：作者称这些后缀式攻击默认末尾位置，对提示词内部的对抗 token 位置如何影响越狱，所知很少。
• 假设：作者认为，把对抗 token 优化成前缀，或把已有对抗块挪到另一位置，ASR 会有不可忽略的变化。固定单一位置的评测会高估鲁棒性、低估风险。
• 做法：以 GCG 为案例，比较前缀优化与后缀优化，并在 white-box 与 black-box 跨模型设置中看位置变化。
• 威胁模型：
  • 目标：诱导模型生成攻击者指定的目标输出序列；优化针对目标 token 的似然。goal 指原始有害提示词，与该目标序列不是同一对象。
  • 知识：优化为 white-box，用 token 级梯度近似并贪心替换。black-box 跨模型设置把一个模型上得到的对抗 token 拿到其他模型上测迁移。
  • 能力：放置一段连续对抗 token，作为前缀或后缀。论文把该轴定义为整段的位置，不是段内单个 token 的位置。
  • 受害系统：带安全对齐的 LLM。是否越狱由 LLM Judge 判定。

按引言与第 5 节的分组，论文把已有工作放在对齐、后缀式越狱和注意力分析三条线上。

越狱与 GCG

• Zou et al. (2023)：提出 GCG，在提示词末尾追加固定长度对抗后缀，用贪心坐标梯度诱导有害输出，并讨论可迁移性。本文把这一标准形式当作基线。
• Jia et al. (2025)、Mu et al. (2025)：前者改进基于优化的越狱；后者提出 Mask-GCG，检查对抗后缀里哪些 token 是必要的。引言将二者称为 GCG 的后续迭代，并写成仍把 token 接在末尾。
• Wei et al. (2023)、Chu et al. (2025)：前者讨论安全训练为何失败；后者给出越狱攻击的综合评估分类。论文只作引用，没有与本文做数值对比。

安全对齐

• Ouyang et al. (2022)、Rafailov et al. (2023)、Qi et al. (2024b)：分别用人类反馈、直接偏好优化和微调来塑造模型对特定提示模式的响应。论文将它们列为抑制有害行为的对齐方法。
• Qi et al. (2025)：论文引用其观点，称对齐常依赖启发式捷径，而非稳健的语义理解，且安全对齐不应只覆盖少数 token。

后缀上的机制分析

• Ben-Tov et al. (2025)：研究通用越狱后缀对注意力的劫持。第 5 节将它与 token pruning 并列，称这些做法隐含假设后缀是最优对抗 token 位置。
• Wang et al. (2025)：提出 AttnGCG，用注意力操纵增强越狱。第 4 节沿用其注意力分数算法，并把分析扩到各层与前缀；论文未把它写成被批评的基线。
• Arditi et al. (2024)：提出拒绝由单一方向介导。作者在注意力分析后提出还应看这类内部机制，没有做实验对比。

基线与数据

• 基线方法为标准 GCG，文中称 GCG-Suffix。基准为 AdvBench（Zou et al., 2023），随机抽取 100 条有害提示词。

作者把本文与上述工作的区别写成：不再默认后缀是最优位置，而把对抗 token 的位置本身当作攻击轴，看对齐在 token 被挪动后是否仍稳定。

作者沿用 GCG 的白盒优化，把对抗 token 从固定后缀改成可优化、可重放的连续块，比较 GCG-Prefix 与 GCG-Suffix。

问题设定

• 位置定义：对抗 token 位置指一整段连续 token 在提示词中的放置，如前缀或后缀，不是该段内部某个 token 的下标。
• 优化目标：迭代最小化定义在指定目标输出序列上的损失，针对目标 token 的似然。论文未写出该目标句的具体文本。
• 两种生成：GCG-Suffix 把对抗 token 接在 goal 之后再优化；GCG-Prefix 把初始对抗 token 接到提示词之前，在同一目标下优化。
• 交叉评估：同一段 token 既放在优化位置，也挪到另一位置，用来把位置效应和生成过程分开。

优化与模板

• 初始化：对抗 token 初始化为重复的 x，长度 k=20。附录 B 给出该初始化串。Prefix 与 Suffix 用同一组超参。
• 迭代：250 步，无早停。每步按梯度分数从 256 个候选中选 1 个 token 替换。随机种子为 42。
• 模板：固定为单条 user 消息。评估时基座提示不变，只改对抗块是在开头还是末尾。除标准空白外不加入额外分隔符或格式 token。

成功判定

• 数据：从 AdvBench 随机抽 100 条有害提示词。论文未写各类别条数。
• ASR@k：k 次互异配置中至少一次成功即计成功。k=1 只看优化位置；k=2（表中 Both）表示同一段 token 作为前缀或后缀任一位置成功即计成功。
• 解码：greedy，temperature=0，最大生成长度 512。附录 B 写每个对抗提示词对一种配置评估一次。
• 评审：按 Qi et al. (2024a) 使用 GPT-4。量表为 1 到 5。附录 C 以危害分等于或高于 5 为成功；附录 B 写危害分为 5。附录 C 给出评审提示词与分值规则。

注意力分析

• 对象：成功的 GCG-Prefix 与 GCG-Suffix 提示词，跨全部 decoder 层。Figure 1 为 Llama；附录 A 的 Figure 2–5 依次为 Vicuna、Qwen、Mistral、Deepseek。
• 分数：对 GCG 目标输出 token，把 goal token 或对抗 token 的注意力权重取平均。式 (1) 把层 l 的注意力矩阵在输入索引集 S 与输出索引集 O 上取平均，得到 s_S。
• 对照：图注中 Goal 指原始有害提示词。作者称做法类似 Wang et al. (2025)，但超出只看后缀、只看中后层的设置。

实验设置

• 被测模型：deepseek-llm-7b-chat、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3、Llama-2-7b-chat-hf、vicuna-7b-v1.5。表中简称 Deepseek、Qwen、Mistral、Llama、Vicuna。
• 攻击：GCG-Prefix 与 GCG-Suffix。Table 2 的行是优化所用的 attack model，列是被评估的 target model。对角线表示目标就是优化模型。
• 数据：AdvBench 随机 100 条。
• 指标：ASR@k=1 为只在优化位置成功；ASR@k=2 为前缀或后缀任一成功。Table 2 括号是从 ASR@k=1 到 ASR@k=2 的绝对增量。
• 评审：GPT-4，危害分达到 5 为成功。论文未报告与人工判定的一致性，也未报告统计检验。
• 重复：种子 42；每种配置每个对抗提示词评估一次。论文未另报多次重复。

主结果

白盒 ASR 据 Table 1。Prefixeval、Suffixeval 为 ASR@k=1，Both 为 ASR@k=2。

表格较宽，可左右滑动

模型	Prefix@优化位	Prefix Both	Suffix@优化位	Suffix Both
deepseek-llm-7b-chat	10%	15%	11%	12%
Qwen2.5-7B-Instruct	60%	61%	45%	46%
Mistral-7B-Instruct-v0.3	71%	80%	94%	94%
Llama-2-7b-chat-hf	35%	36%	40%	41%
vicuna-7b-v1.5	83%	99%	91%	97%

• 作者称只在优化位置评估时，前缀与后缀没有在所有模型上一方始终更高。Table 1 里只有 Qwen 的前缀两列都高于后缀；其余四模型在优化位置上是后缀更高。
• 作者称允许位置变化后，Deepseek 与 Vicuna 上 GCG-Prefix 的 Both 超过 GCG-Suffix，尽管优化位置上仍是后缀更高。Qwen 上前缀在两种 k 下都更高。
• 作者称最优位置并非总是后缀，固定位置评测会低估越狱成功。Mistral 与 Llama 上 Both 相对优化位置的提高更小；Mistral 的后缀两列相同。

跨模型迁移

• 作者称全部 attack–target 对上，前缀与后缀都不始终占优，效果随源模型和目标模型变化。作者称允许位置变化会提高迁移，并称在 deepseek、mistral 与 vicuna 上看，若干对的绝对增量最高到 49%。Table 2 中该 49% 在 Llama 的 Suffix 迁到 Vicuna，对应 ASR@k=2 为 73%。
• 迁到 Vicuna 且攻击模型不是 Vicuna：Table 2 的 ASR@k=2 为 52%–73%。后缀优化的括号增量为 36%、37%、44%、49%；前缀优化为 7%、4%、9%、7%，攻击模型依次为 Deepseek、Qwen、Mistral、Llama。
• 低迁移：攻击模型不是 Llama 时，Llama 上的 ASR@k=2 为 0% 或 1%。攻击模型不是 Qwen 时，Qwen 上除 Llama 的 Suffix 为 5%（1%）外，其余为 0% 或 1%。也有增量为 0% 的格子，如 Mistral 的 Suffix 在自身上为 94%（0%）。作者未对这些低值单独解释。

注意力随位置变化

• 测了什么：在成功样本上，按层比较 goal token 与对抗 token 对 GCG 目标输出 token 的平均注意力。Figure 1 为 Llama，Figure 2–5 为 Vicuna、Qwen、Mistral、Deepseek。图注写明 Goal 是原始有害提示词；文本没有曲线数值或坐标刻度。
• 作者称：后缀攻击在较后层对对抗 token 的注意力更高，与 Wang et al. (2025)、Ben-Tov et al. (2025) 一致。token 作为前缀时，多数层仍由 goal token 主导注意力，但越狱仍然成功。
• 作者称：后层对对抗前缀关注不足，前层把更多注意力分给对抗 token；只看中后层时，注意力与 ASR 的对应不完整，且依赖位置。作者提出还应看拒绝方向等内部机制。附录 A 中作者称各模型趋势相同。该解读来自正文，不能用图中读数核对。

位置互换示例

• 测了什么：附录 D 的 Figure 9、Figure 10 给出一种优化/评估位置失败、换位置后成功的示例。论文未写这两例的模型，也未给出这类案例占 100 条中的比例。
• 结果：作者称 Figure 9 仅当前缀优化、后缀评估时成功；Figure 10 仅当对抗 token 以前缀评估时成功。成功时作者不展示有害行为输出。
• 作者的解读：这两例用来说明攻击成功对对抗 token 位置敏感。论文没有进一步统计这类翻转的频率。

其他消融与分析

论文未报告步数、候选集、token 长度或种子的扫描。下列均为 Table 2 的 ASR@k=2，括号为绝对增量。

• Qwen 的 Prefix 迁到 Mistral 为 56%（13%），Suffix 为 43%（9%）。
• Llama 的 Suffix 迁到 Mistral 为 59%（15%），Prefix 为 43%（7%）。
• Vicuna 的 Suffix 迁到 Mistral 为 44%（10%），Prefix 为 31%（6%）。
• Qwen 的 Prefix 迁到 Deepseek 为 28%（7%），Suffix 为 27%（8%）。
• 超参固定为 k=20、250 步、候选集 256、种子 42、无早停（附录 B）。

作者指出的局限与后续方向

论文没有单独的 Limitations 节。第 6 节写出的后续方向只有两条：

• 其他攻击：作者计划把这一分析扩展到 GCG 以外的攻击（第 6 节）。
• 更多位置：作者计划系统变化对抗 token 位置，而不只比较后缀与前缀（第 6 节）。

第 6 节还称，把注意力当作对抗设置中的显著性指标是短视的。这是作者对既有做法的结论，不是对其实验缺口的列举。论文未把数据集、模型规模或评审协议写成局限。

实验覆盖范围

• 被测模型为 deepseek-llm-7b-chat、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3、Llama-2-7b-chat-hf、vicuna-7b-v1.5，共 5 个；评审模型为 GPT-4（第 2.3 节、附录 C）。
• 数据为 AdvBench 随机抽取的 100 条有害提示词；白盒在 Table 1，跨模型在 Table 2。
• 攻击为 GCG-Prefix 与 GCG-Suffix；评估位置为前缀与后缀。注意力分析覆盖全部层，对象是成功样本（第 4 节、附录 A）。
• 成功阈值按附录 C 为危害分等于或高于 5；每种配置每个对抗提示词评估一次，解码 temperature=0、最大长度 512（附录 B、附录 C）。论文未报告评审与人工的一致性。
• GCG 为 250 步、无早停、对抗长度 20、候选集 256、种子 42（附录 B）。论文未报告查询次数，也未报告统计检验。

作者以 GCG 为案例，检查把对抗 token 放在提示词前面还是后面，会不会改变越狱 ASR。

• 问题：后缀式 GCG 把连续对抗块固定在 goal 末尾。作者认为该位置是被忽视的攻击轴，只测一个位置会高估鲁棒性、低估风险。
• 做法：在同一目标似然下分别优化 GCG-Prefix 与 GCG-Suffix，长度为 20、250 步，再把同一段 token 放到优化位置或另一位置。ASR@1 只计优化位置；ASR@k=2 计前缀或后缀任一成功。数据为 AdvBench 的 100 条，GPT-4 危害分达到 5 记成功。
• 白盒：优化位置上，后缀不是在全部模型上都更高。允许两种位置后，Vicuna 的 GCG-Prefix 从 83% 到 99%，Deepseek 从 10% 到 15%（Table 1）。Qwen 上前缀的 ASR@1 为 60%，后缀为 45%。Mistral 上后缀为 94%，Both 未再提高。
• 迁移：作者称位置变化会提高 black-box 跨模型迁移，绝对增量最高到 49%。Table 2 中该数字对应 Llama 的 Suffix 迁到 Vicuna，ASR@k=2 为 73%。攻击模型不是 Llama 时，Llama 上为 0% 或 1%。前缀有时更高，如 Qwen 的 Prefix 迁到 Mistral 为 56%（13%），Suffix 为 43%（9%）。
• 注意力：作者称成功的后缀攻击在较后层更关注对抗 token；前缀攻击在多数层仍由 goal token 主导注意力，越狱仍可成功。作者称只看中后层会漏掉这种位置依赖，并称把注意力当显著性指标是短视的。
• 结论：作者认为对抗鲁棒性评测还应计入对抗 token 的结构位置，并计划扩展到其他攻击，以及前缀、后缀以外的位置。