迈向理解大语言模型中对抗后缀的迁移性

1. 01这篇论文试图解决什么问题？

   GCG后缀的跨提示、跨模型迁移缺少细粒度解释，作者用拒绝方向几何来分析。

   离散优化得到的对抗后缀为何能迁到未优化的提示和模型，仍缺少细粒度解释。

   • 场景：作者称，短而无意义的后缀接在请求有害内容的提示后，会引出被禁止内容，且常在未参与优化的提示和模型上成功。作者将其与图像对抗样本的可迁移性并列，并称这是LLM越狱中的关键现象。
   • 不足：作者称后缀攻击的迁移已有经验证据，但缺少何时、为何、迁到何种程度的细粒度理解。越狱策略多样，作者认为这使识别迁移原则更困难。
   • 观察：作者要回答三类问题：为何有的提示更易被后缀攻破，后缀的哪些性质带来迁移，以及何种内部机制支配成功。对应假设是：与拒绝方向更对齐的提示更难迁移；沿反平行方向推离拒绝方向的后缀更容易迁移；正交于该方向的偏移起次要、且依模型而变的作用。提示语义相似度只弱相关。
   • 做法：同时分析模型内迁移（同一模型、换提示）和模型间迁移（换模型，提示可相同或不同）。每个模型优化10,000个GCG后缀，用统计模型量化这些几何量，并用改写提示、修改GCG损失做干预。作者希望分析能用于以后的防御设计。

   收起这一问

2. 02有哪些相关研究？

   相关工作涉及对抗样本迁移、越狱迁移和拒绝方向；作者把本文定位为统计与干预分析。

   对抗样本可迁移性

   • 经验观察：论文称过去十年里，对抗攻击的可迁移性出现在多种数据模态、架构和训练方案中（Carlini & Wagner, 2018; Goodfellow et al., 2015; Neekhara et al., 2019; Ren et al., 2019; Taori et al., 2019）。
   • 条件与其他因素：Tramèr et al. (2017) 识别线性与二次模型中导致迁移的分布条件。Demontis et al. (2019) 认为模型复杂度、梯度相似度等其他因素也影响可迁移性。
   • 非鲁棒特征：Ilyas et al. (2019) 发现不同模型倾向学习相似的非鲁棒特征，因而易受迁移攻击。

   越狱可迁移性

   • 多种策略：Jain et al. (2023)、Robey et al. (2025)、Zou et al. (2024) 被引来说明多种越狱策略会跨LLM迁移，并重新引起对模型安全的关注。作者称这种多样性使识别迁移原则更困难。引言还用Wei et al. (2023)、Andriushchenko et al. (2025)、Chao et al. (2025) 支持越狱常跨模型迁移这一经验结论。
   • 后缀家族：Jones et al. (2023)、Liu et al. (2024)、Zhu et al. (2024)，以及引言中的Wallace et al. (2019)、Geisler et al. (2024)、Zou et al. (2023)。作者称这类攻击结构相似，便于把提示和后缀的效应分开，因此只分析最常用的GCG（Zou et al., 2023）。

   模型安全的机制分析

   • 拒绝向量：Arditi et al. (2024) 识别refusal vector：从有害提示的激活中减去它会降低拒绝，加到无害提示上会触发拒绝。本文的拒绝方向沿用这一定义。
   • 越狱与表示：论文称后续研究发现，不同越狱策略以不同方式改变模型内部的有害性表示，常使有害提示更像良性提示（Ball et al., 2026; Jain et al., 2024; Lin et al., 2024）。

   本文使用的数据与算法

   • JailbreakBench（Chao et al., 2024）：100条有害问题及答案目标，主题覆盖OpenAI使用政策中的风险类别。越狱裁判的系统提示也来自该基准。
   • GCG（Zou et al., 2023）是唯一被运行的后缀算法。论文未把其他攻击方法设为对照基线。

   作者称，相对上述图像侧理论和多样的越狱策略，本文对语言侧的后缀迁移做统计与干预分析，以更细粒度地理解何时、为何迁移成功。

   收起这一问

3. 03论文如何解决这个问题？

   以拒绝方向定义几何特征，用混合效应逻辑回归联系迁移，再做两类干预。

   以拒绝方向把提示和后缀变成可回归的几何量，再检验这些量能否通过干预提高GCG后缀的迁移成功率。

   迁移设定与成功定义

   • 模型内迁移：后缀s为提示p优化后，接到同一模型的另一提示p′上是否成功。
   • 模型间迁移：s为提示p和模型m优化后，在另一模型m′上是否成功；提示可以仍是p，或换成p′。优化用的提示称source prompt，评估用的称target prompt。
   • ASR：ASR(s):=n_s^jailbroken/n_s^total，即接上s后越狱的提示数除以用s测试的提示数。
   • 作图过滤：Figure 1、2、6的提示轴只保留不加后缀就不会越狱的提示。Figure 2的列还限于其源提示在源模型上不加后缀也不会越狱的后缀。

   拒绝方向与四个特征

   特征激活与拒绝方向取在同一层。该层按Arditi et al. (2024)的有效性选为optimal layer（附录A，Definition 7）。论文未给出各模型的层号。拒绝方向用该层最后token的残差流；拒绝连接用end-of-instruction token。

   • 拒绝方向（Definition 2）：有害提示与无害提示在该层最后token上的平均激活之差。
   • 语义相似度（Definition 3）：两提示嵌入的余弦相似度。嵌入有两种来源：模型自身激活，以及句子嵌入模型all-mpnet-base-v2。
   • 拒绝连接（Definition 4）：无后缀有害提示的激活与拒绝方向的点积，以及二者余弦。
   • Suffix push（Definition 5）：Δ^push_ij:=⟨ a^base_i,v_refusal⟩−⟨ a^suffix_ij,v_refusal⟩，即加上后缀后，激活与拒绝方向点积的下降量。
   • 正交偏移（Definition 6）：去掉拒绝方向上的投影后，加后缀前后激活之差的L2范数。

   第3.2节写出三条假设：与拒绝方向对齐的提示更不容易迁移；引起反平行偏移的后缀更容易迁移；引起正交偏移的提示更容易迁移。第三条的原文主语是提示，而Definition 6把正交偏移定义在后缀上。

   统计分析

   • 语义相似度：每条观测是（源提示、后缀、目标提示），标签为目标提示是否被该后缀越狱。排除同一提示对，每模型N=100×P(P−1)=990,000。余弦相似度标准化为均值0、方差1。拟合逻辑链接的广义线性混合模型，软件为R的lme4。随机截距为目标提示，以及嵌套在源提示内的后缀。
   • 几何量：观测改为提示–后缀对，并排除后缀原本为其优化的那条目标提示，N仍为990,000。拒绝连接、suffix push、正交偏移先各自回归。联合模型再放入这三个量及其两两乘积，以估计主效应和交互；预测变量同样标准化。
   • 模型间样本：Table 3两个方向各写明N=9,900。论文未说明这9,900如何从每模型10,000个后缀中抽出。附录Table 8另在联合模型中加入基于模型内部嵌入的语义相似度。

   干预与越狱判定

   • 提示改写：用Vicuna为每条提示生成10种含义不变的改写，计算与拒绝方向的点积，再看点积变化与ASR变化的关系。附录C给出改写模板；此处不复述模板措辞。
   • 修改GCG损失：在损失中加入正则，分别偏向推离拒绝方向，或增大正交于拒绝方向的偏移。在Llama 3.2上评估六个非零系数。提示共20条，从JailbreakBench的10个类别中每类随机取2条，且不加后缀不会越狱。Suffix push项每条提示100个后缀，每系数40,000个提示/后缀对；正交项因计算限制每条提示5个后缀，每系数2,000对。论文未给出正则项公式。
   • 判定：Llama-3-Instruct-70B，系统提示取自JailbreakBench。选择依据是Chao et al. (2024, Table 1)对六种常用裁判的建议；作者未在本文重跑那六种裁判。

   收起这一问

4. 04论文做了哪些实验？

   Table 3中suffix push多为最大主效应，Vicuna上拒绝连接更大。

   实验设置

   • 被测模型：Qwen-2.5-3B-Instruct、Llama-3.2-1B-Instruct、Vicuna-13B-v1.5、Llama-2-7B-Chat。Table 6写明对齐训练分别为SFT/DPO/GRPO、SFT/DPO/RLHF、SFT、SFT/RLHF，规模分别为3B、1B、14B、7B。正文模型名是Vicuna-13B-v1.5，Table 6的Model size为14B。作者称Vicuna较易越狱、Llama-2较难。
   • 数据与后缀：JailbreakBench的100条有害问题及答案目标。每条提示用GCG、改变随机种子生成100个后缀，每模型10,000个。论文未报告GCG步数、后缀长度或学习率。
   • 指标：ASR（Definition 1）；混合效应逻辑回归的标准化对数优势、边际R²（Rm²，只含固定效应）和条件R²（Rc²，固定效应加随机效应）。星号对应p<0.05、p<0.01、p<0.001。
   • 裁判：Llama-3-Instruct-70B。附录B另做人工核对：四模型均等抽取2,000条回复；按裁判标签，每模型每提示最多2条越狱、3条非越狱，若裁判未标越狱则回退为5条非越狱，得到557条越狱、1,443条非越狱。一名独立研究助理复核，一致率98.65%。作者称这提供了反对系统性标注错误的证据。
   • 回归样本：模型内排除同源对后，每模型990,000。模型间Table 3为9,900。语义相似度用模型自身激活，以及all-mpnet-base-v2；Table 1把两行标成Model与Indep.，表注未写明Indep.即后者。
   • 图的抽样：Figure 1每个源提示从100个后缀中均匀随机抽1个；定量分析用全部后缀。Figure 6是提示×随机种子矩阵，过滤规则与Figure 1相同。

   主结果

   Table 3是含交互的联合回归。下表只列主效应和Rm²；模型内N=990,000，后两行模型间N=9,900。未标星的系数按论文原表保留。

   表格较宽，可左右滑动

   设置	拒绝连接	Suffix push	正交偏移	Rm²
   Qwen	-1.29（p<0.001）	3.05（p<0.001）	0.29（p<0.001）	0.688
   Vicuna	-4.85（p<0.001）	3.45（p<0.001）	-0.78（p<0.001）	0.495
   Llama 2	-1.38（p<0.001）	3.61（p<0.001）	-0.28（p<0.001）	0.592
   Llama 3.2	-0.18（未标星）	1.06（p<0.001）	0.53（p<0.001）	0.194
   Llama 3.2→Qwen	-1.26（p<0.001）	1.34（p<0.001）	0.53（p<0.01）	0.354
   Qwen→Llama 3.2	-1.64（未标星）	-0.99（未标星）	1.59（未标星）	0.040

   据Table 3。对应Rc²为0.837、0.871、0.833、0.661、0.666、0.983。

   • 作者称主效应与单因素结果大体一致：拒绝连接越高，迁移成功概率越低；该负效应在Qwen、Vicuna、Llama 2上标有p<0.001，Llama 3.2的系数未标星。Suffix push越高，成功概率越高，四个模型内均标p<0.001；作者称除Vicuna外它的效应最大，Vicuna上拒绝连接最重要。
   • 正交偏移也标有显著性，但方向依模型而变：Qwen与Llama 3.2为正，Vicuna与Llama 2为负。作者称其作用小于其他特征。交互相对主效应较小，正文主要解释主效应。
   • 模型间：作者称Llama 3.2→Qwen的主效应大体沿用Qwen模型内的模式。Qwen→Llama 3.2未发现统计上标星的效应；作者认为这很可能是因为该方向总体成功率很低（Figure 2b），方差不足以捕捉关系。

   语义相似度与单特征

   • Table 1：余弦相似度的标准化系数均为正，且均标p<0.001。Model行：Qwen 0.651、Vicuna 0.058、Llama 2 0.622、Llama 3.2 0.267。Indep.行：0.226、0.041、0.192、0.159。作者写出Rm²=0.000–0.048，并按Chen et al. (2010)的经验法则称多数效应量小。作者称Rm²与Rc²差距大，解释方差大多来自提示和后缀的随机效应，而不是语义相似度。
   • Table 2单特征、N=990,000：拒绝连接只在Vicuna为负且标p<0.001（-1.54）；Qwen 0.31、Llama 2 0.08、Llama 3.2 0.07未标星。这与Table 3中Qwen的负系数不同，论文未解释符号差异。Suffix push为2.59、2.87、3.56、1.28，正交偏移为1.44、0.08、2.54、1.06，八个系数均标p<0.001。

   干预实验

   • 改写：在Qwen上，点积变化与ASR变化的相关系数为-0.08（p<0.05）；Llama 3.2为-0.18（p<0.05）。作者预期点积更高会使迁移更难、ASR更低，并称两模型上的这一关系说明统计结论可以指导干预。改写由Vicuna生成；论文未报告Vicuna或Llama 2上的这一相关系数。
   • Suffix push正则（Table 4，Llama 3.2，每系数40,000对）：系数0的ASR为0.0138（552次越狱）。六个非零系数中，0.001最高，ASR 0.0214（855）。系数0.1为0.0093（373），0.5为0.0101（406），都低于系数0。
   • 正交偏移正则（Table 5，每系数2,000对）：系数0的ASR为0.0145（29）。0.00001最高，ASR 0.0265（53）。系数0.1为0.0020（4），0.5为0.0010（2）。作者称两项的最高ASR都出现在非零系数，与统计分析一致。两表分母不同，ASR不宜直接横向比较。

   定性迁移

   • 作者称Figure 1里Qwen的模型内成功模式最密，Llama 3.2明显更稀，Vicuna和Llama 2介于其间，且成功集中在部分提示和后缀，而不是全矩阵均匀分布。Figure 6被用来说明这种模型差异并不只来自Figure 1里抽到的那一个后缀。正文未给出着色单元格比例。
   • 作者称某些提示呈更密的水平带，某些后缀呈更密的垂直带。还存在离目标现象：为某提示优化的后缀可能打不破该提示，却能打破同模型的其他提示。
   • 作者称Figure 2不对称：在作者所称更对齐的Llama 3.2上优化的后缀，迁到较不对齐的Qwen，好于相反方向。Figure 4中，作者称平均有害提示激活（蓝线）与拒绝方向的余弦最高；最不成功的三个后缀（橙线）只略降该余弦，最成功的三个（绿线）则压低相似度。Figure 5及附录Figure 7–9中，作者称suffix push和正交偏移越高，按全部测试提示计算的ASR越高；Llama模型信号较弱，作者将其归因于成功迁移例子更少。Figure 3中，作者称Vicuna的余弦与归一化点积分布最散，并认为这可能解释为何不加后缀也会答出部分有害问题。

   其他消融与分析

   • Table 7，Qwen交互：拒绝连接×suffix push为0.39（p<0.001），拒绝连接×正交偏移0.69（p<0.001），suffix push×正交偏移-0.91（p<0.001）；截距-3.51（p<0.001）。
   • Table 7，Vicuna交互：0.51、-0.25、-0.06，均p<0.001；截距-4.93（p<0.001）。Llama 2交互：0.09（p<0.01）、-0.29（p<0.001）、0.40（p<0.001）；截距-7.46（p<0.001）。
   • Table 7，Llama 3.2交互：-0.19（p<0.001）、0.01（未标星）、0.02（p<0.05）；截距-6.56（p<0.001）。Llama 3.2→Qwen的三个交互0.03、0.19、-0.07均未标星，截距-6.47（p<0.001）。
   • Table 7，Qwen→Llama 3.2的交互-0.86、1.36、0.52未标星，截距-23.25（p<0.001）。作者提醒交互远小于主效应时不要过度解读符号。
   • Table 8加入模型内部嵌入的语义相似度后，其系数为Qwen 0.25、Vicuna -0.05、Llama 2 0.62、Llama 3.2 0.25，均p<0.001。作者称除Vicuna外为正，且相对suffix push和拒绝连接影响较小。该表Rm²为0.693、0.493、0.608、0.205。
   • Table 4中系数0.00001、0.0001、0.01的ASR为0.0177、0.0189、0.0176；Table 5中0.0001、0.001、0.01为0.0195、0.0175、0.0115。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未专门讨论局限；实验写明四个开源模型、GCG和JailbreakBench。

   作者指出的局限与后续方向

   论文未专门讨论局限。Conclusion写作者希望这些认识能用于开发更强的防御，但没有把它写成待做实验，也没有单列不足。

   实验覆盖范围

   • 被测模型为Qwen-2.5-3B-Instruct、Llama-3.2-1B-Instruct、Vicuna-13B-v1.5、Llama-2-7B-Chat，共4个；每个用GCG生成10,000个后缀（第4节、Table 6）。
   • 提示来自JailbreakBench的100条有害问题。模型内GLMM在排除同源对后，每模型990,000条观测（Table 1–3）。
   • 模型间回归只报告Llama 3.2→Qwen与Qwen→Llama 3.2，各N=9,900（Table 3）。论文未说明这9,900相对每模型10,000个后缀如何抽样。
   • 越狱判定使用Llama-3-Instruct-70B；附录B由人工核对2,000条，一致率98.65%。拒绝方向取optimal layer，论文未报告各模型选出的层号，也未报告GCG的迭代步数与后缀长度。
   • 改写实验的相关系数只给了Qwen和Llama 3.2。修改损失只在Llama 3.2的20条提示上运行：suffix push每系数40,000对，正交偏移每系数2,000对（第5.6节、Table 4–5）。嵌入比较使用模型自身激活和all-mpnet-base-v2（第3.3节、Table 1）。

   收起这一问

6. 06总结一下论文的主要内容

   四模型上GCG后缀迁移与推离拒绝方向的幅度关系最稳，语义相似度只弱相关。

   这篇工作用统计和激活几何，分析GCG对抗后缀何时能迁到新的提示或模型。

   • 问题：短而无意义的后缀接在有害请求后，常在未参与优化的提示和模型上引出被禁止内容。作者认为经验上迁移已经确立，但缺少对条件的细粒度解释。
   • 做法：在JailbreakBench的100条有害问题上，为Qwen-2.5-3B-Instruct、Llama-3.2-1B-Instruct、Vicuna-13B-v1.5、Llama-2-7B-Chat各生成10,000个GCG后缀。沿Arditi et al. (2024)的拒绝方向定义拒绝连接、suffix push和正交偏移，并与两种嵌入的语义相似度对比。模型内迁移用990,000条观测的逻辑混合效应模型；越狱由Llama-3-Instruct-70B判定，与人工在2,000条上的一致率为98.65%。
   • 回归：Table 3中，suffix push在四个模型内都标p<0.001，Llama 2的系数为3.61；作者称除Vicuna外它是最大主效应。Vicuna的拒绝连接为-4.85，作者称在该模型上这一提示侧因素最重要。正交偏移的符号依模型而变。语义相似度的边际R²为0.000–0.048（Table 1），作者称效应量小。
   • 模型间与干预：Llama 3.2→Qwen的主效应与Qwen模型内类似；Qwen→Llama 3.2没有标星的主效应，Rm²为0.040，作者认为很可能是成功率太低。把提示改得更贴近或更远离拒绝方向后，Qwen与Llama 3.2上点积变化和ASR变化的相关系数为-0.08与-0.18（均p<0.05）。在Llama 3.2上修改GCG损失后，suffix push系数0.001的ASR为0.0214，高于系数0的0.0138；正交项系数0.00001的ASR为0.0265，高于0.0145。系数过大时ASR低于系数0。
   • 作者的结论：suffix push是跨模型最主要的后缀侧因素，拒绝连接在部分模型上是重要的提示侧因素，语义相似度只弱相关。作者称这些量可以用来设计更强的攻击，并希望也能用于更强的防御。

   收起这一问

相关论文