大语言模型越狱成功的最小、局部、因果解释

为何某一次越狱能够成功，以及最少改哪些中间表示，才能在该请求上把拒答诱导回来。

• 场景：作者称，对齐微调后的LLM仍会被jailbreak诱导回答有害请求；模型被更自主地用于更高风险场景时，若不知道越狱为何成功，未来前沿模型可能同样易受此类攻击。
• 全局解释不够：先前工作在中间表示中寻找因果编码harmfulness、refusal的方向，并把所有越狱解释为削弱或加强这些概念。作者认为不同策略、不同请求类别（如violence与cyberattack）可能依赖不同概念，同一种策略也不一定跨类别有效。
• 作者要的解释：针对这一次成功的越狱（local）；干预后能在原本成功的请求上诱导出与原始请求相近的拒答（causal）；干预集合最小（minimal），以便人理解。
• LOCA：在成功越狱的残差流上，找出一组最少的、可解释的表示变化。这些变化沿SAE概念方向做activation patching，用来诱导拒答，从而解释这次越狱为何成功。

线性方向与因果干预

• Park et al. (2023)、Elhage et al. (2022)提出线性表示假说：有意义的概念编码为表示空间中的线性方向。Zou et al. (2023a)找truth方向，Ferrando et al. (2025)找knowledge awareness。
• 概念可用监督探针从激活中分开正负例（Cunningham et al., 2026），也可用SAE无监督地分解出大量方向（Bricken et al., 2023; Cunningham et al., 2023）。
• 因果检验常用activation steering（Turner et al., 2023）或activation patching（Meng et al., 2022; Heimersheim & Nanda, 2024）。论文写明：steering的缩放过小可能无效果，过大可能离开流形；常规patching多用结构接近的参考提示，否则token对应关系不清楚。

越狱攻击、防御与安全定位

• 攻击包括手工role-play、编码、翻译、低资源语言，以及优化对抗后缀或提示改写（Zou et al., 2023b; Chao et al., 2023; Liu et al., 2024）；也有多轮、分解和间接提示（Russinovich et al., 2025; Srivastav & Zhang, 2025）。
• 防御包括输入层启发式（Jain et al., 2023）、独立护栏模型（Inan et al., 2023）和对模型做更抗越狱的微调（Bai et al., 2022）。推理时激活防御如JBShield（Zhang et al., 2025）从隐藏状态提取toxic与jailbreak概念，再做全局steering。论文称LOCA与这类工作的差别是：从对全部输入的全局机制，转到对特定输入的局部、token级分析。
• Zhou et al. (2025)定位安全关键注意力头，消融后拒答变弱。论文称这类工作侧重定位，而不是解释越狱行为。

表示空间里的全局越狱理解

• Arditi et al. (2024)、Ball et al. (2026)、Lin et al. (2024)把越狱成功写成抑制harmfulness方向。Wollschläger et al. (2025)用基于梯度的优化得到更适合因果控制拒答的子空间。
• 论文转述更细分的结果：Zou et al. (2023a)在90%的成功越狱中，模型仍把请求表示为有害但不拒答；Zhao et al. (2025a)给出harmfulness与refusal可分开表示的因果证据。Zhao et al. (2025a)、Kirch et al. (2025)还发现不同策略、不同风险类别依赖不同概念。

上游SAE方向

• Lee et al. (2025)在三个手选提示上，用早期层SAE方向做steering，提高下游请求token在Arditi et al. (2024) refusal方向上的投影，从而诱导拒答。
• Yeo et al. (2025)先取与refusal方向余弦相似度最高的top-M个SAE方向，再取从有害未拒答指令patch到有害已拒答指令后、输出token概率变化最大的top-K，并用steering验证这些向量可诱导或绕过拒答。
• 论文明确批评这两项：一阶近似在token上取平均，因而沿全部token干预；top-K一次选定，忽略多次steering或patching的交互。论文称它们找到了因果上游向量，但没有用来局部解释某次越狱为何成功。

基线与数据：实验基线是改编到本文设定的Lee et al. (2025)与Yeo et al. (2025)。数据为WhatFeatures（Kirch et al., 2025），共10,800条、35种越狱方法；成功与否由HarmBench autograder（Mazeika et al., 2024）标注。

作者把LOCA放在上游因果向量之后：用token级、迭代的activation patching，给出恢复原始拒答所需的最小因果变化，而不是一条对所有输入通用的harmfulness或refusal方向。

给定被拒答的原始请求xo与成功越狱xj，LOCA在xj的残差流上做activation patching：沿该层SAE decoder的概念方向，迭代选择一个token，使首个输出token的分布靠近xo，从而诱导拒答。

设定与干预选择

• 目标不是生成攻击。作者要在表示空间中对xj做最小改变，使越狱失败，并诱导出与xo相近的拒答。
• 作者不用steering。给出的理由是：steering可能得到流形外表示，且没有原则性办法选择token；patching可以做token级、分布内的替换。
• 与Arditi et al. (2024)、Zhao et al. (2025a)、Lee et al. (2025)、Yeo et al. (2025)相同，分析的是残差流，不是注意力头。

Token匹配

• 聊天模板分成系统token（Tsys）、指令token（Tinst）和指令后token（Tpost-inst）。因果decoder中Tsys对任意提示相同，故忽略。
• Tinst长度可变。把xo的Tinst上采样或下采样到与xj等长，再一一对应。上采样重复embedding、不做插值；下采样跳过embedding。
• Tpost-inst对任意提示相同，但embedding不同，按位置一一对应。匹配函数M把目标token下标映到参考token下标。作者称该方案虽任意，但实践中可用。

补丁效应与一阶近似

• 每次补丁后生成完整回复代价高，故只看首个输出token。效应取原始分布与补丁后分布的KL：L=KL(p_o∥p̃_j)，即补丁后的预测相对xo的首token分布有多远。
• 无法穷举所有补丁。第i个越狱embedding沿方向v的一阶近似为d(i,v;p_o,p_j,l)=[∇_hj,iKL(p_o∥ p_j)]^⊤v (h_o,M(i)−h_j,i)^⊤v。前半是方向导数，后半是两侧投影差的幅度。
• v取该层SAE decoder Wd的行，即可解释概念向量，并用Neuronpedia解读。作者强调该近似按token计算，不同于先前工作对整段token取平均。

迭代算法

1. 从α=0和未补丁的xj开始。
2. 在全部越狱token与Wd的概念向量中，取使当轮近似d(α)(i, v)最小的token与方向。
3. 只沿该方向，把匹配到的xo embedding补进该越狱embedding；其余embedding保持上一轮。完成前向，得到新的首token分布。
4. α加1后重算近似再选。作者称重算使近似条件于已做补丁，从而计入交互。遇到停止准则即停。实验中最多20次。

补丁实现与拒答代理

• SAE把激活编成稀疏特征，再用线性decoder重构。LOCA不是替换整段embedding，而是只替换在所选概念方向上的投影：减去xj在该方向的投影，加上xo的投影，正交分量不变。多个方向先用QR取正交基。细节在附录H。
• 主实验把“诱导拒答”定义为：补丁后的首个输出token与xo的首个输出token相同。作者在附录B称首token是廉价代理。完整回复的判定放在附录F，使用HarmBench autograder。

实验设置

• 模型：Gemma-2-2B-IT（GEMMA-2）、Gemma-3-27B-IT（GEMMA-3）、Qwen-3-8B（QWEN）、Llama-3.1-8B-Instruct（LLAMA）。均为安全对齐并指令微调的chat模型。
• SAE：GEMMA-2与GEMMA-3用GemmaScope，训练数据为网页、代码和科学文章，且训练在base模型上；作者引用先前工作称其可迁到IT模型、无需再微调。LLAMA用Arditi & Chen (2025)的SAE，混合预训练、对话与misaligned数据。QWEN用QwenScope。
• 数据与解码：WhatFeatures共10,800条、35种方法。贪心解码，生成长度512 token。HarmBench autograder标注越狱是否成功。划分train/validation/test为70/10/20；train与validation只供Lee et al. (2025)寻找refusal方向。
• 评测对：只保留xo失败且xj成功的对。合格样本为LLAMA 225、GEMMA-3 438、GEMMA-2 334、QWEN 222；GEMMA-3因计算约束评140个。Figure 3图注写的是50个jailbreak requests，论文未说明这50与上述样本量如何对应。附录A显示过滤后的越狱类型分布并不均匀。
• 基线与预算：Lee et al. (2025)与Yeo et al. (2025)，改编见附录I。在已有预训练SAE的中间层（不含最后一层）上，每种方法最多K=20次。K次内未诱导拒答则MP=K。
• 指标：首token的KL与logit difference，再对补丁数归一化得到KL-AUC、LD-AUC。MP是预测token与xo首token一致所需的补丁数。RR是全部补丁后首token是否与xo一致。Figure 3图注称除RR外为±1标准差，正文未给各点数值。

主结果

表格较宽，可左右滑动

模型	作者写明的条件	平均patch数	出处
LLAMA	早期层残差embedding	6–8	Sec. 4.1
GEMMA-3	layer 36及之后	9	Sec. 4.1
GEMMA-2	大体到layer 10	12	附录C
QWEN	layer 22	10	附录C

基线的逐层数值只在图中，正文没有可逐格填写的数字，故不列入。摘要与贡献1写Llama上平均六次，与Sec. 4.1的区间写法不同。

• 作者称，相对Arditi et al. (2024)在每个输入token位置做中层steering（依输入约50–200个token），LOCA的补丁更少。作者还称GEMMA-3的RR随层深增加，下游层需要的补丁更少；KL-AUC与LD-AUC随补丁所在层变深而下降。
• 作者称LLAMA与GEMMA-2的RR分别在layer 7与layer 38达到100%。同段讨论的Figure 3是LLAMA与GEMMA-3，且写GEMMA-3从layer 36起成功；论文未澄清layer 38属于哪一个模型。作者称基线的RR不随干预层加深而改善，20次后通常仍不能诱导拒答。
• 附录C称GEMMA-2与QWEN上LOCA仍优于另两种方法，且Sec. 4.1的其余观察也成立。图中曲线端点的具体读数，正文未列出。

token级与迭代的消融

• 在GEMMA-2上重复Sec. 4.1。Base-LOCA对token平均梯度，幅度仍按token；Token-LOCA保留token级近似，但排序只算一次再取top-K。
• 作者称LOCA在全部指标上优于两个变体，并把Lee et al. (2025)、Yeo et al. (2025)看成目标函数不同的Base-LOCA变体。正文未给该消融的逐层数字。

定位与一次个案

• 定位：Fig. 5看LLAMA的layer 3、7、15；附录D看GEMMA-2的layer 5、10、15。作者称早期层更常选Tinst，中层偏向Tpost-inst，但仍有不可忽略的Tinst。WORD与PUNCTUATION在早期和早中层无明显偏向，中层几乎只选PUNCTUATION；Tpost-inst因模板角色都被标成PUNCTUATION。作者解读为：早期拒答信号主要由Tinst决定、不偏好词类；中层更多受Tpost-inst影响，也可出现在Tinst的标点上。图中柱高正文未给数值。
• 个案：Sec. 4.4与附录L用LLAMA上一次AutoDAN。layer 11两次补丁后诱导拒答：assistant位置的Tpost-inst token沿概念#31126，强度增加1.50，KL为0.77；一个标点Tinst token沿概念#125009，强度减少1.48，KL为0.04后拒答。作者用Neuronpedia把前者描述为有害请求后的assistant token概念，把后者描述为代码生成请求之后的概念，并据此解释这次成功：有害相关的拒答概念被压低，同时请求被当成无害的代码类问题。
• 同一提示的layer 3：五次补丁后拒答，多数在标点token。附录L的KL依次为4.03、2.71、0.99、0.77、0.40；第一次强度变化为−0.79。作者称前几次主要减弱无害、续写类概念；最后一次却增强一个在大体无害问题上激活最强的概念后才出现拒答，并称很可能没能正确解释这最后一个概念。作者还称解释LLAMA比GEMMA-2更容易，并归因于LLAMA的SAE含对话数据，而GemmaScope在通用预训练数据上训练。

其他消融与分析

• 附录E，LLAMA：随机匹配、按残差余弦相似度匹配与原方案并列。作者称随机匹配与其余方案表现相当，并认为需要再研究；作者假设多数原始指令token落在同一safety子空间。
• 附录B：首词（忽略大小写、标点、空白）与xo相同的比例，LLAMA为102/1018（10.0%），GEMMA-2为82/1504（5.5%）。作者称多数方法很少出现、少数方法经常出现，并认为约10%的频率加上失败可预期，足以用首token作目标。
• 附录F：施加全部20次补丁后生成完整回复，用HarmBench autograder判越狱是否仍成功；仅LLAMA随机50条。作者称LOCA在所有干预层上优于另两种方法；正文未给各层成功率。
• 附录G：LLAMA上200条、层3/7/11/15/19/23/27。Fig. 12图注：Predicted ΔKL与Actual ΔKL的Pearson=0.817、Spearman=0.814、MAE=0.2027、n=28000；正文写总体Pearson为0.809。作者称较大误差集中在layer 3，到layer 7改善。
• 附录J：同样设置下，两种基线在2秒内选出top-20，LOCA因迭代需要7秒。Fig. 3的LLAMA结果不到10小时GPU时间；GEMMA-3-27B-IT用两块GPU。
• 附录K：xo与xj首token相同时，KL目标很小，RR失真，LOCA不能据此诱导拒答。作者称HarmBench autograder也会把一些成功越狱误标成无害，未给比例。

作者指出的局限与后续方向

• 首token代理是方法的局限。xo与xj首token相同时，KL目标很小，不能诱导拒答；附录K记录了人工检查中的这类失败（Sec. 5；附录B、K）。
• 后续应改进拒答的首token代理。附录B提出可在前N个输出token上最小化LOCA目标（Sec. 5；附录B）。
• 解释LLAMA较早层的结果费时且易错，作者主要归因于SAE的局限（Sec. 5）。
• 作者称，SAE方向可以解释，但对越狱解释未必最优（Sec. 5）。
• 作者关注Neural Geometry：把越狱相关概念建成非线性流形，可能减轻解释困难（Sec. 5，引Geiger et al., 2026; Fel et al., 2026）。
• 作者称，转向局部解释和token级patching的想法，可作为推理时、基于steering的越狱防御的基础（Sec. 5）。这是作者提出的方向，不是已完成的防御实验。

实验覆盖范围

• 被分析的chat模型为Gemma-2-2B-IT、Gemma-3-27B-IT、Qwen-3-8B、Llama-3.1-8B-Instruct，共4个。干预限于已有预训练SAE的残差流中间层，且不含最后一层（Sec. 4）。
• 主比较基线为改编后的Lee et al. (2025)与Yeo et al. (2025)，最多20次干预。样本来自WhatFeatures中xo失败、xj成功的对，由HarmBench autograder标注；过滤后的越狱类型分布并不均匀（Sec. 4.1，附录A、C）。
• 消融在GEMMA-2上比较Base-LOCA与Token-LOCA；token匹配方案比较在LLAMA上（Fig. 4，附录E）。定位分析覆盖LLAMA与GEMMA-2的早、早中、中层（Sec. 4.3，附录D）。
• 完整回复上的HarmBench判定只在LLAMA随机50条、且在施加全部20次补丁之后（附录F）。一阶近似误差分析为LLAMA的200条、7个有SAE的层（附录G）。个案是LLAMA上的一次AutoDAN（Sec. 4.4）。
• 论文未报告主图各层标准差的具体值（图注只写±1 std. dev.）、附录F各层的Jailbreak Success Rate、HarmBench误标比例，以及统计显著性检验。Figure 3图注的50与Sec. 4.1的225/140未对照说明。

LOCA用尽量少的、可解释的中间表示变化，解释单次越狱为何能绕过拒答。

• 对齐模型会拒绝原始有害请求xo，但越狱xj可以成功。作者认为全局的harmfulness或refusal方向不能区分不同策略和请求类别，因此要找针对这一次xj的最小因果干预。
• 做法是把xo与xj的指令token对齐，沿该层SAE概念向量对xj的残差流做activation patching。每步用首token分布的KL一阶近似选择一个token与方向，补丁后重算，以计入交互。
• 在WhatFeatures里xo失败、xj成功的对上，作者报告LLAMA早期层平均6–8次补丁可诱导拒答；摘要与贡献写的是平均六次。GEMMA-3自layer 36起平均9次，GEMMA-2到layer 10平均12次，QWEN在layer 22平均10次。作者称Lee et al. (2025)与Yeo et al. (2025)在20次后通常仍不能诱导拒答。
• 作者把相对变体的优势归因于token级近似和迭代。定位上，早期层更多改用户指令token，中层几乎只靠标点与模板后token。一次AutoDAN个案在LLAMA的layer 11经两次补丁诱导拒答。
• 作者的结论是：这是迈向机制性局部解释的一步。首token代理和SAE方向仍限制解释；后续可改进拒答判定，并把局部、token级干预用作推理时防御的基础。