跳到正文
原文
论文追踪· arXiv:2607.07903· Anupam Wagle, Ifrat Ikhtear Uddin, Chaowei Zhang, Longwei Wang·本站收录· 原文发表

研究者用内部归因图对 LLM 越狱做机制可解释性分析

Mechanistic Interpretability of LLM Jailbreaks via Internal Attribution Graphs

论文速读

可解释性

据论文 PDF 整理（AI 生成），以原文为准

在Llama-2-7B-chat的30对提示上，路径重路由与越狱成功相关（r=0.461），节点消融缓解为0/4。

问题
对齐后的模型仍会被越狱改写输出，但对抗训练、提示过滤和单输入归因都不解释内部计算如何变化。作者要比较干净提示与攻击提示的因果图，找出与失败有关的结构。
方法
在Llama-2-7B-chat上用逐层transcoder建因果图，按余弦相似度对齐干净与攻击提示，并计算图偏差、安全压制、攻击涌现和路径重路由。主分析取层0–5、每节点80条边；对成功攻击的top-3涌现特征做零消融。
实验与结果
Llama-2-7B-chat的30对里4对成功（13.3%）。仅路径重路由与成功相关（r=0.461，p=0.010），另三指标p为0.264、0.503、0.389。消融缓解为0/4。500对主题解耦样本的重路由全为0.000。
局限与可以继续做的
作者写评估限于Llama-2-7B-chat与单次前向，归因图构建限于层0–5（A.4亦写前十层）。4次成功被作者称为限制统计效力；通路级防御和任意对抗分布留作后续。实验另报告500对主题解耦提示，以及同一30对在层0–15的复跑。
实验设置Llama-2-7B-chat-hf · 30 adversarial prompt pairs、500 topic-decoupled prompt pairs · attack success rate、Pearson r 等
被测模型
Llama-2-7B-chat-hf
基准
30 adversarial prompt pairs500 topic-decoupled prompt pairs
指标
attack success ratePearson rGraph DeviationSafety SuppressionAttack EmergencePath Rerouting
AI 导读研究者提出一套机制可解释性框架，用配对内部计算图诊断 LLM 越狱，将提示特定的推理表示为潜在特征之间的结构化因果交互。通过构建并对齐干净提示与受攻击提示的计算图，作者发现对抗攻击会系统性地改变内部推理，包括抑制安全相关组件、出现攻击特有特征以及计算路径改道。基于这一表示，框架将计算分解为不变、被抑制和涌现三类结构，识别与失败模式相关的反复出现的脆弱性母题，并对节点、路径和子图做因果干预以评估其对攻击成功的贡献。在多个开源 LLM 和多种对抗与越狱基准上的实验显示，内部计算图的结构偏差与不安全行为高度相关，针对识别出的脆弱性母题进行干预可提升模型鲁棒性。

研究者提出一套机制可解释性框架，用配对内部计算图诊断 LLM 越狱，将提示特定的推理表示为潜在特征之间的结构化因果交互。通过构建并对齐干净提示与受攻击提示的计算图，作者发现对抗攻击会系统性地改变内部推理，包括抑制安全相关组件、出现攻击特有特征以及计算路径改道。基于这一表示，框架将计算分解为不变、被抑制和涌现三类结构，识别与失败模式相关的反复出现的脆弱性母题，并对节点、路径和子图做因果干预以评估其对攻击成功的贡献。在多个开源 LLM 和多种对抗与越狱基准上的实验显示，内部计算图的结构偏差与不安全行为高度相关，针对识别出的脆弱性母题进行干预可提升模型鲁棒性。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    配对归因图用来诊断越狱如何改写内部计算，正文中节点干预并未缓解。

    越狱如何改写模型内部计算、哪些结构对攻击成功有贡献，输入输出分析回答不了。

    • 出现场景：作者称 LLM 已用于推理、编程和科学分析，但仍易被对抗提示和越狱诱导出不安全、不忠实或不正确输出；输入上的小改动即可绕过对齐。作者认为这妨碍安全关键部署。
    • 现有不足：对抗训练、对齐调优、提示过滤和检索增强主要约束输入输出。作者称它们不解释恶意输入如何改变内部计算。电路与归因工作多针对干净输入。
    • 作者假设：把提示特异的推理看成潜特征上的因果归因图后，攻击会压制安全相关结构、引出攻击特异特征，并把计算重路由到违反策略的通路。
    • 本文提出：配对内部计算图。对齐干净图与攻击图，分解不变、压制和涌现结构，识别脆弱性模体，再对节点、路径和子图做干预。
    • 摘要与正文：摘要写实验跨越多个开源 LLM 和多种对抗/越狱基准，且针对模体的干预能提升鲁棒性。越狱数字来自 Llama-2-7B-chat-hf 的 30 对提示；Table 2 的节点干预缓解为 0（0%）。引言第三条与结论写的是节点级干预未能缓解攻击。

  2. 有哪些相关研究？

    作者将本文放在越狱防御、电路分析、单输入归因和组件级因果干预之间。

    论文第 2 节分四组讨论。批评只记作者明确写出的不足。

    越狱与输入输出防御

    • Szegedy 等（2013）、Goodfellow 等（2014）、Madry 等（2018）、Carlini 与 Wagner（2017）讨论深度网络的对抗样本。Zou 等（2023）、Qi 等（2024）和 AutoDAN（Zhu 等，2024）讨论可绕过对齐的提示攻击。
    • 论文点名的防御是对抗训练（Madry 等，2018）、对齐调优（Ouyang 等，2022）和提示过滤。作者称它们停在输入输出层，不建模攻击下的内部计算。

    电路与稀疏特征

    • Olah 等（2020）、Elhage 等（2021）的 transformer circuits、Olsson 等（2022）的 induction heads、Huben 等（2024）的稀疏自编码器，用来反推内部机制。
    • 作者称这些工作通常用在干净输入上，不分析对抗或越狱下计算如何变化。

    归因图

    • 显著性图（Simonyan 等，2013）、Integrated Gradients（Sundararajan 等，2017）、SHAP（Lundberg 与 Lee，2017）、LIME（Ribeiro 等，2016）解释单次预测。
    • Nanda（2023）的 attribution patching、Geiger 等（2025）的因果抽象、Conmy 等（2023）的自动电路发现延伸到内部组件或图。作者称归因图仍是描述性的、限于单输入，不能跨输入比较，也不区分偏离类型。

    因果干预与实验对照

    • Vig 等（2020）的因果中介、Meng 等（2022）的激活修补，以及因果抽象，用来找对预测有因果作用的组件。作者称它们多停在单个组件，未扩展到图级，也未建模对抗下因果结构的变化。
    • 基线是梯度归因（引用 Integrated Gradients），在 10 对提示上与 transcoder 比较（Table 4）。数据是自建 30 对，策略来自 Wei 等（2023）和 Zou 等（2023）；附录另有 500 对主题解耦提示。讨论还对照 Wang 等（2022）的间接宾语电路，以及 Carlini 与 Wagner（2017）、Jain 等（2023）的输入空间检测。

    作者把区别放在比较干净图与攻击图，而不是只解释干净计算。

  3. 论文如何解决这个问题？

    用transcoder建配对因果图，以路径重路由和节点零消融检验攻击相关结构。

    整体思路是把提示在某一输出位置的推理写成因果计算图，再比较干净输入与攻击输入。实验用逐层 transcoder 特征建图；结论又称之为基于稀疏自编码器的归因图。

    节点、边与实现

    • 节点空间：式 (2) 包含嵌入、注意力输出、前馈特征、残差流、logits 和重建误差。误差节点用来收 transcoder 基里写不出的非线性残差。
    • 边：预激活对上游激活的偏导非零才连边；权重近似为偏导乘激活。每节点保留 top-k 入边，实验取 k=80。
    • 实现：在 Llama-2-7B-chat-hf 的 MLP 输出上按 Huben 等训练逐层 transcoder，每层 4096 特征，作为前馈节点；重建误差作为误差节点。作者称其余类型由误差校正隐式覆盖。第 4.1 节写该近似的平均 KL 为 0.0027，top-1 准确率 99.2%。主分析用层 0–5。附录 E.2 写边只连同一 token 位置的相邻层。

    图写为 Gt(x)=(Vt(x), Et(x), Wt(x))，即该位置的节点、有向影响和边权。

    对齐与四个指标

    • 对齐：用激活余弦相似度匹配；低于 0.5 的匹配丢弃，对应节点进入压制或涌现。
    • 三分：不变、压制（干净激活远大于攻击侧）、涌现（攻击侧远大于干净侧）。局部偏离另定义为激活差的和，以及边权矩阵的 Frobenius 差。
    • 实验计数：第 4.2 节的公式编号与第 3 节不完全对应，实际阈值如下。激活阈值 τ=0.005。压制要求干净激活高于 τ 且攻击侧低于其一半；涌现要求攻击侧高于 τ 且对不回干净图。图偏差为 1 减去匹配节点的两倍占两图节点数之和的比例。路径重路由先取干净图权重最高的 20 条路径，再对连乘权重的相对变化取平均，ε=10^-10。

    模体与干预

    • 三类模体：安全压制、攻击涌现、计算重路由（同端点路径在两侧分叉）。发现写成结构偏离与激活偏离的加权最大化；论文未给出实验使用的 α、β。实验用 NetworkX 子图同构，窗口为 3 个节点。
    • 贡献定义：提出的操作包括节点压制、激活恢复、边屏蔽和子图替换。

    C(Ω;x,x̃)=L(f(x̃),y∗)−L(fI(x̃),y∗)，即改动结构 Ω 后，相对期望行为的损失减少多少。

    • 实验中的干预：只做零消融。从涌现集合按涌现幅度取 top-3，激活置 0，再用是否出现拒绝语言的指示函数之差作为贡献（式 25）。论文未列出拒绝短语。

    提示对

    干净提示是模型应回答的良性请求。攻击提示采用文献中的四类策略：前缀注入、角色扮演、上下文切换、开发者模式，并套 Llama-2-chat 模板。成功按是否绕过安全机制记录；论文未说明自动评审模型。案例里，开头带责任声明但随后给出技术内容的输出被计为成功。

  4. 论文做了哪些实验？

    30对中仅路径重路由与越狱成功相关（r=0.461），4次节点消融均未缓解。

    实验设置

    • 被测模型：主分析为 Llama-2-7B-chat-hf（含 RLHF）。归因图用层 0–5 的逐层 transcoder。清单写 Llama-2-7B 与 chat 版都用于分析，越狱指标只按 chat 版报告。Pythia-6.9B 只出现在附录 D 的重建对比。
    • 数据：自建 30 对。策略来自 Wei 等（2023）与 Zou 等（2023），分前缀注入、角色扮演、上下文切换、开发者模式。附录 B.4 另有 500 对主题不相关的提示。论文未将其称为某一公开基准的全量。
    • 指标与判定：攻击是否绕过安全机制；四个结构指标与 Pearson r、95% bootstrap 区间。压制另报 Spearman。干预看输出是否含拒绝语言。论文未说明外部评审模型，也未报告人工一致性。脚注写生成窗口为 10 个 token。
    • 对照与规模：梯度归因 10 对（Table 4）；误差节点消融 N=10（Table 3）。主相关 N=30。论文未报告重复次数。500 对耗时 22.8 分钟。硬件为双路 12 核 SkyLake、2 块 Tesla V100 32GB、128GB 内存（附录 C）。

    主结果

    相关、区间和 p 据 Table 1；均值、标准差和中位数据 Table 2。均为 Llama-2-7B-chat，N=30。

    表格较宽，可左右滑动

    指标Pearson r95% CIp均值±SD中位数
    Graph Deviation0.210[+0.010, +0.483]0.2640.372±0.2890.333
    Safety Suppression-0.127[-0.227, -0.003]0.5032.77±7.760.000
    Attack Emergence0.163[-0.070, +0.605]0.3893.23±4.851.000
    Path Rerouting0.461[+0.189, +0.722]0.0100.641±0.4570.575
    • 结局：成功 4（13.3%），失败 26（86.7%）。4 次成功攻击上的缓解为 0（0%）（Table 2）。
    • 作者解读：作者认为成功越狱改的是信息通路，而不是单纯压制安全特征或激活攻击特征；并称区间宽来自 N=30。安全压制 23/30 为零，Spearman ρ=-0.015，p=0.936。
    • 表题与表内区间：Table 1 表题写只有路径重路由的区间不含 0。按表中印刷数字，Graph Deviation 与 Safety Suppression 的区间也不含 0，只有 Attack Emergence 含 0。p 值以表为准。Figure 1 图注称三个静态指标与成功无显著关系；Figure 2 图注称成功点落在更高重路由幅度。散点位置无法从纯文本核对。

    攻击类型与案例

    据 Table 5。表中 “–” 表示该组零成功、论文未计算相关。

    表格较宽，可左右滑动

    攻击类型N成功数成功率r
    Context Switching10330%+0.865
    Other4125%+0.852
    Prefix Injection400%–
    Persona (DAN/AIM)300%–
    Mode Framing400%–
    Hypothetical Framing400%–
    • 分项：直接模板在该样本中成功数为 0。上下文切换的 p=0.001；Other 的 p=0.148。双人格 N=1、成功 0。作者认为总相关主要由语义桥接驱动。
    • 11 条桥接子集：成功例重路由为 1.49、1.20、1.14、0.88，失败例最高 0.67、最低 0.12（Table 6）。作者称阈值 0.8 在该子集上完全分开，并写明 N=11 小、需要重复。
    • 案例：pair 21 有 12 个涌现特征、重路由 1.49；正文写 123 个新 fork 模体，附录 A.1 写 fork 从 0 到 112。pair 5：涌现 0、重路由 0.46。pair 28：涌现 3、重路由 1.14，fork 从 2 到 6。作者称直接覆盖指令几乎不改图，间接上下文切换会重路由。

    扩展样本、层深度与干预

    • 500 对：成功率 8.4%（42/500）。Table 7：图偏差 0.866–0.983（均值 0.964）；安全压制均值 713.6；攻击涌现均值 58.7；路径重路由最小、最大、均值均为 0.000。作者称主题不共享时几乎没有可对齐路径，指标按定义返回 0，不是关于机制的零结果。
    • 层 0–15：同一 30 对上，路径重路由相关降到 r=+0.213、p=0.258（Table 11）。作者将其归因于中层重建较差。两深度之间该指标的相关为 -0.059。
    • 干预：4 次成功攻击上，按涌现幅度取 top-3 做零消融，贡献均为 0，缓解 0%。作者称效应分布在很多特征上，选择性消融会被冗余补偿；路径级和子图级干预没有结果。附录 A.2 写涌现特征均值 3.2、最大 20，top-3 约占总涌现激活的 15%（作者给出的比例）。

    其他消融与分析

    • 误差节点（Table 3，N=10）：有误差节点时平均 KL 0.0014（标准差 0.0009），无则为 46.96（18.32）；表中改进 99.997%。第 4.1 节的 KL 0.0027 与此条件不同。
    • 梯度对照（Table 4，10 对）：均值偏离 3.995（标准差 1.834），transcoder 为 0.217（0.073）。表题称 18×。
    • 成功攻击的 fork 模体平均增加 67.5，chain 模体减少（未给数量）。作者称成功攻击聚集在高 fork 区域并引用 Figure 1、2；这两张图注分别写静态指标和路径重路由，未给 fork 数值。
    • 附录 D.2 写各层 FVE>98%；Table 9 中 Llama 层 3 的 FVE 为 0.212、层 5 为 0.440。以表为准。表注称主分析除层 3 外问题较轻。
    • 附录 B.6 失败例：节点 29→14，边 80→19。附录 G：节点 90→33（-63.3%），边数仍为 80，平均边权 3.425→17.922，图相似度 10.81%，两提示预测同一 token。
    • Figure 5 图注：层 5、10、15 的 PCA，每类 N=150；图注称成功越狱随深度从无害侧过渡到有害请求区域。散点位置无法从纯文本核对。

  5. 有什么可以进一步探索的点？

    作者在附录A.4写明单模型、层覆盖、单轮前向和成功样本数等局限。

    作者指出的局限与后续方向

    • 单模型：评估限于 Llama-2-7B-chat；能否泛化到 Constitutional AI、GPT、Gemini 等其他安全范式，作者称为开放问题（附录 A.4）。
    • 层覆盖：A.4 写归因图只覆盖前十个 transformer 层，同段又写构建仍限于层 0–5；并称 PCA 显示安全相关计算延伸到更后层。作者称附录 D 的全层 transcoder 只部分回应这一缺口（A.4）。
    • 单次前向：框架不覆盖多轮对话中靠迭代上下文操作的攻击（A.4）。
    • 干预：零消融 0/4 被作者用来说明特征级控制不足以对付分布式表征；激活转向和电路修补更有希望，但大规模代价高（A.4）。结论建议后续做通路级防御。附录 A.2 建议用反事实选择特征，并称计算代价可能过高。
    • 样本量：30 对里只有 4 次成功，统计效力有限；作者建议在更大、更多样的对抗基准上验证（A.4）。
    • 分布：附录 B.4 称把框架扩到任意对抗分布、例如不依赖成对良性锚点，留作后续工作。

    实验覆盖范围

    • 越狱数字：报告在 Llama-2-7B-chat-hf 的 30 对自建提示（成功 4）以及附录 B.4 的 500 对（成功 42）。策略分项见 Table 5。
    • 模型范围：摘要写多个开源 LLM。附录 D 的 Pythia-6.9B 只报告 32 层 transcoder 重建，不报告越狱结果。清单写 Llama-2-7B 也用于分析，论文未给出其单独越狱指标。
    • 干预与协议：只报告 4 次成功攻击上的 top-3 零消融；论文未报告路径级或子图级干预的结果（第 4.6 节）。论文未报告外部评审模型、与人工判定的一致性，以及主相关的重复次数。
    • 层深度：主分析为层 0–5。附录 H 用同一 30 对把归因图建到层 0–15。梯度对照为 10 对（Table 4），误差节点消融为 N=10（Table 3）。
    • 桥接子集：附录 B.3 比较 11 条语义桥接提示上的重路由；作者写明该子集小。B.4 中路径重路由因缺少共享路径而全部为 0.000。

  6. 总结一下论文的主要内容

    在Llama-2-7B-chat上，路径重路由与越狱成功相关，节点消融为0/4。

    这篇工作用配对内部归因图诊断 Llama-2-7B-chat 的越狱，而不是给出一套已在实验中缓解成功的防御。

    • 问题：作者认为对抗训练、对齐调优和提示过滤停在输入输出，解释不了攻击如何改写内部推理。
    • 做法：用逐层 transcoder 把提示推理画成因果图，按余弦相似度对齐干净图与攻击图，再统计图偏差、安全压制、攻击涌现和路径重路由。对成功样本的 top-3 涌现特征做零消融。主分析在层 0–5。
    • 主数字：30 对中 4 对成功（13.3%，Table 2）。路径重路由与成功的 Pearson r=0.461（p=0.010，Table 1）。上下文切换 10 对中该相关为 r=0.865（p=0.001，Table 5）。4 次消融的缓解为 0%（Table 2）。
    • 例外：图偏差、安全压制、攻击涌现的 p 值分别为 0.264、0.503、0.389（Table 1）。500 对主题解耦提示上路径重路由全部为 0.000（附录 B.4）。层 0–15 上该相关为 r=0.213、p=0.258（Table 11）。
    • 作者结论：成功越狱更像把计算绕到别的通路，而不是关掉安全特征；节点消融对付分布式表征不够。后续应做通路级防御。摘要写干预能提升鲁棒性，与 Table 2 的 0% 缓解不一致。
阅读原文arxiv.org