Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2602.04893· Licheng Pan, Yunsheng Lu, Jiexi Liu, Jialing Tao, Haozhe Feng, Hui Xue, Zhixuan Chu, Kui Ren·Indexed by this site · Originally published

Enhancing jailbreak attacks and defenses from a causal perspective

A Causal Perspective for Enhancing Jailbreak Attack and Defense

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

Causal Analyst按因果特征改写提示词，Table IX中Qwen的ASR从23.66%升至28.01%。

Threat model攻击者用black-box、template-based提示词诱导LLM输出违反安全策略的内容；成功只计AH，AR、AW、AN计失败。

Questions
模板越狱与可读提示词特征之间的因果关系不清楚。作者认为隐表示分析难以解释，也不便直接用于改写攻击或抽出真实意图。
Methods
Causal Analyst以Qwen2.5-7B编码提示词，与37个可读特征及响应类别对齐，再用DAG-GNN学因果图。Enhancer加强被标为直接原因的特征；Advisor按图去掉包装并抽取意图。
Experiments and results
Table IX中Qwen在Ours列ASR从23.66%升至28.01%，Baichuan2在TwinBreak的RI为+143.36%。Advisor的ROUGE-Avg为21.67，Vanilla Extractor为16.23。
Limitations and future work
作者称分析限于template-based攻击，损失权重为手工调节，并计划考察新架构与多模态。ASR表省略了GPT-4o和Qwen-7B/72B；论文未报告公开基准条数与重复次数。
Experimental setupQwen (7B)、Qwen (14B) et al. · Jailbreaking Attempts Dataset、StrongREJECT et al. · ASR、RI et al.
Threat model
攻击者用black-box、template-based提示词诱导LLM输出违反安全策略的内容；成功只计AH，AR、AW、AN计失败。不访问权重。模板分encryption、hijacking、setting。排除可被高概率直接拒绝的harmful queries。
Evaluated models
Qwen (7B)Qwen (14B)Qwen (72B)Baichuan2LLaMA3GLM4GPT-4oQwen2.5-7B
Benchmarks
Jailbreaking Attempts DatasetStrongREJECTTwinBreak
Metrics
ASRRIAPF1AUCBLEU-4ROUGE-AvgSHD
AI summaryThe researchers propose the Causal Analyst framework, which connects LLMs to data-driven causal discovery to identify the direct causes of jailbreaks and use them for both attack and defense. The team built a dataset of 35,000 jailbreak attempts covering 7 LLMs, generated from 100 attack templates and 50 harmful queries, annotated with 37 human-readable prompt features, and reconstructed causal paths through joint training of LLM prompt encoding and GNN causal graph learning. The analysis found that features such as Positive Character and Number of Task Steps are direct causal drivers of jailbreaks. The two applications based on this are Jailbreaking Enhancer, which improves attack success rates by targeting causal features, and Guardrail Advisor, which extracts real malicious intent from obfuscated queries using the causal graph. Code is available at https://github.com/Master-PLC/Causal-Analyst。

The researchers propose the Causal Analyst framework, which connects LLMs to data-driven causal discovery to identify the direct causes of jailbreaks and use them for both attack and defense. The team built a dataset of 35,000 jailbreak attempts covering 7 LLMs, generated from 100 attack templates and 50 harmful queries, annotated with 37 human-readable prompt features, and reconstructed causal paths through joint training of LLM prompt encoding and GNN causal graph learning. The analysis found that features such as Positive Character and Number of Task Steps are direct causal drivers of jailbreaks. The two applications based on this are Jailbreaking Enhancer, which improves attack success rates by targeting causal features, and Guardrail Advisor, which extracts real malicious intent from obfuscated queries using the causal graph. Code is available at https://github.com/Master-PLC/Causal-Analyst。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者要找出可读提示词特征导致越狱的直接原因，并用于增强攻击和抽取意图。

    可读提示词特征与越狱是否发生之间的因果关系不清楚。

    • 场景：作者称LLM会被精心构造的提示词诱导产生恶意输出；错误信息可能误导用户或传播不实信息，隐私泄露可能暴露个人数据。内部手段包括SSFT与RLHF，外部手段包括外部算法、辅助判定模型和提示词过滤。作者称防御与越狱持续互相绕过。
    • 不足：作者称已有工作用图聚类、人工分类或隐表示探测分析越狱特征，依赖难解释的高维隐空间；可读特征对越狱成功的因果影响及其贡献仍未被考察。
    • 假设：作者认为LLM可以直接从原始文本观测中学习因果结构，而不只是给传统因果发现提供先验或事后修正。
    • 做法：提出Causal Analyst，在35,000条尝试上联合LLM编码与GNN因果图学习，并给出Jailbreaking Enhancer与Guardrail Advisor。作者称这是其所知的、该问题下从因果视角做的分析。
    • 威胁模型：
      • 目标：诱导LLM产生违反安全准则的输出。成功定义为Answer Harmfulness（AH），即内容违反安全策略，区别于单纯绕过拒答。ASR只把AH计为成功，AR、AW、AN计为失败；该句未把AG列入失败。
      • 知识：论文区分white-box与black-box。本文聚焦template-based的black-box，不使用权重、梯度或logits。
      • 能力：整理100个模板，分encryption、hijacking、setting，与50个有害查询组合。作者排除可被LLM高概率直接拒绝的harmful queries。
      • 受害系统：Table II的七个LLM。增强实验的ASR表未覆盖全部七个。

  2. What related research exists?

    相关工作分防御、white-box/black-box攻击和因果发现；作者称本文把LLM编码放进发现回路。

    越狱防御

    • 内部对齐：Ouyang等（2022）的SSFT、Bai等（2022）的RLHF，以及基于logit分析或梯度监测的推理时干预。论文将其归为训练或推理阶段的自我约束。
    • 外部防护：作者称工业部署因模块化常用模式匹配和关键词过滤，把模型当black box；学术工作包括困惑度过滤、辅助判定模型，以及对输入做随机扰动以检查语义一致性。
    • 攻防关系：作者称防御仍在变化，因此需要分析使越狱成立的因果机制。论文未把某一篇外部防御与Guardrail Advisor做数值对照。

    越狱攻击

    • white-box：用梯度、激活模式优化对抗token，或在恶意数据上做对抗微调。作者称在拿不到权重或训练流程的专有模型上，这类方法往往不可行。
    • black-box：训练辅助模型生成攻击、按查询反馈改写，或用模板把有害查询包进角色扮演、加密等场景。作者称模板攻击在社区来源的越狱中常见，因其可解释且有效，是本文特征分析的主要对象。

    因果发现

    • 传统方法：基于约束的条件独立检验、基于得分的结构搜索，以及把组合搜索改成连续优化的方法（含NOTEARS）。
    • LLM介入因果发现：Khatibi等（2024）、Kiciman等（2023）把LLM用作专家系统，注入先验或修正事后结果。作者称LLM直接从提示词观测学习因果结构这一点仍未被使用。

    基线与基准

    • 基线方法：因果图对比PC与DirectLiNGAM；意图抽取对比不用因果图的Vanilla Extractor；攻击长度对照为LenCtrl†与LenCtrl。
    • 基准/数据集：自建35,000条越狱尝试，以及公开基准StrongREJECT、TwinBreak。

    作者把本文定位为：把LLM编码放进因果发现回路，用可读特征找出越狱的直接原因，并同时用于提高攻击成功率和抽取恶意意图。作者称这是该语境下从因果视角做的分析，也是作者所知的第一个此类框架。

  3. How does the paper address this problem?

    Causal Analyst用Qwen2.5-7B编码与DAG-GNN学因果图，再改写提示词或抽取意图。

    Causal Analyst把提示词编码接进数据驱动因果发现，再把因果图用于Jailbreaking Enhancer和Guardrail Advisor。骨干选Qwen2.5-7B，作者给出的理由是推理能力、多语言支持和开源、便于复现。

    数据与可读特征

    • 模板与查询：100个template-based模板，分encryption、hijacking、setting（Table I），来自AutoDAN等公开来源。另有50个有害查询，直接提问时通常被拒绝。组合得到5,000条提示词，在七个LLM上测试，共35,000条尝试。
    • 响应标签：AH、AW、AR、AG、AN（Table III）。AH是含潜在有害或不适当内容。分类提示词在附录B4，要求按中国法律与价值观评估；论文未写执行该分类的模型。
    • 37个特征：Table IV，分加密、劫持、设定和提示词级。长度、语言数等用规则计算；Positive Character、Command Tone等语义特征用GPT-4o标注。附录B5给标注提示词与规则。人工抽样核验后得到D={(pi, ai, fi, ci)}，N=35,000。

    分类器与因果图

    • 分类头：Qwen2.5-7B加一层线性层和ReLU，在Dc上微调。多标签，sigmoid后取概率超过0.5的类别。预测分布c̃i再送入图学习。
    • 对齐：同一骨干另接图学习头，得到隐表示hi。显式输入为特征与预测类别的拼接。融合有相加、逐元素乘、注意力式三种，实验主要用乘法。
    • 图学习：用DAG-GNN从对齐表示重构DAG。附录C写连续优化、ELBO和增广拉格朗日，后处理阈值0.3，β=10，γ=0.25；输入维1，隐藏维64。
    • 训练目标：对齐与重构用MSE。图学习复合损失为LCL=λa LAlign−(1−λr)LELBO+λr LRec。联合阶段再加分类损失。λ默认0.5。

    训练流程

    1. 冻住图学习头，用交叉熵更新骨干和分类头，学习率5e-5。
    2. 冻住分类头，用L_CL更新骨干和图学习头。
    3. 较小学习率3e-5联合更新，以避免遗忘。

    Adam加cosine调度，batch size 8，生成温度0.7，10个交替周期、每阶段2个epoch，用LLaMA-Factory。D按类别分为训练30,000、验证5,000（Figure 3）。先验约束见Figure 5与附录E1：攻击族内自上而下、族间不相连，提示词级特征与响应类型作为下游节点。

    推理与两个应用

    • 因果解释：边转成文本，按边权采样top-10条路径，连同原提示词和响应类型交给GPT-4o，区分直接原因与间接原因。附录D给转换与推理提示词。
    • Enhancer：对直接原因设计特征弱化过滤，由原提示词得到弱版本，构成Dj，微调Qwen2.5-7B学习从弱到强的映射。附录B6给过滤原则，此处不列具体改写约束。推理时对未越狱提示词加强因果图标出的直接原因，直到分析器判定能造成越狱或用户停止。LoRA调q、k、v、o，3个epoch，学习率5e-5。论文未写迭代上限。
    • Advisor：Da为复杂提示词与人工抽出的清晰意图。微调Qwen2.5-7B（5个epoch）去掉包装特征、重建核心查询，供后续安全机制使用。对照是同一数据上微调、但不使用因果图的Vanilla Extractor。

  4. What experiments did the paper conduct?

    Qwen在Ours列ASR从23.66%升至28.01%；Advisor的ROUGE-Avg为21.67。

    实验设置

    • 受害与方法模型：数据集查询Table II的七个LLM：Qwen 7B/14B/72B、Baichuan2 13B、LLaMA3 8B、GLM4 9B、GPT-4o（约200B，非开源）。分析器、Enhancer、Advisor的骨干均为Qwen2.5-7B。语义特征标注和因果解释使用GPT-4o。
    • 数据：D为35,000条。Dc、Dg写成D的子集，规模符号仍为N，未另给条数。训练30,000、验证5,000。增强评测用D的held-out子集、StrongREJECT小版本，以及TwinBreak中的恶意提示词。论文未写这三项的条数。
    • 基线：因果图为PC（fisherz，α=0.05）与DirectLiNGAM（pwling，不软性使用先验）。防护为Vanilla Extractor。长度对照为模型专用pad token的LenCtrl†，以及<IGNORE>的LenCtrl。
    • 指标：分类用AP、HS、F1、AUC、RL、OE。ASR只计AH；RI=(ASRAfter−ASRBefore)/ASRBefore。Advisor用BLEU与ROUGE，表注写明已乘100%。图结构用边数、连通比例和SHD。
    • 训练与硬件：单独阶段学习率5e-5，联合阶段3e-5。Ubuntu 22.04.4，500GB内存，八张RTX 4090；效率剖面写的是单张RTX 4090。论文未报告重复次数，也未写Table IX的AH由哪个分类器判定。

    主结果

    据Table IX，格子依次为ASR-B / ASR-A / RI。正文称因成本省略GPT-4o，并省略Qwen-7B/72B，故不单列这两行。Table IX的Qwen未再标明参数量。

    Swipe horizontally to read the table

    模型OursStrongREJECTTwinBreak
    Qwen23.66% / 28.01% / +18.38%6.67% / 12.82% / +92.31%12.00% / 18.69% / +55.77%
    Baichuan235.60% / 38.81% / +9.03%0.00% / 12.82% / —11.00% / 26.77% / +143.36%
    LLaMA314.34% / 15.07% / +5.10%1.67% / 3.59% / +115.38%1.00% / 1.15% / +15.38%
    GLM434.86% / 38.13% / +9.38%10.00% / 17.69% / +76.92%24.00% / 29.92% / +24.68%
    • 作者称针对因果特征后，各LLM的ASR都上升，RI范围为+5.10%到+143.36%。Baichuan2在StrongREJECT上的RI，表中记为“—”。
    • 作者称增强器只在Dj上训练，仍能迁到StrongREJECT和TwinBreak；并称相对静态模板，是按查询所缺属性做调整。Example IV-B.2写LLaMA-3在加强Number of Task Steps后出现AH，示例含有害内容，此处不复述。
    • 例外：LLaMA3在Ours上RI为+5.10%，TwinBreak上ASR-A为1.15%。Baichuan2在StrongREJECT上增强前ASR为0.00%。论文未解释这些较低数字。

    因果图与结构核验

    • 图密度：Table VI中本文213条边、连通比例12.07%；PC为174、9.86%；DirectLiNGAM为381、21.60%；允许边628（35.60%），总可能边1764。作者称PC过稀、DirectLiNGAM过密，本文介于二者；并称PC图是本文图的子图，本文图是DirectLiNGAM的子图。作者称Figure 6(a)有一条路径：Encryption Type → Encrypted Conversation → Lexical Richness → Number of Background Info → Answer Harmfulness。图中边权与布局在纯文本中不可读，不另述位置。
    • 直接原因表述不完全相同：摘要和结论称Positive Character与Number of Task Steps是AH的直接因果因素；第IV-B2节称AH的直接驱动包括Character Disorder与Positive Character。Table VII列在纯文本中错位，不据此补名单。
    • 打乱检验：Table VIII，原数据边数213、F1 0.8108、LAlign 0.0124、LELBO 0.0138；100%打乱后SHD为135，边数78，F1 0.6611，LAlign 0.6834，LELBO 0.6558。作者称结构来自数据关联而非模型假象，并称打乱后性能接近随机猜测。

    防护与同时攻防

    • 意图抽取：Table XI，Vanilla Extractor的BLEU-4为7.65、ROUGE-1 23.32、ROUGE-2 6.53、ROUGE-L 19.86、ROUGE-Avg 16.23；Advisor为11.34、29.36、9.80、25.86、21.67。作者称因果图使其聚焦核心语义、滤掉场景噪声。Example IV-B.3不复述原文。论文未报告误拒率或漏检率。
    • 同时攻防：作者称Figure 7中，无Advisor时增强攻击的ASR高于原始攻击；TwinBreak上从12.00%到18.69%。Advisor把自有数据集上的ASR压到5.00%，把StrongReject压到0.13%。论文未写该图对应哪个模型。12.00%与18.69%和Table IX中Qwen的TwinBreak行相同。
    • 分类：Table V，单独训练AP 0.9070、F1 0.7973、AUC 0.9294、RL 0.0707、OE 0.1602；交叉训练AP 0.9115、HS 0.9180、F1 0.8108、AUC 0.9328、RL 0.0674、OE 0.1525。作者称同等计算预算下交叉训练更好。作者称Figure 4对角线为0.64–0.90，AR-AW为0.73，AG-AW为0.81；这些数字与Figure 4(b)对应格子一致。

    其他消融与分析

    • Table X：Qwen2.5列，Original ASR 23.66%（约137 token），LenCtrl† 23.81%（+0.65%），LenCtrl 24.68%（+4.31%），Ours 28.01%（+18.38%，约146 token）。LLaMA-3列依次为14.34%、13.98%（−2.49%）、13.87%（−3.30%）、15.07%（+5.10%）。作者称收益来自所加强的因果特征，而不是拉长上下文。该列数字与Table IX的Qwen、LLaMA3行相同，论文未说明是否同一目标模型。
    • Table XII融合：相加AP 0.851、LAlign 0.695；乘法AP 0.881、LAlign 0.190、LELBO 0.032、LRec 0.002；注意力AP 0.891，但LELBO 4.243。作者默认用乘法。
    • λa、λr、λc默认0.5。作者称λa>0.5会丢掉隐语义，λc>0.5会使图学习损失上升。Figure 8正文未给各点精确读数。
    • Figure 9：骨干规模0.5B、1.5B、3B、7B。作者称规模变小则分类指标下降，LAlign与LELBO上升。正文无各规模精确数字；未给出较小规模的完整模型名。
    • Table XIII：三阶段可训练参数5.06M、5.20M、5.22M；时间44.65、44.74、44.95分钟；峰值显存18.73、18.77、18.77GB。作者称在线推理相对原骨干的额外延迟可忽略，论文未给耗时。
    • 推理示例IV-B.1用GPT-4o对比有图与无图的解释，含有害输出，此处不复述。作者称有图时能从具体特征追到AH。

  5. What are some points that can be further explored?

    作者称分析限于模板攻击、权重手工设定，并计划看新架构与多模态迁移。

    作者指出的局限与后续方向

    • 攻击类型：当前分析集中在template-based攻击，作者给出的理由是其结构可解释；把因果视角扩展到gradient-based或optimization-based攻击，作者称为下一步。（Conclusion，Limitations & Future Work）
    • 超参：损失权重是手工调节。作者称自动超参优化可以简化训练。（同上）
    • 迁移：作者计划研究因果越狱模式在新模型架构和多模态输入上的可迁移性，以做更一般的防御。（同上）

    实验覆盖范围

    • 数据集构建查询了Table II的七个LLM；Table IX报告Qwen、Baichuan2、LLaMA3、GLM4的ASR，正文写明省略GPT-4o以及Qwen-7B/72B。
    • 因果图对比为PC与DirectLiNGAM；长度对照为LenCtrl†与LenCtrl；意图抽取对照为Vanilla Extractor。融合方式试了相加、乘法、注意力式。
    • 公开基准为StrongREJECT小版本和TwinBreak的恶意提示词。论文未报告这两项及held-out子集的条数，也未报告重复次数、增强迭代上限和查询次数。
    • 响应分类提示词在附录B4，论文未写执行分类的模型，也未写Table IX的AH判定器。Advisor报告了BLEU/ROUGE和Figure 7的ASR，论文未报告误拒率或漏检率。
    • 骨干规模实验写了0.5B到7B（Figure 9）。训练效率数字来自单张RTX 4090上的剖面（Table XIII）。

  6. Summarize the main content of the paper

    用因果图定位越狱的可读特征，再据此增强模板攻击并抽取真实意图。

    Causal Analyst用可读提示词特征做越狱的因果发现，并把图用于攻击改写和意图抽取。作者要解决的是：隐表示分析看不出哪些人类可读特征直接导致越狱。

    • 数据：100个模板、50个有害查询、七个LLM，共35,000条尝试，标注37个特征。模板分encryption、hijacking、setting。成功只计AH。
    • 方法：Qwen2.5-7B做多标签分类和图学习编码，与特征和预测类别对齐后，用DAG-GNN学DAG。交叉训练的分类、对齐和重构损失权重默认0.5。GPT-4o把top-10路径写成解释。Enhancer加强直接原因特征；Advisor按图去掉包装、重建意图。
    • 攻击结果：Table IX中，Qwen在Ours列ASR从23.66%到28.01%（RI +18.38%）。Baichuan2在TwinBreak上从11.00%到26.77%，RI为+143.36%。LLaMA3在Ours上RI为+5.10%。Baichuan2在StrongREJECT上增强前为0.00%，RI记为“—”。长度对照在相近token数下，LLaMA-3的pad对照ASR下降，本文方法上升（Table X）。
    • 结构与防护：因果图213条边、连通比例12.07%（Table VI）。打乱后边数78、F1从0.8108到0.6611（Table VIII）。Advisor的ROUGE-Avg为21.67，Vanilla Extractor为16.23（Table XI）。作者称无Advisor时TwinBreak上ASR从12.00%到18.69%；Advisor后自有数据集为5.00%、StrongReject为0.13%，图中未写模型。
    • 作者结论：作者称Positive Character、Number of Task Steps等是AH的直接因素，因果视角可用于提高ASR，也可从混淆查询中抽出恶意意图，并称优于非因果做法。作者同时称分析限于模板攻击，并计划看梯度或优化类攻击，以及新架构和多模态上的迁移。
Read originalarxiv.org
#Jailbreaks and attacks