跳到正文
原文

以语言风格作为隐藏攻击面越狱 LLM

Jailbreak LLMs with Linguistic Style as a Hidden Attack Surface

arXiv:其他 AI 安全论文· arXiv:2611.18601· Priyanshu Mohanty, Sarthakbrata Halder, Srikant Panda, Afshin Oroojlooy, Murari MandalKIIT Bhubaneswar; Lam Research本站收录· 2 天前· 原文发表攻击· 扫描记录里的位置 →

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出语言风格是 LLM 越狱攻击面:20 种风格改写同一有害目标,HarmBench 上 ASR 从 1–75% 升至最高 99.5%,并给出机理分析与 style-aware DPO 防御。

威胁模型攻击者将有害目标 g 经风格条件化改写为 x̃g,s 后查询目标模型 Mt,目标不变、仅改变语气/正式度等风格;攻击在 zero-shot、单轮、查询预算 k=5 下进行,攻击方模型为 Gemini-2.5 或微调后的 Style-LLaMA-3.1-8B;受害系统为 8 个指令微调 LLM 及 Llama Guard、Qwen Guard 两个护栏。

问题
作者认为语言风格(语气、正式度、语域)是被忽视的越狱攻击面:同一有害目标换种风格表达,ASR 可相差一个数量级,而此前工作多把风格效应当作评测伪影。
方法
构建 20 种风格的分类体系,用 Gemini-2.5 生成风格化改写并蒸馏出 Style-LLaMA-3.1-8B 攻击器,配合 Top-k 或 BERT 风格选择器在 k=5 预算内单轮攻击;另在 LLaMA-3.1-8B 上做机理分析,并提出 style-aware DPO 防御。
实验与结果
HarmBench 上 8 个模型的 ASR 普遍从个位数升至 43–99.5%;Technical、Formal、Humorous 风格最强;护栏失败率升至 80.5–98.5%;机理上拒答方向被部分抑制但有害意图仍可被探针恢复;style-aware DPO 将 LLaMA-3.1-8B 的 ASR 从 86% 降至 19.5%。
局限与可以继续做的
作者承认 20 种风格分类不完备、GPT-4o 评审可能有风格偏置、机理分析依赖线性表示与最终 token 假设;机理实验仅覆盖 LLaMA-3.1-8B 与 Gemma-2-9b-it,配对集约 130 条、9 个有害目标。
实验设置Llama-3.1-8B、Gemma-2-2B 等 · HarmBench、AdvBench 等 · ASR、Harmfulness score (1-5) 等
被测模型
Llama-3.1-8BGemma-2-2BGemma-2-9BMistral-7BGPT-4oGPT-4.1-miniGemini-2.5Grok-4Llama GuardQwen Guard
基准
HarmBenchAdvBenchCatQADangerousQAWildTeamingUltraChatMT-BenchMT-Bench-101
指标
ASRHarmfulness score (1-5)guardrail failure rateMT-Bench score
AI 导读论文显示,语言风格是 LLM 安全此前被忽视的系统性攻击面,对同一有害目标仅做风格化改写,攻击成功率(ASR)即可相差一个数量级。在多个 SOTA 模型上,部分风格最高达 80% ASR,另一些低于 6%。作者提出结合风格条件生成器与基于 BERT 的风格选择器的轻量单次攻击框架,效果与成本高得多的多轮优化方法相当。对 LLaMA-3.1-8B 的机制分析发现,风格化改写会扰乱拒答表征、同时保留可恢复的有害意图,提示这是一种分布式失效模式而非单一拒答机制。基于该发现提出的风格感知 Direct Preference Optimization(DPO)防御,将 ASR 从 86% 降至 19.5%,同时基本保留实用性。

论文显示,语言风格是 LLM 安全此前被忽视的系统性攻击面,对同一有害目标仅做风格化改写,攻击成功率(ASR)即可相差一个数量级。在多个 SOTA 模型上,部分风格最高达 80% ASR,另一些低于 6%。作者提出结合风格条件生成器与基于 BERT 的风格选择器的轻量单次攻击框架,效果与成本高得多的多轮优化方法相当。对 LLaMA-3.1-8B 的机制分析发现,风格化改写会扰乱拒答表征、同时保留可恢复的有害意图,提示这是一种分布式失效模式而非单一拒答机制。基于该发现提出的风格感知 Direct Preference Optimization(DPO)防御,将 ASR 从 86% 降至 19.5%,同时基本保留实用性。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者认为语言风格是被忽视的系统性越狱攻击面,同一有害目标换风格表达可使 ASR 相差一个数量级。

    核心问题:语言风格(tone、formality、register、framing)是否构成 LLM 安全对齐的系统性攻击面——同一有害目标仅改变表达风格,越狱成功率是否会大幅变化,其机理是什么,能否防御。

    • 问题场景与重要性:LLM 安全对齐(RLHF、DPO)通常针对有害意图本身训练;作者称,风格化改写同一有害目标可产生数量级的 ASR 差异,有的风格达 80% 而有的低于 6%,说明鲁棒性不仅取决于意图还取决于表达风格。
    • 现有方法的不足:作者称,GCG 类梯度优化、PAIR/TAP 类迭代改写、AutoDAN-Turbo/Jailbreak-R1/MTSA/DialTree-RPO 类搜索与强化学习方法计算开销大,且未刻画不同语言表达下的安全行为;Xiao et al. (2026) 等先前工作多把风格效应解释为评测伪影。
    • 核心观察:作者报告,传达权威、合法性、自信、紧迫感的风格持续提高越狱成功率,而表达不确定、否定或讽刺的风格效果明显较弱,且该排序跨模型、跨数据集一致。
    • 论文提出的内容:一套 20 风格的分类体系;一个单轮、预算 k=5 的风格化红队框架(风格条件生成器 + BERT 风格选择器);对 LLaMA-3.1-8B 的机理分析;以及 style-aware DPO 防御。
    • 威胁模型:
      • 目标:将有害目标 g 改写为风格条件化提示词 x̃g,s,最大化目标模型输出有害响应的概率。
      • 知识:攻击框架在 zero-shot 设置下运行;攻击方使用 Gemini-2.5 或微调的 Style-LLaMA-3.1-8B 生成改写,论文未将其攻击明确归类为 black-box 或 white-box(机理分析部分使用白盒激活)。
      • 能力:单轮改写用户提示词,查询预算 k=5,温度 0。
      • 受害系统:8 个指令微调模型(GPT-4o、GPT-4.1-mini、Gemini-2.5 Flash、Grok-4、LLaMA-3.1-8B、Mistral-7B、Gemma-2-2B/9B)及 Llama Guard、Qwen Guard 两个外部安全分类器。
  2. 有哪些相关研究?

    相关工作分三组:越狱与红队方法、对齐与防御、越狱的机理可解释性;作者称本文把风格从评测伪影重新定位为系统性安全因素。

    越狱、红队与安全对齐

    • GCG(Zou et al., 2023):白盒梯度优化,在提示后附加对抗性后缀。
    • PAIR(Chao et al., 2024)、TAP(Mehrotra et al., 2024):黑盒迭代优化与 LLM 辅助改写。
    • AutoDAN-Turbo(Liu et al., 2025)、Jailbreak-R1(Guo et al., 2025b)、MTSA(Guo et al., 2025a)、DialTree-RPO(Guo et al., 2026):把越狱建模为搜索或强化学习问题,用终身策略库或多轮攻击轨迹树搜索。作者称这些方法计算开销大,且未刻画风格维度的安全行为。

    对齐失效与防御

    • Wei et al. (2023):提示落在预训练分布之外时安全训练会失效。
    • RESTA(Bhardwaj et al., 2024)、Constitutional Classifiers(Sharma et al., 2025):针对分布外提示的防御。
    • Xiao et al. (2026):作者转述其观点——越狱基准中表层的风格/格式模式会系统性地抬高测得的 ASR,即把风格效应视为评测伪影。

    越狱的机理可解释性

    • Arditi et al. (2024):语言模型的拒答由单一方向介导(本文拒答向量构造的基础)。
    • Ben-Tov et al. (2025):GCG 式对抗后缀通过劫持注意力、把上下文化从安全相关信息上引开来成功。
    • Shaikh et al. (2023):强制 CoT 推理结构可在 zero-shot 下绕过安全机制,提示认知负荷干扰安全遵守;Shen et al. (2025)、Sorokoletova et al. (2026) 分析有害性方向与注意力对风格格式的编码。

    基线与基准

    • 对比基线:GCG、PAIR、TAP、Jailbreak-R1、AutoDAN-Turbo(单轮)与 MTSA、DialTree-RPO(多轮),在 k=5 预算下按 DialTree-RPO 评测协议比较(Table 5)。
    • 基准:HarmBench 为主评测基准;AdvBench、CatQA、DangerousQA 用于跨数据集泛化与风格选择;训练数据取自 WildTeaming 子集。

    作者定位:先前工作多把风格效应解释为评测伪影,本文则称语言风格是影响安全行为的系统性因素,并给出与后缀攻击不同的机理证据——风格化绕过不是注意力重定向,而是分布式的拒答表征扰动。

  3. 论文如何解决这个问题?

    用 20 风格分类体系刻画攻击面,以风格条件改写器加风格选择器在 k=5 预算内单轮攻击,再做机理分析并提出 style-aware DPO 防御。

    整体思路:把越狱形式化为风格条件化改写——固定有害目标 g,仅改变风格 s,用攻击器 Ma 生成 x̃g,s 查询目标模型 Mt;再用风格选择器在预算内挑出最有效的风格子集;最后通过可解释性分析定位机理,并据此设计防御。

    问题设定与风格分类体系

    • 形式化:给定目标模型 Mt,攻击目标是生成风格条件化提示词 x̃g,s = Ma(g, s),使 Mt 的响应 y 为有害响应的概率最大;攻击器先生成内部规划 rationale rg,s 再输出改写后的提示词。
    • 目标与实例化分离:抽象有害目标 g 固定不变,仅风格化实例 x̃g,s 变化。
    • 20 种风格、四个维度(Section 3.1):Emotional-Affective(anxious、urgent、compassionate、angry 等)、Power & Social-Pragmatic(polite、assertive、flattering 等)、Epistemic(tentative、confident、skeptical 等)、Register(colloquial、formal、technical、humorous、sarcastic),维度取自礼貌理论与语域研究。

    攻击器与风格选择

    • 攻击器:Gemini-2.5 作为 zero-shot 攻击器并提供改写样例;再用这些样例以 next-token prediction 微调 LLaMA-3.1-8B 得到 Style-LLaMA-3.1-8B,训练目标为保留原意图并贴合目标风格。
    • Top-k 启发式:按各风格在 AdvBench、CatQA、DangerousQA 上的聚合 ASR 排序,取全局最强的 k 个风格。
    • BERT 选择器:训练一个 BERT 分类器,根据输入查询预测风格排序,推理时取 top-k 生成攻击,实现查询特定的风格子集近似。

    评测协议

    • 评审:GPT-4o 作为自动评审,对响应打 1–5 的有害性分数;仅当分数为 5(完全遵从)时判定攻击成功。
    • 护栏评测:用护栏失败率衡量,即有害的风格化提示词被误判为安全的比例。
    • 推理设置:zero-shot、原生 chat template、温度 0、最大输出 512 token(评审模型 1024);开源模型用 vLLM,闭源走 API。

    机理分析方法

    • 配对数据集:Vanilla Harmful(VH)、Stylized Attack(Succ)、Vanilla Safe(VS)、Stylized Safe(SS)四条件;仅保留评审判定为成功绕过的样本;held-out 集 n=75 用于构造向量与选头,实验集 n=56。
    • 风格正交拒答向量:vpure_ref = vref − (vref · vstyle)/(|vstyle|2) vstyle,即用 Gram-Schmidt 投影从拒答方向(VH−VS 均值差)中去掉风格方向(SS−VS 均值差)分量,在 Layer 15 提取。
    • 四项实验:(A) 余弦相似度检验风格化攻击对 vpure_ref 的对齐;(B) 仅在 vanilla 提示上训练的线性探针做 OOD 有害意图检测;(C) 因果消融选出 top-5 安全头并测量长度控制后的 payload 注意力;(D) 在 Layer 10–20 修补 vpure_ref 看能否恢复拒答,含清零向量的阳性对照。

    style-aware DPO 防御

    • 数据:有害指令取自 AdvBench、CatQA、DangerousQA 及其风格变体,高严重度攻击响应(分数 ≥3、长度 ≥80)作 rejected、安全拒答作 chosen;良性指令取自 UltraChat 前 1000 条,正常回答作 chosen、拒答作 rejected,强制意图与风格分离。
    • 训练配置:LLaMA-3.1-8B 上加 LoRA(r=64、α=64,作用于全部线性投影层),DPO 损失 β=0.1,cosine 学习率、基础学习率 1×10⁻⁵,训练 4 个 epoch、batch size 16,推理前合并 LoRA。
  4. 论文做了哪些实验?

    HarmBench 上 8 个模型经风格改写后 ASR 普遍从个位数升至 43–99.5%;机理实验排除注意力重定向与线性引导;style-aware DPO 将 LLaMA-3.1-8B 的 ASR 从 86% 降至 19.5%。

    实验设置

    • 被测模型:GPT-4o、GPT-4.1-mini、Gemini-2.5 Flash、Grok-4(闭源);LLaMA-3.1-8B、Mistral-7B、Gemma-2-2B、Gemma-2-9B(开源);护栏为 Llama Guard 与 Qwen Guard。
    • 数据集:HarmBench 为主评测基准;AdvBench、CatQA、DangerousQA 用于跨数据集泛化和风格选择排序;攻击器训练数据为 WildTeaming 子集;防御良性数据为 UltraChat 前 1000 条。论文未报告各基准的样本条数。
    • 攻击方:Gemini-2.5(zero-shot)、LLaMA-3.1-8B(未微调对照)、Style-LLaMA-3.1-8B(微调后)。
    • 指标与判定:GPT-4o 评审打 1–5 分,仅 5 分判定攻击成功(ASR);护栏用失败率(有害风格化提示被误判为安全的比例)。
    • 推理设置:zero-shot、温度 0、最大输出 512 token;预算攻击 k=5,按 DialTree-RPO 评测协议。
    • 机理实验:LLaMA-3.1-8B 为主,Gemma-2-9b-it 复现;held-out n=75、实验集 n=56、Exp D 验证绕过子集 n=25。

    主结果

    Table 1(HarmBench ASR %,风格化改写由三个攻击器生成)与 Table 5(k=5 预算下与基线方法对比,ASR %):

    表格较宽,可左右滑动

    目标模型OriginalGemini 2.5Style-LLaMA-3.1-8BTop-5 StyleBERT Selector最强基线(方法)
    Llama-3.1-8B8888672.577.581.5(DialTree-RPO)
    Gemma-2-2B175.569545888.5(DialTree-RPO)
    Gemma-2-9B1.556.54336.53983(DialTree-RPO)
    Mistral-7B7599.599989885(DialTree-RPO)
    GPT-4o5.584.5786564.586(DialTree-RPO)
    GPT-4.1-mini585.581.57173.590(DialTree-RPO)
    Gemini-2.518.586.968267.570.587.5(DialTree-RPO)
    Grok-46.54340.533.535.576(Jailbreak-R1)

    (据 Table 1、Table 5;Table 5 中 Gemini-2.5 列沿用 DialTree-RPO 报告的 Gemini-2.0 Flash 基线数,本文方法用 Gemini-2.5 Flash,见附录 A.1)

    • 作者称,风格化改写在几乎所有模型上提高 ASR,且开源攻击器 Style-LLaMA-3.1-8B 与 Gemini-2.5 生成的攻击效果相当。
    • 作者称,本文方法在 8 个目标中的 5 个上取得最高或次高 ASR,而计算量小于搜索类方法;BERT 选择器在多数目标上优于 Top-k 启发式。
    • 表内可见例外:在 Gemma-2-2B、Grok-4 等列,本文方法低于 DialTree-RPO 或 Jailbreak-R1;Grok-4 列本文两种方法均低于三个基线。

    风格维度与泛化

    • 单风格 ASR(Table 2):Technical、Formal、Humorous 在多数模型上最高(如 Gemma-2-2B 上 Humorous 33%、Technical 29.5%;Mistral-7B 上 Technical 80%);Tentative、Reflective、Sarcastic 普遍无效(多行低于 6%)。作者称风格排序跨模型基本一致,强风格传达合法性、专业、自信或合作,弱风格引入不确定、犹豫或讽刺。
    • 跨数据集(Table 3,目标 LLaMA-3.1-8B,攻击器 Style-LLaMA-3.1-8B):AdvBench 9→66.5%、CatQA 5.5→46.2%、DangerousQA 3→34.5%。作者称效应不绑定特定数据集。
    • 护栏(Table 4):Qwen Guard 失败率 2.0→80.5%,Llama Guard 7.5→98.5%。作者称风格化提示词保留有害目标但大幅提高了安全分类器的漏判。

    机理分析(Figure 1、附录 D)

    • 拒答方向被部分抑制:Layer 15 上风格化攻击对 vpure_ref 的余弦相似度中位数 0.143,低于 vanilla 有害提示的 0.245(Mann-Whitney p=3.6×10⁻⁹,r=−0.65);但仅在 vanilla 上训练的探针仍以 51.8% 检出风格化攻击的有害意图、对风格化良性对照 FPR 为 0.0%。作者称这排除了严格语义伪装。
    • 非注意力重定向:安全头 payload 注意力 0.0049→0.0013(降 73.0%),非安全对照头 0.0012→0.0003(降 73.7%),降幅一致;作者称这是长度稀释而非安全特异性转移。
    • 抵抗线性干预:Layer 10–20 连续修补 vpure_ref 仅恢复 8% 拒答,单层层最高 4%,阳性对照 0%;注入风格方向 vstyle 不改变拒答率(附录 D.6)。作者称绕过发生在主线性拒答子空间之外,是分布式扰动。
    • 跨架构复现(Table 11):Gemma-2-9b-it 上四项结果定性一致(抑制 p=2.6×10⁻¹⁰、r=−0.69;OOD 检出 37.5%;两类头注意力降幅 84.6% vs. 85.0%;修补恢复 4.5%)。

    防御与其他消融

    • style-aware DPO(Table 6):LLaMA-3.1-8B 的 HarmBench ASR 从 86.0% 降至 19.5%,MT-Bench 从 8.09 降至 7.85;作者称在降低 ASR 的同时基本保持通用能力。
    • 风格多样性消融(Table 8):全 20 风格训练 ASR 19.5%,Balanced/Weak/Strong 子集分别为 25.0%、31.0%、26.5%。
    • 未见风格泛化(Table 9):Balanced 划分下 seen 15.5% vs. unseen 18.5%;作者称存在部分迁移但不完全。
    • 跨模型防御(Table 10):Gemma-2-2B 69.0→27.5%,Gemma-2-9B 43.0→24.5%;作者称防御跨架构有效,但提示跨模型比较需谨慎。
    • 定性示例(附录 E,Table 12):单一 deepfake 目标经 20 种风格改写,目标模型 LLaMA-3.1-8B 在原提示上拒答,7 种风格(Urgent、Assertive、Passive-Aggressive、Confident、Skeptical、Formal、Humorous)得到 5 分完全遵从。
  5. 有什么可以进一步探索的点?

    作者列出风格分类不完备、评审偏置、机理假设三类局限;机理实验仅覆盖两个模型、约 130 条配对样本。

    作者指出的局限与后续方向

    • 风格分类体系不完备(Section 9):20 种风格覆盖面广但非穷尽,多轮互动和地域方言可能呈现不同的攻击表现。
    • 评审可靠性(Section 9):依赖 GPT-4o 作自动评审,可能引入风格偏置,对正式或技术化输出可能更宽容。
    • 机理假设(Section 9):拒答向量提取假设安全概念线性表示且与任务特征严格正交;因果追踪在最终 token 修补整个残差流,假设模型已聚合安全概念;非线性表示或多 token 的序列中段安全动态可能未被捕捉。
    • 机理数据规模(附录 D.8):配对集约 130 条、仅 9 个有害目标,小子集效应量区间较宽;扩展到 AdvBench/HarmBench 更多目标列为未来工作。
    • 机理架构覆盖(附录 D.8):仅在 LLaMA-3.1-8B 与 Gemma-2-9b-it 上验证,GPT、Mistral 等其他家族未做机理评估。
    • 负向定位(附录 D.8):只排除了注意力重定向、线性引导、线性修补等机制,未正面定位导致绕过的分布式计算;注意力或 MLP 级别的定向干预留作未来工作。

    实验覆盖范围

    • 被测目标模型共 8 个(4 闭源、4 开源),护栏 2 个(Llama Guard、Qwen Guard);主评测基准为 HarmBench,泛化评测为 AdvBench、CatQA、DangerousQA(Table 1、3、4)。
    • 攻击为单轮、zero-shot、温度 0;预算攻击固定 k=5,按 DialTree-RPO 协议与 7 个基线比较(Table 5)。
    • 攻击成功由 GPT-4o 评审判定(仅 5 分计成功);论文未报告评审与人工标注的一致性,也未报告各基准的样本条数与重复次数。
    • 机理实验的因果修补仅验证绕过子集 n=25(56 条中通过诊断过滤的部分);防御实验覆盖 LLaMA-3.1-8B、Gemma-2-2B、Gemma-2-9B 三个模型(Table 10)。
    • 防御评测使用 HarmBench 风格化改写与 MT-Bench/MT-Bench-101;论文未报告对自适应攻击(针对该防御专门优化)的评测。
  6. 总结一下论文的主要内容

    作者称语言风格是系统性越狱攻击面:风格化改写单轮即可把 ASR 提升一个数量级,机理是分布式拒答扰动,style-aware DPO 可部分缓解。

    一篇关于 LLM 越狱攻击的论文,核心主张是语言风格本身构成被忽视的安全攻击面。

    • 问题:同一有害目标仅改变语气、正式度、语域等风格表达,越狱成功率是否系统性变化?作者称此前工作多把风格效应当作评测伪影。
    • 方法:构建 20 种风格、四个维度的分类体系;用 Gemini-2.5 生成风格化改写并蒸馏出开源攻击器 Style-LLaMA-3.1-8B;配合 Top-k 启发式或 BERT 选择器在 k=5 查询预算内单轮攻击;在 LLaMA-3.1-8B 上做机理分析;提出 style-aware DPO 防御。
    • 攻击效果:HarmBench 上 8 个模型的 ASR 从原始的 1–75% 升至最高 99.5%(Mistral-7B,Gemini 2.5 改写,Table 1);Technical、Formal、Humorous 风格最强,Tentative、Reflective、Sarcastic 普遍低于 6%(Table 2);跨数据集泛化成立(AdvBench 9→66.5%,Table 3);Llama Guard 护栏失败率从 7.5% 升至 98.5%(Table 4)。
    • 与基线对比:k=5 预算下,本文方法在 8 个目标中的 5 个上取得最高或次高 ASR,但在 Gemma-2-2B、Grok-4 等目标上低于多轮的 DialTree-RPO(Table 5)。
    • 机理:风格化攻击使拒答方向对齐度下降(中位数 0.245→0.143),但有害意图仍可被探针以 51.8% 恢复;payload 注意力下降在安全头与对照头上一致(长度稀释);线性修补仅恢复 8% 拒答。作者据此称绕过是分布式、非线性的拒答扰动,而非语义伪装或注意力劫持,且在 Gemma-2-9b-it 上复现。
    • 防御:style-aware DPO 将 LLaMA-3.1-8B 的 HarmBench ASR 从 86.0% 降至 19.5%,MT-Bench 8.09→7.85;全风格训练优于子集,对未见风格部分迁移,并迁移到 Gemma-2-2B/9B。
    • 作者结论:有效对齐需超越意图检测,显式处理语言影响生成的注意力与结构通路;风格化攻击可与现有越狱方法组合,纳入偏好训练可提高鲁棒性。作者承认风格分类不完备、GPT-4o 评审可能有偏、机理分析依赖线性表示假设。

相关论文

共同使用 DangerousQA
共同使用 CatQA
再看 3 篇
共同使用 UltraChat
阅读原文arxiv.org