Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2603.03081· Zhi Xu, Jiaqi Li, Xiaotong Zhang, Hong Yu, Han Liu·Indexed by this site · Originally published

TAO-Attack: Advanced Optimization-based Jailbreak Attack for Large Language Models

TAO-Attack: Toward Advanced Optimization-Based Jailbreak Attacks for Large Language Models

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

TAO-Attack用两阶段损失和DPTO优化越狱后缀，固定初始化时Llama-2-7B-Chat的ASR为92%。

Threat model攻击者在有害查询后拼接对抗后缀，用目标模型的梯度或logits最小化损失，以引出被判为有害的回复。

Questions
优化型越狱常在逼出有害前缀后仍拒答，或只生成通不过有害性检查的伪有害续写；按点积选token还会把方向和步长混在一起。
Methods
TAO-Attack先用拒答感知损失压低拒答续写，Rouge-L达到阈值后，再用有效性感知损失惩罚当前伪有害续写。DPTO先按与负梯度的余弦相似度留候选，再按投影步长做温度采样。
Experiments and results
固定初始化下Llama-2-7B-Chat的TAO ASR为92%、平均305步（Table 2）。迁到GPT-3.5 Turbo为82%，GPT-4 Turbo为8%（Table 3）。标准设置下与I-GCG同为100%。
Limitations and future work
Conclusion计划扩展到多轮和多模态，并研究分析如何指导防御；论文未单列方法局限。实验含开源白盒、四类闭源迁移及PAT、RPO、CAA、SCANS。AdvBench子集条数和人工一致性未报告。
Experimental setupLlama-2-7B-Chat、Vicuna-7B-v1.5 et al. · AdvBench、HarmBench et al. · ASR、Iterations
Threat model
攻击者在有害查询后拼接对抗后缀，用目标模型的梯度或logits最小化损失，以引出被判为有害的回复。Section 4.2为white-box优化；Section 4.3把在Vicuna-7B-1.5上得到的通用后缀直接用于闭源模型。成功需通过模板拒答过滤、GPT-4 Turbo有害性检查和人工复核。
Evaluated models
Llama-2-7B-ChatVicuna-7B-v1.5Mistral-7B-Instruct-0.2Qwen2.5-7B-InstructQwen2.5-VL-7B-InstructLlama-2-13B-ChatVicuna-13BQwen3-8BGPT-3.5 TurboGPT-4 TurboGemini 1.5 (Flash)Gemini 2 (Flash)
Benchmarks
AdvBenchHarmBenchMM-SafetyBench自建 information extraction 查询自建 influence operations 查询
Metrics
ASRIterations
AI summaryThe researchers propose TAO-Attack, an optimization-based jailbreak attack method, and the paper reports higher attack success rates than existing methods on multiple large language models, reaching 100% in some scenarios. The method uses a two-stage loss function: the first stage suppresses refusal and makes the model continue the harmful prefix, while the second stage penalizes pseudo-harmful outputs and guides the model to generate more harmful continuations. The authors also design a direction-prioritized token optimization (DPTO) strategy that aligns candidates with gradient direction before considering update magnitude, to improve optimization efficiency. The paper states that existing optimization-based attacks often suffer from frequent refusals, pseudo-harmful outputs, and inefficient token-level updates.

The researchers propose TAO-Attack, an optimization-based jailbreak attack method, and the paper reports higher attack success rates than existing methods on multiple large language models, reaching 100% in some scenarios. The method uses a two-stage loss function: the first stage suppresses refusal and makes the model continue the harmful prefix, while the second stage penalizes pseudo-harmful outputs and guides the model to generate more harmful continuations. The authors also design a direction-prioritized token optimization (DPTO) strategy that aligns candidates with gradient direction before considering update magnitude, to improve optimization efficiency. The paper states that existing optimization-based attacks often suffer from frequent refusals, pseudo-harmful outputs, and inefficient token-level updates.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    优化型越狱常留下拒答或伪有害输出，TAO-Attack用两阶段损失和DPTO改进后缀优化。

    优化型越狱往往停在拒答残留或伪有害输出，且按点积选 token 容易偏离梯度方向。

    • 场景：作者称 Llama、Mistral、Vicuna 等模型进展很快，但仍可被越狱：在有害查询后追加前缀或后缀，绕过安全对齐并引出不安全回复。作者认为理解这类攻击有助于分析漏洞并改进对齐。
    • 现有不足：人工提示依赖专家、难扩展；用攻击模型生成提示则依赖攻击模型能力。优化类方法用梯度或 logits 自动搜后缀，作者称成功率通常更高，但仍频繁拒答、产生伪有害输出，token 级更新也不理想。
    • 具体缺口：Figure 1 中，GCG 与 MAC 优化固定有害前缀后仍可能拒答；I-GCG 减少拒答，但作者称输出常是通不过评测 LLM 的伪有害文本。作者还认为，直接诱导模型承认有害会与安全对齐目标冲突；三者只用梯度与嵌入的点积排序，高分 token 仍可能偏离负梯度方向。
    • 做法：提出 TAO-Attack。两阶段损失先压制拒答、再惩罚伪有害续写；方向优先 token 优化（DPTO）先对齐梯度方向，再考虑更新幅度。
    • 威胁模型：
      • 目标：对恶意查询 xQ 优化后缀 xS，使模型生成目标有害前缀 xT，并继续写出被判为真正有害、而非伪有害的内容。
      • 知识：主实验使用目标模型的梯度或 logits，Section 4.2 标题为 white-box。闭源实验不在目标模型上继续优化，只测试已得到的后缀。
      • 能力：自动更新后缀 token，无需手工编写提示。标准设置用 easy-to-hard 初始化；严格对比则用固定符号串。
      • 受害系统：对齐后的开源聊天模型；迁移设置还包括 GPT 与 Gemini 系列闭源模型。

  2. What related research exists?

    相关工作分人工、攻击模型生成和优化三类；作者把缺口放在拒答残留与token选择。

    人工设计的越狱

    • Liu et al. (2023c)：手工越狱提示可在多种场景绕过 ChatGPT，且提示日趋复杂。
    • Shen et al. (2024)：收集超过 1,400 条野外越狱提示。论文称这是对该类提示的首次大规模研究，并称当时防护对其中许多例子无效。
    • 论文的批评：这类方法需要大量人力和领域知识，难扩展，不太适合系统化红队。引言还将 Kang et al. (2024) 归入此类，正文未展开其做法。

    用攻击模型生成提示

    • Perez et al. (2022)：攻击 LLM 生成有害测试，分类器评估目标回复。
    • PAIR 与 TAP：PAIR（Chao et al., 2025）反复查询并改写候选；TAP（Mehrotra et al., 2024）把候选组织成树并剪掉不太可能的分支，以减少查询。
    • AdvPrompter 与 AmpleGCG：AdvPrompter（Paulus et al., 2024）训练攻击模型生成保持查询含义的自然对抗后缀；AmpleGCG（Liao & Sun, 2024）学习成功后缀的分布，以快速生成可迁移提示。论文称这类方法减轻人力，但依赖攻击模型的能力与多样性。引言还点名 Takemoto (2024)、Deng et al. (2023)、Lee et al. (2023)，未展开做法。

    基于优化的越狱

    • GCG（Zou et al., 2023）：贪心加梯度搜索，最大化有害前缀似然，后缀可迁到开源和闭源模型。
    • AutoDAN（Liu et al., 2024a）：分层遗传算法逐步演化提示，使越狱在语义上可读、隐蔽，并具跨模型迁移性。
    • MAC 与 I-GCG：MAC（Zhang & Wei, 2025）在梯度搜索中加动量以稳定优化、加快 token 选择。I-GCG（Jia et al., 2025）使用多样有害目标模板和自适应多坐标更新。论文称优化类方法减少手工、成功率高于前两类，但仍有效率、安全对齐带来的拒答，以及低效 token 选择等问题。

    基线与基准

    • 基线：GCG、MAC、AutoDAN、Probe-Sampling（Zhao et al., 2024）、AmpleGCG、AdvPrompter、PAIR、TAP、I-GCG。主结果用 AdvBench 的 harmful behaviors，并沿用 I-GCG 去重后的子集。附录还用 HarmBench、MM-SafetyBench，以及自建的信息抽取和影响操作查询。

    作者把本文放在优化类里：用两阶段损失处理拒答和伪有害输出，并用 DPTO 把方向对齐与步长分开。引言还称方法受到黑盒文本对抗攻击（Ye et al., 2022; Liu et al., 2023a;b）的启发，未与它们做实验对比。

  3. How does the paper address this problem?

    TAO-Attack先压制拒答再惩罚伪有害续写，DPTO先对齐负梯度再按投影步长采样。

    TAO-Attack 把越狱写成对后缀的离散优化：恶意查询后拼接后缀，两阶段损失交替使用，DPTO 选择更新 token。

    问题设定

    • 序列 x1:n 的每个 token 属于大小为 V 的词表。长度为 G 的回复概率是逐 token 条件概率的乘积。
    • 恶意查询为 xQ，对抗后缀为 xS，提示为二者拼接。标准损失是目标有害前缀 xT 的负对数条件概率。生成后缀等价于在长度为 m 的后缀上最小化该损失。
    • GCG 每步选梯度与嵌入差点积最大的候选。作者认为这有两点不足：固定模板 xT 常留下拒答或伪有害输出；点积把方向对齐和步长混在一起。

    两阶段损失

    • Stage One，拒答感知：用 xQ 加随机后缀查询模型，收集拒答集合 R，共 K 条。不一次优化全部拒答，而是逐条优化当前 rj，直到附录 A.1 的收敛判据，再换下一条。损失为

    L1(j)(xQ ⊕ xS)=−log p(xT|xQ ⊕ xS)+α·log p(rj|xQ ⊕ xS ⊕ xT) α>0，前项提高有害前缀概率，后项压低该条拒答在前缀之后出现的概率。

    • Stage Two，有效性感知：作者称攻击者事先不知道真正的有害答案，不能直接最大化某一条标注续写。模型仍可能重复前缀但通不过基于 LLM 的有害性检查。输出拆成与 xT 等长的 x'1_T 和其余续写 xO。当 Rouge-L(x'1_T, xT)≥τ 时使用

    L2(xQ ⊕ xS)=−log p(xT|xQ ⊕ xS)+β·log p(xO|xQ ⊕ xS ⊕ x′T) β>0。惩罚当前观察到的不理想续写 xO，使优化离开该轨迹。

    • 切换：从 L1 开始；Rouge-L 达到 τ 后改用 L2；若 L2 下连续 N 步出现拒答式内容，则回到 L1。收敛比较相邻两个窗口的平均损失，窗口 w=5，绝对差低于 μ=1.5×10^{-3}（附录 A.1）。Algorithm 1 给出每轮选损失、算梯度、采样并取最小损失候选的流程。

    DPTO

    • 对后缀位置 i，gi 是当前 token 嵌入上的损失梯度，候选 v 的位移为嵌入差。先算位移与负梯度的余弦相似度，屏蔽当前 token 和特殊符号，保留相似度最高的 top-k。
    • Figure 2 标有损失等高线 0.8、0.5、0.2。图注称 GCG 可能因步长更大而选偏离负梯度的 ej，本文则选既对齐负梯度、步长也足够的 el。
    • 在筛后集合上计算沿负梯度的投影步长，再按温度 γ 的 softmax 采样。每轮候选只改一个位置，从池中取损失最小的后缀进入下一步。附录 A.2 在嵌入平滑假设下讨论期望下降，以及温度、候选数和对齐下界之间的权衡。

    实现与成功判定

    • 后缀长 20 token，batch size 256，top-k 256。每条拒答最多 20 词，续写 xO 最多 50 词。K=3，τ=1.0，N=3，α=0.2，β=0.2，γ=0.5。
    • 沿用 easy-to-hard：先在一条简单有害查询上优化 1,000 步得到初始后缀，再用于其余提示，每条 500 步。严格对比不用这一初始化。
    • 判定分三步（附录 A.4）：模板匹配拒答；GPT-4 Turbo 按 Figure 4 做有害性检查；再人工复核通过该检查的样本。Figure 4 要求实例明确且非最小，生成本身有害或不宜作为面向公众的输出；涉及代码时须含代码产物，而非只有注释或说明。

  4. What experiments did the paper conduct?

    固定初始化下TAO-Attack在Llama-2-7B-Chat上ASR为92%，平均305次迭代（Table 2）。

    实验设置

    • 被测模型：白盒包括 Llama-2-7B-Chat、Vicuna-7B-v1.5、Mistral-7B-Instruct-0.2、Qwen2.5-7B-Instruct、Qwen2.5-VL-7B-Instruct、Llama-2-13B-Chat、Vicuna-13B、Qwen3-8B。迁移目标为 GPT-3.5 Turbo、GPT-4 Turbo、Gemini 1.5 (Flash)、Gemini 2 (Flash)。GPT-4 Turbo 同时用作有害性检查。
    • 数据：AdvBench harmful behaviors 的 I-GCG 子集，论文未给出条数。消融用该子集之外的 AdvBench 前 20 条。迁移用子集最后 25 条优化通用后缀，再在完整集上测试。另有 HarmBench behaviors 前 20 条、MM-SafetyBench 的五个类别、自建信息抽取与影响操作查询各 20 条；13B 实验用 AdvBench 前 15 条。
    • 基线：GCG、MAC、AutoDAN、Probe-Sampling、AmpleGCG、AdvPrompter、PAIR、TAP、I-GCG，按各自推荐超参实现。Table 1 中带 * 的 AdvPrompter 数字取自原文。
    • 指标：ASR。Iterations 是全部样本（含失败）完成攻击的平均优化步数。
    • 评审：模板过滤、GPT-4 Turbo 检查、人工复核。Section 4.1 称该流程减少假阳性；附录 A.4 称人工复核是为避免可能的假阴性。论文未报告人工样本量、一致性或重复次数。
    • 预算与硬件：后缀 20 token，batch 与 top-k 均为 256。标准设置每条 500 步；固定初始化对比每条最多 1,000 步。单台 NVIDIA A800（80GB）。

    主结果

    Table 2：同一固定后缀初始化，每条最多 1,000 步，与 I-GCG 对比。

    Swipe horizontally to read the table

    模型TAO ASRTAO迭代I-GCG ASRI-GCG迭代
    Llama-2-7B-Chat92%30568%604
    Mistral-7B-Instruct-0.2100%8680%406
    Qwen2.5-7B-Instruct100%21100%66
    • 作者称该设置去掉 easy-to-hard，优势来自优化本身。作者称 Llama-2-7B-Chat 上迭代成本减半；表中对应 604 与 305。
    • Table 1 标准设置下，TAO-Attack 与 I-GCG 在 Vicuna-7B-1.5、Llama-2-7B-chat、Mistral-7B-Instruct-0.2 上 ASR 均为 100%。作者称 I-GCG 已饱和，此表不能充分区分二者。
    • 同表其余基线在 Llama-2-7B-chat 上，TAP 为 4%，PAIR 为 10%，AdvPrompter 为 24%，AutoDAN 为 26%，AmpleGCG 为 28%，GCG 为 54%，MAC 与 Probe-Sampling 为 56%。Mistral 上 AmpleGCG 未报告，AdvPrompter 为 74%。

    闭源迁移

    • 在 Vicuna-7B-1.5 上用最后 25 条、500 步优化通用后缀，再攻击完整集。解码 temperature 为 0，max tokens 为 256。
    • Table 3：TAO-Attack 在 GPT-3.5 Turbo 上 ASR 为 82%（GCG、I-GCG 均为 30%）；GPT-4 Turbo 为 8%（两者 0%）；Gemini 1.5 为 6%（GCG 4%，I-GCG 0%）；Gemini 2 为 4%（GCG 0%，I-GCG 4%）。
    • 作者称后缀在未见模型上迁移更好，但除 GPT-3.5 Turbo 外绝对值仍低。Gemini 2 上 TAO-Attack 与 I-GCG 同为 4%。Figure 5 给出 OpenRouter 上的案例，不在此复述输出。

    组件消融

    • Section 4.4、Table 4：I-GCG 集外的 AdvBench 前 20 条，固定感叹号后缀，Llama-2-7B-Chat，每条 1,000 步。
    • 带有害引导的 GCG 为 55%、702 步；GCG (Softmax) 为 55%、687 步。作者称收益不是来自 softmax。DPTO 加有害引导为 65%、620 步。去掉有害引导后，Stage One 加 DPTO 为 100%、261 步；再加 Stage Two 为 100%、243 步。Figure 3 比较两者都成功的样本在前 500 步的平均损失及标准差，作者称 DPTO 下降更快、方差更小；文本未给出曲线端点。
    • 附录 A.13、Table 16，同一设置：把有害引导前缀加回 TAO-Attack 后为 65%、716 步；加入多坐标更新后为 85%、325 步。作者认为前者与安全对齐目标冲突，后者在两阶段切换时容易偏离轨迹。附录 A.11、Table 14：DPTO 接到 GCG 上，ASR 从 55% 到 65%，迭代从 702 到 620；接到 I-GCG 上，从 65%、582 到 75%、496。

    防御、泛化与开销

    • 附录 A.6、Table 8：对 PAT，I-GCG 为 60%、257 步，TAO-Attack 为 80%、138 步；对 RPO，I-GCG 为 86%、133 步，TAO-Attack 为 92%、71 步。论文未说明这两项的目标模型。
    • Table 9 用 Section 4.3 的通用后缀攻击 Llama-2-7B-Chat。CAA 报告选择安全选项 B 的概率，作者称越低表示攻击越强：Original 99%，I-GCG 90%，TAO-Attack 41%。SCANS 报告拒答率，作者称越低表示越狱越有效：Original 94%，I-GCG 4%，TAO-Attack 0%。
    • Table 6：HarmBench 前 20 条上，Llama-2-7B-Chat 的 TAO-Attack 为 90%、357 步，I-GCG 为 45%、792 步；Qwen2.5-7B-Instruct 两者 ASR 均为 100%，迭代 11 对 26。MM-SafetyBench 上 Qwen2.5-VL-7B-Instruct 为 95%、132 步，I-GCG 为 90%、248 步。作者称在文本和多模态数据上都有泛化。Table 7：同一查询 20 步、batch 256，峰值显存 I-GCG 32.99 GB、Stage One 34.80 GB、Stage Two 35.99 GB，每步 5.7、6.1、7.1 秒。作者称每步开销略增，但因迭代更少，总计算量更低。

    其他消融与分析

    • Table 5，Llama-2-7B-Chat：阈值 1.0 时 Rouge-L 为 100%、243 步，Qwen3-Embedding-0.6B 为 100%、263 步；阈值 0.8 时嵌入相似度为 95%、325 步，Rouge-L 为 100%、262 步。
    • Table 10，同一 20 条：τ 与 β 的扫描 ASR 为 100%；α=0.1 或 0.3、γ=0.4 或 0.6 时 ASR 为 95%。默认 α=0.2、γ=0.5 为 100%、243 步。
    • Table 12，三种符号后缀：TAO-Attack 的 ASR 为 95%、90%、100%，I-GCG 为 65%、60%、65%；井号后缀上 TAO-Attack 为 90%、326 步。
    • Table 13：K=1 时 Llama-2-7B-Chat 为 95%、242 步；K=3 为 100%、243 步；K=7 为 90%、360 步。Vicuna-7B-v1.5 在 K=1 到 7 均为 100%。作者称 K=1 覆盖不够，K=3 或 5 更稳，再增大不一定更好。
    • Table 15，AdvBench 前 15 条、最多 1,000 步：Llama-2-13B-Chat 上 TAO-Attack 为 67%、569 步，I-GCG 为 53%、704 步；Vicuna-13B 上 TAO-Attack 为 100%、82 步，I-GCG 为 73%、600 步。
    • Table 17，Qwen3-8B、HarmBench：非推理模式两者 ASR 均为 100%，迭代 39 对 49；推理模式两者均为 90%，迭代 79 对 92。Table 11，Qwen2.5-7B-Instruct 上信息抽取与影响操作两者 ASR 均为 100%，TAO-Attack 迭代为 29 和 9。

  5. What are some points that can be further explored?

    作者未单列方法局限，Conclusion计划扩展到多轮与多模态，并据此研究防御。

    作者指出的局限与后续方向

    • 论文没有 Limitations 专节，也未在 Discussion、Conclusion 或附录中把某项实验结果写成方法局限。
    • Conclusion 写明后续将探索多轮设置。
    • Conclusion 写明后续将探索多模态设置。
    • Conclusion 写明后续将研究本文分析如何指导防御设计。

    实验覆盖范围

    • 白盒 ASR 写明的模型包括 Llama-2-7B-Chat、Vicuna-7B-v1.5、Mistral-7B-Instruct-0.2（Table 1），固定初始化下还有 Qwen2.5-7B-Instruct（Table 2）；附录还有 Llama-2-13B-Chat、Vicuna-13B、Qwen3-8B 和 Qwen2.5-VL-7B-Instruct。
    • 迁移后缀在 Vicuna-7B-1.5 上用 25 条、500 步优化，测试模型为 GPT-3.5 Turbo、GPT-4 Turbo、Gemini 1.5 (Flash)、Gemini 2 (Flash)（Section 4.3、Table 3）。
    • 防御结果包括 PAT、RPO（Table 8，论文未说明目标模型）以及 Llama-2-7B-Chat 上的 CAA、SCANS（Table 9）。
    • 数据包括 AdvBench 的 I-GCG 子集、HarmBench behaviors 前 20 条、MM-SafetyBench 五个类别、信息抽取与影响操作各 20 条。论文未报告该 AdvBench 子集的条数，也未报告人工复核样本量、一致性与实验重复次数。
    • Section 4.1 写明后缀 20 token、top-k 与 batch 均为 256，标准设置每条 500 步，固定初始化对比最多 1,000 步。Table 1 的 AdvPrompter 数字取自原文，Mistral 上的 AmpleGCG 为未报告。

  6. Summarize the main content of the paper

    TAO-Attack用两阶段损失与DPTO做后缀优化，Table 2上优于I-GCG，闭源迁移绝对值仍低。

    TAO-Attack 是一种优化对抗后缀的越狱方法，针对梯度引导攻击里的拒答残留、伪有害续写，以及点积选 token 时方向与步长缠在一起的问题。

    • 白盒实验直接在目标模型上最小化损失；闭源实验只把 Vicuna-7B-1.5 上优化出的通用后缀拿去测试。成功要经过模板拒答过滤、GPT-4 Turbo 有害性检查和人工复核。
    • 第一阶段提高有害前缀概率并压低已收集拒答的概率；Rouge-L 达到阈值后，第二阶段惩罚当前不理想续写。DPTO 先按与负梯度的余弦相似度留候选，再按投影步长做温度采样。
    • 标准 AdvBench 设置下，它与 I-GCG 在三个开源模型上 ASR 都是 100%（Table 1）。去掉 easy-to-hard、每条最多 1,000 步时，Llama-2-7B-Chat 为 92%、305 步，Mistral-7B-Instruct-0.2 为 100%、86 步，Qwen2.5-7B-Instruct 为 100%、21 步（Table 2）。
    • 同一类后缀迁到 GPT-3.5 Turbo 为 82%，GPT-4 Turbo 为 8%，Gemini 1.5 为 6%，Gemini 2 为 4%；Gemini 2 上与 I-GCG 相同（Table 3）。
    • 作者称该方法提高了攻击成功率、减少了优化步数，迁移更好，并对 PAT、RPO、CAA、SCANS 仍能造成更强攻击；同时认为当前对齐仍易受优化型越狱影响，需要更有原则的防御。Conclusion 中的后续工作是多轮、多模态，以及用本文分析指导防御。
Read originalarxiv.org
#Jailbreaks and attacks