Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2603.23269· Wenyu Chen, Xiangtao Meng, Chuanchao Zang, Li Wang, Xinyu Gao, Jianing Wang, Peng Zhan, Zheng Li, Shanqing Guo·Indexed by this site · Originally published

Not All Tokens Are Equally Important: Query-Efficient Jailbreak Fuzzing for LLMs

Not All Tokens Are Created Equal: Query-Efficient Jailbreak Fuzzing for LLMs

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

TriageFuzz面向查询受限黑盒越狱，HarmBench上25次查询的六模型平均ASR为92.17%。

Threat model目标LLM为带速率限制的闭源模型，只返回最终回复，内部结构隐藏。

Questions
自动黑盒越狱常对全部token做同等变异。作者称服务商有速率限制、配额和费用，失败尝试还可能被限流，因此查询效率决定黑盒越狱是否可行。
Methods
TriageFuzz用与目标独立的白盒替代模型估计拒答敏感token，只改这些片段，再用轻量拒答分数把变异预算分给更接近绕过边界的候选。
Experiments and results
在HarmBench、预算25时，六开源模型平均ASR为92.17%；GPT-4o为84.0%，GPT-3.5-Turbo为94.0%，Claude-3.5-Sonnet为80.5%。作者称达到90% ASR的查询比基线少70%以上。
Limitations and future work
作者指出成功判定依赖MD-Judge、未做大规模人工标注，且需要本地白盒替代模型。实验覆盖六个开源模型与三个商业API，论文未报告HarmBench条数和重复次数。
Experimental setupGemma-7B-Instruct、Gemma2-9B-Instruct et al. · HarmBench、AdvBench · ASR、AUCnorm
Threat model
目标LLM为带速率限制的闭源模型，只返回最终回复，内部结构隐藏。攻击者处于strict black-box，仅能经输入输出接口交互，目标是少查询地诱导有害或被禁止内容。可使用与目标在架构、参数和训练数据上独立的开源辅助模型，从其内部表示提取可迁移的拒答信号来构造提示词。
Evaluated models
Gemma-7B-InstructGemma2-9B-InstructLLaMA3-8B-InstructLLaMA3.2-3B-InstructQwen2.5-7B-InstructQwen2.5-3B-InstructGPT-3.5-TurboGPT-4oClaude-3.5-Sonnet
Benchmarks
HarmBenchAdvBench
Metrics
ASRAUCnorm
AI summaryThe researchers propose TriageFuzz, a token-aware jailbreak fuzzing framework that uses a surrogate model to estimate the contribution of individual tokens to a model's refusal, achieving similar attack success rates with fewer queries. The authors perform token-level analysis of refusal behavior, finding that token contributions are highly skewed rather than uniform, and that refusal tendencies across different models are strongly consistent, allowing a surrogate model to estimate the target model's token contributions. The framework combines refusal-guided evolutionary strategies with a lightweight scorer to adaptively weight candidate prompts. On six open-source LLMs and three commercial APIs, TriageFuzz achieves a 90% attack success rate with over 70% fewer queries than baselines; under an extremely tight budget of 25 queries, the attack success rate is 20-40% higher than existing methods.

The researchers propose TriageFuzz, a token-aware jailbreak fuzzing framework that uses a surrogate model to estimate the contribution of individual tokens to a model's refusal, achieving similar attack success rates with fewer queries. The authors perform token-level analysis of refusal behavior, finding that token contributions are highly skewed rather than uniform, and that refusal tendencies across different models are strongly consistent, allowing a surrogate model to estimate the target model's token contributions. The framework combines refusal-guided evolutionary strategies with a lightweight scorer to adaptively weight candidate prompts. On six open-source LLMs and three commercial APIs, TriageFuzz achieves a 90% attack success rate with over 70% fewer queries than baselines; under an extremely tight budget of 25 queries, the attack success rate is 20-40% higher than existing methods.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    查询受限时均匀变异浪费预算；TriageFuzz用替代模型定位拒答敏感区域再进化搜索。

    在查询预算受限时，把越狱提示词的每个 token 同等变异，会把查询花在几乎不影响拒答的位置上。

    • 部署约束：作者称服务商用速率限制、配额和费用约束交互，反复失败还可能触发限流或封号，所以查询效率是实际 black-box 越狱的前提。
    • 现有做法：作者称已有自动攻击多在大查询预算下评估，并把字符交换、同义词替换等变异均匀用到整段提示词，从而产生冗余搜索。
    • 作者的观察：拒答由稀疏敏感区域触发，token 贡献高度偏斜；不同模型的拒答倾向和中间层表示一致，因此可用白盒替代模型估计黑盒目标的敏感区域（Figure 3、Figure 5）。
    • 本文做法：提出 TriageFuzz，把模糊测试改成区域定位加拒答引导的进化搜索，只把变异预算用在敏感片段上。
    • 威胁模型：
      • 受害系统：闭源 LLM，有交互接口和速率限制，只返回最终回复，架构与执行细节隐藏（Section 2.3）。
      • 攻击者目标：绕过安全与审核，诱导有害或被禁止内容；在 strict black-box 下减少查询并提高 ASR。
      • 可见信息：只能经标准输入输出接口交互，不能访问参数、梯度、激活或训练数据。
      • 辅助能力：可使用与目标在架构、参数和训练数据上独立的开源模型，从其内部表示提取可迁移的拒答信号，再构造候选提示词。

  2. What related research exists?

    作者将本文区别于把提示词当均匀序列、做盲目变异的黑盒自动化越狱。

    白盒后缀搜索

    • GCG（Zou 等，2023）：用贪心与梯度搜索生成对抗后缀，提高模型以肯定方式开头的可能。作者称后续改进仍需要梯度，因而不适用于多数商业 LLM。
    • AutoDAN（Liu 等，2023）：论文将其列为白盒基线，相关工作未单独展开其机制。

    黑盒改写

    • 手工模板：论文描述了 DAN 与角色扮演等固定模板，称其依赖专家、难扩展，且易被安全补丁或微调缓解。
    • PAIR（Chao 等，2025）按目标反馈迭代改写提示词；TAP（Mehrotra 等，2024）用 tree-of-thoughts 剪掉不太可能的路径以减少查询；PAP（Zeng 等，2024）按说服分类法改写有害查询。论文对后两者只作描述。

    模糊测试与进化

    • GPTFuzz（Yu 等，2023）与 LLMFuzzer（Yao 等，2024）把越狱当作模糊测试，对种子模板做交叉、替换等变异。Lapid 等（2024）用遗传算法、仅凭查询反馈优化离散后缀。
    • 作者批评当前黑盒方法粒度粗，并点名 PAIR 与 GPTFuzz：通常把提示词当均匀序列做盲目变异，紧预算下不实用。

    基线与数据

    • 基线方法：GCG、AutoDAN、PAIR、TAP、GPTFuzz。
    • 基准：攻击实验用 HarmBench；探索性分析的拒答集来自 AdvBench，良性集来自 Winninger 等。

    作者把本文定位为：从全局变异转到由白盒替代模型定位拒答敏感区域，以适配查询受限的 black-box 优化。Section 3.1 另引用 Arditi 等（2024），作为“拒答信息在中间深度线性可分”的依据。

  3. How does the paper address this problem?

    用白盒替代模型估计token重要性，只改敏感片段，并用拒答分数分配变异预算。

    TriageFuzz 是预算驱动的迭代搜索：固定白盒替代模型估计 token 重要性，只改敏感区域，再用拒答分数分配下一轮变异名额，直到成功或对目标的查询预算耗尽（Section 4.1，Algorithm 1）。

    参考层与拒答分数

    • 探索性分析用 AdvBench 的拒答提示词和 Winninger 等的良性提示词，随机分成 Dtrain 与 Deval。论文未给出样本量。
    • 参考层 l* 是归一化线性可分性首次超过阈值 α、且其后不低于 α−ε 的最早层（Appendix Algorithm 2）。论文未给出 α、ε。Figure 11 纵轴为 AUC；作者称浅层可分性低，到某一深度后上升并稳定。
    • 在 l* 的最后 token 表示上训练逻辑回归探针。拒答倾向定义为 sprompt(x)=gθ(h(l⋆)(x))，即该探针的连续输出。
    • 拒答语义取 Deval 中拒答样本在 l* 的表示矩阵的第一左奇异向量 u1。它只依赖样本数，不依赖隐藏维，用于跨模型比较。

    Token 重要性

    • 离线做一次：对 l < l* 的每个注意力头做 zero ablation，用余弦距离衡量 u1 偏离，选偏离最大的头。正文式 (6) 为 1−cos；Appendix Algorithm 3 写成 arccos。该头在攻击过程中固定。
    • 在线时，token 重要性为 stoken(x)=A(l†,h†)(x)[−1,:]，即该头中最后 token 对全部输入 token 的注意力。Figure 5 的图注称分布高度偏斜；文本中看不到各 token 的柱高。

    区域变异

    • 攻击模型把带分数的 token 序列收成 1–3 个连续触发片段。论文举例先把分数归一化到 0–1。提取用的提示词见 Figure 6，此处不复述其规则。
    • 同一攻击模型只对识别出的片段做局部变换，并调整上下文以保持语法和原任务意图。论文举例的变换包括混淆和场景注入，不给出模板。系统提示词改编自 PAIR，见 Appendix Figure 12。
    • 默认攻击模型为 Vicuna-13B。若任一变体被判定成功则停止，否则进入下一阶段。

    拒答引导的预算分配

    • 对当前候选用同一探针计算 sprompt，再对负分数做 softmax 得到权重，温度 τ 控制选择压力。论文未给出 τ。
    • 每轮总变异名额 B 按 Round(B·wi) 分给各候选，总和仍为 B。拒答分数高的候选可以分到 0。论文未给出 B 的默认值。
    • 每轮顺序是：算拒答分数、分配名额、按该候选自己的敏感区域生成变体。对目标模型的探索和评估查询都计入预算。

  4. What experiments did the paper conduct?

    在HarmBench上，25次查询内六开源模型平均ASR为92.17%，GPT-4o为84.0%。

    实验设置

    • 目标模型：Gemma-7B-Instruct、Gemma2-9B-Instruct、LLaMA3-8B-Instruct、LLaMA3.2-3B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-3B-Instruct；商业 API 为 GPT-3.5-Turbo、GPT-4o、Claude-3.5-Sonnet。表中简写对应这些 Instruct 模型。
    • 数据与基线：HarmBench，六类恶意提示词；论文未报告条数。基线为 GCG、AutoDAN、PAIR、TAP、GPTFuzz。威胁模型写的是闭源目标；开源实验仍把对目标的查询计入预算，并纳入白盒基线。
    • 指标：预算内引出有害回复的提示词比例 ASR。AUCnorm 是 ASR 归一化到 [0,1] 后，对预算 0–100 积分再除以 100。
    • 判定与解码：MD-Judge，在 Mistral-7B 上微调的安全分类器。论文未写阈值，也未报告本文的人工一致性。贪心解码，temperature = 0。论文未报告重复次数。
    • 默认辅助模型：攻击模型 Vicuna-13B，替代模型 LLaMA3.1-8B-Instruct。主曲线预算 100；低预算为 10、15、20、25。

    主结果

    Swipe horizontally to read the table

    目标模型GCGPAIRTAPTriageFuzz
    Gemma-7B1.0%74.0%73.0%96.0%
    Gemma2-9B0.0%58.0%56.0%93.5%
    LLaMA3-8B0.0%29.5%48.5%88.0%
    LLaMA3.2-3B0.0%62.0%46.5%88.0%
    Qwen2.5-7B1.5%67.5%76.0%94.5%
    Qwen2.5-3B3.0%79.5%81.5%93.0%

    据 Table 1，HarmBench，预算 25。AutoDAN 与 GPTFuzz 未列入。

    • 查询：作者称达到同样 ASR 时查询最少。Gemma-7B 上 ASR=0.9 的预算为 18，最强基线为 62，削减 71.0%。作者称达到 90% ASR 的查询比基线少 70% 以上。
    • 汇总：Table 4 六模型平均，TriageFuzz 的 ASR@10/@25 为 63.75%/92.17%，TAP 为 42.67%/63.58%，GCG 为 0.08%/0.92%。作者称 AUCnorm 超过最强基线 0.20 以上；Figure 7 标注了 AUC，但文本转换后与图例的对应不可靠，不逐条引用。图例含 GCG、AutoDAN，正文称比较的是 black-box 基线。
    • 例外：作者称 25 次查询下 ASR 提高 20–40%，且通常超过 90%。表中两个 LLaMA 模型未超过 90%。作者以 LLaMA3.2-3B 从 10 次查询的 48.5% 到 20 次的 78.0% 为例，推测较小模型拒答边界更陡。未列入表的 @25 中，LLaMA3-8B 的 AutoDAN 为 0.0%、GPTFuzz 为 3.0%（Table 1）。

    商业 API

    • 预算 25：Table 2 中 TriageFuzz 在 GPT-3.5-Turbo、GPT-4o、Claude-3.5-Sonnet 上为 94.0%、84.0%、80.5%；PAIR 为 74.0%、61.5%、28.0%；TAP 为 58.0%、52.0%、24.5%；GPTFuzz 为 52.0%、5.0%、3.0%。
    • 更低预算：TriageFuzz 的 ASR@10 为 68.0%、50.0%、47.5%。GPT-4o 上 GPTFuzz 在 @10 至 @20 均为 3.0%。
    • 作者解读：作者称查询效率能迁到无法看到内部信号、且有速率限制和费用的商业 API。商业 API 未报告 GCG、AutoDAN。

    防御评测

    • PPL：作者称 ASR 降幅始终低于 3 个百分点。Table 7 在预算 25 的 PPL 结果，按上表模型顺序为 95.5%、90.0%、88.0%、84.5%、93.0%、92.0%；Table 1 同列为 96.0%、93.5%、88.0%、88.0%、94.5%、93.0%。
    • LLaMA Guard 与 SmoothLLM：Table 7 中 LLaMA Guard 的 @25 为 66.0%、60.5%、51.5%、59.5%、52.5%、56.5%。SmoothLLM 用 RandomSwapPerturbation，扰动率 20%，聚合 10 个副本。Table 3 的 After 平均（@10–@25）为 73.3%、57.4%、53.5%、61.1%、62.4%、70.1%，Before 为 85.6%、76.8%、68.3%、69.9%、87.9%、89.4%。
    • 作者解读与混合防御：作者称 LLaMA Guard 有惩罚但未完全挡住；并称 SmoothLLM 之后的 ASR 仍高于基线的无防御结果。Qwen2.5-7B 在 SmoothLLM 下 @25 为 68.0%，Table 1 中 TAP 无防御为 76.0%。Figure 10 评 PPL+SmoothLLM 与 LLaMA Guard+SmoothLLM 的 ASR@25；作者称仍高于 PAIR、GPTFuzz、TAP。图中柱高在文本中不可核对。

    辅助模型稳健性

    • 替代模型：Table 5 在 LLaMA3.1-8B-Instruct、Qwen2-7B-Instruct、Mistral-7B-Instruct 上报告 ASR@25。Gemma-7B 为 96.0%、94.5%、93.0%；Gemma2-9B 为 93.5%、89.5%、90.5%。作者在 RQ3 称差异通常在 2–4%；引言称始终不超过 3%。
    • 攻击模型：Table 6 比较 Vicuna-13B、LLaMA3-8B、Gemma3-12B。Gemma-7B 的 ASR@25 为 96.0%、92.0%、96.5%；Qwen2.5-7B 为 94.5%、91.0%、96.5%。作者称变化通常在 ±3% 以内；Figure 9 标注的 Δ 最高为 4.5。
    • 作者解读：作者称相对排序保持，没有某一个替代模型造成系统性下降，因此不依赖单一替代模型的特有性质。

    其他消融与分析

    • 均匀变异：Figure 8 在 Gemma2-9B、LLaMA3-8B、Qwen2.5-7B 上比较。作者称均匀搜索增长更慢。图中标注了百分点差值，文本转换后与预算的对应不可靠，不逐条绑定。
    • 跨模型相关：Figure 2b 参考层 Spearman 的非对角元素为 0.86–0.95；作者称常接近 0.90。首层作者称平均约 0.60，图中可见 0.31；末层作者称平均约 0.85。
    • 拒答语义：Figure 3 中 u1 的余弦相似度非对角元素为 0.83–0.98。作者称这支持用白盒替代模型的 token 重要性代理黑盒目标。
    • 低预算起点：Table 1 预算 10 时，TriageFuzz 按模型顺序为 70.5%、59.0%、42.5%、48.5%、79.0%、83.0%。作者称其中四个模型已达到或超过基线在 20–25 次查询的水平。

  5. What are some points that can be further explored?

    作者指出依赖MD-Judge、未做大规模人工标注，且需要本地白盒替代模型。

    作者指出的局限与后续方向

    • 自动判定：成功与否依赖 MD-Judge，而不是大规模人工标注（Section 7）。作者称已有研究显示它与人类偏好对齐，且本文结论来自统一协议下的相对差距，绝对分数变化时比较结论仍成立。
    • 本地替代模型：相对纯查询基线，需要本地白盒替代模型，带来额外计算开销（Section 7）。作者称红队目标是暴露最坏情况漏洞，而不是最小化本地计算，因此认为这一交换可以接受。
    • 后续工作：论文没有单独的 Future Work。Section 7 只写出上述两点，没有另列计划中的实验。

    实验覆盖范围

    • 开源目标为 Section 5.1 的六个指令微调模型；商业 API 为 GPT-3.5-Turbo、GPT-4o、Claude-3.5-Sonnet（Section 5.5，Table 2）。
    • 攻击数据为 HarmBench 的六类恶意提示词。论文未报告条数、重复次数和 MD-Judge 阈值。
    • 开源实验的基线为 GCG、AutoDAN、PAIR、TAP、GPTFuzz；主曲线预算至 100，低预算为 10、15、20、25（Section 5.2，Table 1）。商业 API 的基线为 PAIR、GPTFuzz、TAP。
    • 防御包括 PPL filter、LLaMA Guard、SmoothLLM，以及两种混合配置（Section 6，Table 3、Table 7、Figure 10）。跨模型相关分析覆盖 Figure 2 的六个开源模型。
    • 替代模型消融三个、攻击模型消融三个（Section 5.4，Table 5、Table 6）。论文未报告 τ、每轮预算 B，以及 Dtrain、Deval 的样本量。

  6. Summarize the main content of the paper

    TriageFuzz把变异集中到替代模型标出的拒答敏感区域，低查询预算下ASR高于所列基线。

    TriageFuzz 是面向查询受限 black-box 的 token 感知越狱模糊测试。

    • 问题：已有自动越狱常对全部 token 做均匀变异。作者认为拒答由稀疏敏感区域决定，且拒答倾向可跨模型迁移，因此全局搜索在速率限制下产生冗余查询。
    • 做法：固定白盒替代模型选出拒答相关注意力头，用最后 token 的注意力标出敏感片段；攻击模型只改这些片段。未成功的候选按探针拒答分数分配下一轮名额。回复是否违规由 MD-Judge 判定。
    • 开源结果：HarmBench、预算 25 时，六模型 ASR 为 96.0%、93.5%、88.0%、88.0%、94.5%、93.0%（Table 1，顺序为 Gemma-7B 至 Qwen2.5-3B）。六模型平均为 92.17%（Table 4）。Gemma-7B 上 ASR=0.9 的预算为 18，对最强基线 62，作者给出 71.0% 的查询削减。
    • 商业 API：预算 25 时 GPT-3.5-Turbo 为 94.0%，GPT-4o 为 84.0%，Claude-3.5-Sonnet 为 80.5%（Table 2）。GPT-4o 上 GPTFuzz 为 5.0%。
    • 防御与稳定：作者称 PPL 下降幅低于 3 个百分点；LLaMA Guard 与 SmoothLLM 会降低 ASR（Table 3、Table 7）。更换替代模型后，作者称差异多在 2–4%。
    • 作者结论：把搜索限制在拒答敏感区域，可以在严格查询预算下保持 Table 1、Table 2 中的 ASR，并用于资源受限部署中的安全审计。作者同时指出自动判定和本地替代模型开销这两点局限。
Read originalarxiv.org
#Jailbreaks and attacks