跳到正文
原文

先诊断再优化:面向查询高效越狱攻击的多维评判反馈

Diagnose Before You Refine: Multi-Dimensional Judge Feedback for Query-Efficient Jailbreak Attacks

arXiv:对抗攻击、后门与投毒· arXiv:2610.19971· Yixin Tan, Chia-Yi Hsu, Jiayang Liu, Chia-Mu Yu, Rui WenInstitute of Science Tokyo; National Yang Ming Chiao Tung University; Nanyang Technological University本站收录· 2026-10-15· 原文发表攻击

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

JSB用多维Jev反馈在10次查询内优化越狱;十个开源设置平均HarmBench ASR为89.8%。

威胁模型受害模型是以文本服务部署的安全对齐LLM。

问题
查询式越狱要在很少的目标模型查询内改写提示,但常见评估反馈粒度粗,还可能把表面顺从当成成功,从而带偏搜索。
方法
JSB用Jev一次给出立场概率以及相关性、具体性、完整性。并行线程按分数做定向细化、策略切换或从全局最优状态重播种;主实验早停阈值0.7、比较预算10次查询。
实验与结果
B=10时,作者报告十个开源设置平均HarmBench ASR为89.8%,三个闭源模型平均为54.3%;StrongREJECT平均分也高于三组基线。Claude-Haiku-5.5上JSB为19%。
局限与可以继续做的
作者指出策略库固定,可能发现不了库外策略;闭源只测三个轻量变体;更抗越狱的目标上效果可能有限。防御和攻击者替换只在Qwen2.5-7B上做。论文未报告重复次数与人工一致性。
实验设置Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 · AdvBench、MaliciousInstruct 等 · HarmBench ASR、StrongREJECT mean score
威胁模型
受害模型是以文本服务部署的安全对齐LLM。攻击者知道有害请求并了解一般越狱技术,不知架构、参数、训练数据或对齐过程;只能经文本接口查询并观察回复,不能访问权重、梯度、内部表示或token概率;可用辅助LLM与外部评估器,在预算B次查询内诱导满足有害目标的回复。
被测模型
Qwen2.5-7B-InstructLlama-3.1-8B-InstructBaichuan2-7B-ChatGemma-2-9B-ITGLM-4-9B-ChatGemini-3.1-Flash-LiteClaude-Haiku-5-5GPT-4.1-mini
基准
AdvBenchMaliciousInstructHarmBench
指标
HarmBench ASRStrongREJECT mean score
AI 导读研究者提出 JSB(Jev-Guided Strategy Bandit),一个基于查询的越狱框架,用多维概率反馈引导提示词优化,并结合连续越狱评分、定向精炼、策略切换和最优状态重播种来平衡探索与精炼。在仅 10 次目标模型查询的预算下,JSB 在十个开源模型设置上的 HarmBench 攻击成功率平均为 89.8%,持续优于现有自动化越狱攻击。方法在五个开源和三个闭源 LLM、两个有害请求数据集上评估,并在不同查询预算和攻击模型下做了分析。防御实验显示现有过滤机制存在局限,并指出基于 Jev 的输出过滤的潜力。

研究者提出 JSB(Jev-Guided Strategy Bandit),一个基于查询的越狱框架,用多维概率反馈引导提示词优化,并结合连续越狱评分、定向精炼、策略切换和最优状态重播种来平衡探索与精炼。在仅 10 次目标模型查询的预算下,JSB 在十个开源模型设置上的 HarmBench 攻击成功率平均为 89.8%,持续优于现有自动化越狱攻击。方法在五个开源和三个闭源 LLM、两个有害请求数据集上评估,并在不同查询预算和攻击模型下做了分析。防御实验显示现有过滤机制存在局限,并指出基于 Jev 的输出过滤的潜力。

相关热点

1 个事件 · 1 条新闻提到

提到这篇论文的新闻

RL/RLHF 训练条件可诱发模型智能体提权逃逸

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    查询预算有限时,粗粒度反馈难指导越狱优化,作者提出JSB。

    查询预算有限时,粗粒度评估反馈难以指出回复弱点并指导越狱提示优化。

    • 场景:作者称,经过安全对齐的大语言模型仍可能被对抗提示绕过。查询式自动化攻击只访问目标模型的文本接口,在有限查询预算下迭代改写提示,因而可用于开源和闭源模型(引言)。
    • 现有不足:作者称 PAIR、TAP 依赖 LLM 评估器,AutoDAN-Turbo 发现并复用策略,但常规反馈对回复弱点的信息有限;自动评估还可能因奖励表面顺从而高估 ASR,从而误导优化。
    • 观察:作者认为 Jev 不做自回归生成,一次调用即可对预定义选项给出概率,从而同时反映立场、相关性、具体性与完整性,用来识别弱点并决定后续优化(引言、第 3.2 节)。
    • 威胁模型:
      • 受害系统:以文本服务部署的安全对齐 LLM。攻击者通过标准文本接口提交提示并观察回复(第 4 节)。
      • 目标:为有害请求构造越狱提示,使回复满足该请求的有害目标,且对目标模型的查询数不超过 B。
      • 知识:知道原始有害请求,并具备越狱技术的一般知识;不知道架构、参数、训练数据或对齐过程。
      • 能力:可提交查询并观察回复;不能访问权重、梯度、内部表示或 token 概率。可用辅助 LLM 生成和改写提示,并用外部评估器提供反馈,再按已观察结果迭代。
    • 提出:Jev-Guided Strategy Bandit(JSB)。用多维概率反馈,在并行线程上做定向细化、策略切换和最优状态重播种(best-state reseeding)。
  2. 有哪些相关研究?

    相关工作分查询式越狱与越狱评估;作者把JSB定位为用多维反馈指导优化。

    论文在第 2 节把相关工作分成查询式越狱和越狱评估。

    查询式越狱

    • 梯度或似然:GCG(Zou et al., 2023)与 AutoDAN(Liu et al., 2024c)优化对抗提示。作者称它们需要梯度或似然,而这些在实际部署中常常不可得。
    • 查询式改写:PAIR(Chao et al., 2025)与 TAP(Mehrotra et al., 2024)做迭代提示细化与结构化搜索;IRIS(Ramesh et al., 2024)加入自我解释。另有改写、分解与重构(Ding et al., 2024; Li et al., 2024; Liu et al., 2024b),以及基于 fuzzing 的优化(Yu et al., 2024; Gong et al., 2025)。
    • 策略发现与复用:AutoDAN-Turbo(Liu et al., 2025)自动发现并复用攻击策略。作者称 JSB 是在这类进展上,用多维评估反馈指导细化与策略选择。

    越狱评估

    • 工具与基准:JailbreakEval(Ran et al., 2024)比较拒绝检测、分类和 LLM 判断。HarmBench(Mazeika et al., 2024)与 JailbreakBench(Chao et al., 2024)提供标准化评测。StrongREJECT(Souly et al., 2024)衡量回复对有害请求提供了多少有用信息。
    • 细粒度与概率判断:JAILJUDGE(Liu et al., 2024a)做细粒度、可解释的越狱评估。Li et al.(2026)与 Guo et al.(2026)用 Jev 的概率判断检测越狱和对齐失败。作者称既有做法主要评估是否越狱成功,JSB 则用连续分数和多维诊断指导迭代优化。

    基线与数据集

    • 基线方法:主实验对比 PAIR、TAP、AutoDAN-Turbo。作者称为公平比较,攻击者 LLM 统一为 Mixtral-8x7B-Instruct-v0.1,目标回复最长 512 token。
    • 基准/数据集:AdvBench(Zou et al., 2023)100 条,MaliciousInstruct(Huang et al., 2024)100 条。报告指标来自 HarmBench 与 StrongREJECT 微调评估器,独立于各方法的循环内评估器。AutoDAN-Turbo 的策略库用 HarmBench lifelong-learning 划分的前 150 条构建(附录 B)。

    作者把 JSB 定位为查询式攻击:不依赖梯度,而用多维评估反馈在有限查询内决定细化还是换策略(第 2 节)。

  3. 论文如何解决这个问题?

    JSB用Jev的连续分数和诊断维度,在并行线程上细化、换策略或重播种。

    JSB 分两部分:多维 Jev 反馈,以及用该反馈做自适应策略选择。多条线程各自生成并改写越狱提示;每次查询目标模型后,按分数决定细化、换策略,或从全局最优状态重播种(第 5 节,Figure 1)。预算 B 只计对目标模型 MT 的查询。

    问题设定与循环内分数

    • 给定有害请求 x,攻击者构造 x*,得到 y = MT(x*)。数据集上,评估器给每条回复打分;ASR 是分数不低于预定阈值 τ 的比例(式 1)。对外报告用的 HarmBench 与 StrongREJECT 独立于循环内评估器。
    • Jev 经 RLCD 训练,直接输出概率判断,不做自回归文本生成(第 3.2 节)。立场为七类:refuse、refuse_redirect、deflect、comply、mixed、restate、undetermined(Table 1)。
    • 参与概率为 Pengage=P(comply)+P(mixed),连续越狱分数为 m(x,y)=Pengage· S。S 是取值在 0 到 1 的归一化具体性。作者称该式给既接住有害请求、又给出具体可执行内容的回复更高分,并压低只有表面顺从、没有实质帮助的回复。

    多维诊断

    • 另有归一化相关性 R 与完整性 C,均在 0 到 1。立场和参与概率用于判断是否接住请求;R、S、C 提供给辅助模型;S 与 C 还用于定向细化。四个问题在一次 Jev 调用内完成,不另发评估请求(第 5.1 节)。
    • 附录 A.2:使用 Jev v0.3.1。相关性与具体性的原始分为 0–3,完整性为 0–2,再分别除以 3、3、2。附录给出了完整评判说明。
    • 攻击者看不到各维原始概率,只收到一个标量分、一句诊断和当前策略指令。为兼容 PAIR 式攻击者提示,标量分按附录式 (8) 由 m 映射为 1 到 10 的整数。诊断按预测立场和分数挑选:拒绝、改向、复述或偏转时指出对应失败;接住请求时检查相关性、具体性或完整性是否偏弱。附录 A.4 给出了反馈拼接方式,攻击者系统提示沿用 PAIR。

    策略线程

    • 策略库分为绕过集与细化集。绕过集为 roleplay、obfuscate、authority、payload_split;细化集为 specificity、completeness。每条策略是交给辅助模型的预定义自然语言指令。附录 A.3 给出了完整指令。
    • 维护 K 条线程,各有对话历史和当前策略,初始化时轮转绕过集。主实验 K=6。每轮由辅助模型按历史、当前策略和此前反馈生成提示,提交目标模型,再用 Jev 计算分数和诊断。任一线程超过预先设定的停止阈值即提前停止;主实验该阈值为 0.7。

    三种更新与返回

    • 定向细化:本轮分数高于该线程此前最高分,且参与指示为 1 时,选较弱的一维:具体性不高于完整性则用 specificity,否则用 completeness。参与指示要求参与概率大于 0.5,且最可能立场属于 comply 或 mixed(式 6、式 7)。
    • 策略切换:分数未超过该线程此前最高分,或参与指示为 0 时,换到库中尚未试过的策略,保留对话历史。
    • 最优状态重播种:策略都试过仍停滞,则从所有线程最高分对应的对话状态重启,清空策略历史,并从绕过集重新指定策略。
    • 返回:若某回复的 m 不低于停止阈值,返回最先达到该条件的提示;否则返回已评估提示中分数最高者。停止阈值只控制提前停止,最终效果用独立评估器衡量(第 5.2 节)。
  4. 论文做了哪些实验?

    作者称B=10时,JSB在13个模型–数据集设置上HB与SR均最高。

    实验设置

    • 目标模型:开源五个,正文全名为 Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Baichuan2-7B-Chat、Gemma-2-9B-IT、GLM-4-9B-Chat。闭源三个:Gemini-3.1-Flash-Lite、Claude-Haiku-5.5、GPT-4.1-mini。表中使用简称(第 6.1 节)。
    • 数据:AdvBench 100 条,MaliciousInstruct 100 条。开源两个数据集都测;闭源只测 AdvBench。
    • 预算:主比较取更长轨迹的前 B=10 次目标模型查询。JSB 搜索上限 90 次,K=6,循环内评估器为 Jev,停止阈值 0.7,随机种子 42,回复最长 512 token(附录 A.1)。论文未报告重复次数。
    • 基线:PAIR、TAP、AutoDAN-Turbo,攻击者均为 Mixtral-8x7B-Instruct-v0.1。PAIR 为 30 路流、每路最多 3 次细化,循环内评估器 GPT-4o-mini,早停阈值 10。TAP 的分支因子为 4、树宽上限 10、深度上限 10,GPT-4o-mini 兼做越狱与 on-topic 评估,分数到 10 早停。AutoDAN-Turbo 用 Llama-2-7B-Chat 和 HarmBench lifelong-learning 前 150 条得到 55 条策略并固定,MiniLM 检索,测试迭代上限 40,Gemma-based 评估器的早停阈值为 8.5(附录 B)。
    • 指标与截取:HarmBench ASR(HB,%)与 StrongREJECT 平均分 SR,二者独立于循环内评估器。方法若提前停止,保留其选中提示;否则在前 B 次查询中按该方法自己的打分取最高者,再送独立评估器(附录 A.5)。
    • 其余协议:查询预算实验在 AdvBench 上取 B 为 5、10、20、40。停止阈值分析先记录阈值为 0.9 的轨迹,再重构更低阈值的停止点。

    主结果

    AdvBench、B=10 的 HarmBench ASR(%)。开源五行据 Table 2,闭源三行据 Table 3。

    | 目标模型 | JSB | TAP | PAIR | AutoDAN-Turbo | | Qwen2.5-7B | 86 | 76 | 57 | 45 | | Llama3-8B | 83 | 69 | 66 | 69 | | Baichuan2-7B | 91 | 73 | 62 | 73 | | Gemma2-9B | 72 | 67 | 42 | 39 | | GLM4-9B | 90 | 78 | 67 | 72 | | Gemini-3.1-Flash-Lite | 66 | 62 | 22 | 22 | | Claude-Haiku-5.5 | 19 | 15 | 2 | 4 | | GPT-4.1-mini | 78 | 67 | 39 | 44 |

    • 作者报告:AdvBench 上五个开源模型的平均 HB,JSB 为 84.4%,TAP 72.6%,PAIR 58.8%,AutoDAN-Turbo 59.6%,分别高出 11.8、25.6、24.8 个百分点;平均 SR 为 0.833,对比 0.725、0.716、0.692。
    • MaliciousInstruct、B=10:作者报告 JSB 平均 HB 为 95.2%,比 TAP 的 87.0% 高 8.2 个百分点;平均 SR 为 0.856,对比 PAIR 0.796、TAP 0.794、AutoDAN-Turbo 0.756。Table 2 中 JSB 的 HB 按表列顺序为 95、90、99、93、99,TAP 为 91、83、86、88、87。
    • 闭源:作者报告平均 HB 为 54.3%,对比 TAP 48.0%、PAIR 21.0%、AutoDAN-Turbo 23.3%;平均 SR 为 0.610,对比 0.488、0.447、0.438。作者称 Claude-Haiku-5.5 更难,各方法 ASR 都更低。摘要中的 89.8% 是十个开源设置的平均 HB。作者称 13 个模型–数据集设置上,JSB 的 HB 与 SR 都最高。

    查询预算

    • AdvBench 上比较 B 为 5、10、20、40 的 HarmBench ASR(Figure 2)。作者报告 B=5 时,JSB 比最强基线在 Qwen2.5-7B、Baichuan2-7B、Gemma2-9B 上分别高 12、13、14 个百分点。
    • 作者报告 B=40 时,五个开源模型平均 ASR 为 86.8%;B=10 时该平均为 84.4%,TAP 为 72.6%。B=10 时 Gemini-3.1-Flash-Lite 与 GPT-4.1-mini 为 66% 与 78%,作者报告比 TAP 高 4 与 11 个百分点。
    • Claude-Haiku-5.5 上,JSB 从 B=5 的 14% 到 B=40 的 31%;TAP 在 B=40 为 25%。作者称有限查询下能找到有效提示,更难的目标上额外搜索仍有收益。Figure 2 其余点的数值正文未逐点写出。

    停止阈值与攻击者模型

    • 五个开源模型在 AdvBench 上平均(Figure 3)。阈值从 0.5 到 0.7,ASR 从 83.2% 到 87.8%,平均查询从 6.7 到 8.9;0.8 时 ASR 为 90.6%、查询 13.0;0.9 时 ASR 无进一步上升,查询为 22.3。SR 在 0.7 到 0.9 之间从 0.852 到 0.865。作者称 0.7 兼顾攻击效果与查询成本。此协议是重构停止决策,与 Table 2 截取前 10 次查询不同,故 87.8% 不等于表中的 84.4%。Figure 3 也标注了 0.6,正文未给出该点数字。
    • 攻击者由 Mixtral-8x7B-Instruct-v0.1 换成 Vicuna-13B,只在 Qwen2.5-7B、AdvBench、B=10 上比较(Table 4)。Mixtral 下 JSB 的 HB/SR 为 86% / 0.819,TAP 为 76% / 0.764。Vicuna-13B 下 JSB 为 78% / 0.805,PAIR 为 37% / 0.581,TAP 为 32% / 0.404,AutoDAN-Turbo 为 25% / 0.517。作者报告 JSB 下降 8 个百分点,三基线分别下降 20、44、20 个百分点,并认为 JSB 对攻击者 LLM 的选择不那么敏感。

    过滤防御

    • 防御加在最终选中的提示或回复上。设置为 Qwen2.5-7B、AdvBench、B=10,指标为 HarmBench ASR(Table 5)。无防御:PAIR 57、TAP 76、AutoDAN-Turbo 45、JSB 86。PPL 使用 GPT-2,阈值取原始 AdvBench 请求的最大困惑度,四格数字不变。作者称该阈值下过滤器没有压低观察到的 ASR。
    • Llama-Guard-3-8B 输入过滤后为 32、33、10、47,JSB 仍为 47%。输出过滤后为 24、23、10、28;JSB 从 86% 降到 28%,作者报告相对最强基线的优势缩到 4 个百分点。
    • 作者探索的 Jev 输出过滤挡住 m 不低于 0.5 的回复。四方法剩余 ASR 为 3%、4%、1%、1%,JSB 为 1%。作者称这显示已有过滤机制的局限,并认为 Jev 作为输出侧过滤有潜力。

    其他消融与分析

    • 论文未单独报告去掉定向细化、策略切换或重播种后的 ASR。
    • 除 Figure 3 的平均目标查询外,论文未报告各方法在主比较中的查询次数分布。
  5. 有什么可以进一步探索的点?

    作者指出策略库固定,闭源只测较轻量变体,更抗越狱目标上ASR更低。

    作者指出的局限与后续方向

    • JSB 依赖一组预先定义、由提示实现并由 Jev 反馈引导的策略,这可能限制它发现策略库之外的新攻击策略(Limitations)。
    • 闭源评测集中在较轻量变体,即 Gemini-3.1-Flash-Lite、Claude-Haiku-5.5 和 GPT-4.1-mini,而不是更大的旗舰模型(Limitations)。
    • 对更抗越狱的目标(如 Claude-Haiku-5.5)ASR 更低;作者认为,对越狱鲁棒性更强的模型,其效果可能有限(Limitations)。

    实验覆盖范围

    • 被测目标为第 6.1 节的 5 个开源模型与 3 个闭源模型。开源在 AdvBench 与 MaliciousInstruct 各 100 条上评测;闭源只在 AdvBench 上评测(第 6.2 节)。
    • 主比较为 B=10。AdvBench 上另报告 B 为 5、10、20、40(Figure 2)。JSB 搜索上限为 90 次查询,主结果按前 B 次截取(附录 A.1、A.5)。
    • 防御比较只在 Qwen2.5-7B、AdvBench、B=10 上进行,包括无防御、GPT-2 困惑度过滤、Llama-Guard-3-8B 输入过滤、输出过滤,以及阈值 0.5 的 Jev 输出过滤(Table 5)。
    • 攻击者替换只比较 Mixtral-8x7B-Instruct-v0.1 与 Vicuna-13B,且只在 Qwen2.5-7B、AdvBench、B=10 上报告(Table 4)。
    • 对外判定使用 HarmBench 与 StrongREJECT 微调评估器,独立于循环内的 Jev、GPT-4o-mini 和 Gemma-based 评估器。论文未报告重复次数,也未报告评审与人工的一致性。
  6. 总结一下论文的主要内容

    JSB用多维Jev反馈在有限查询内选策略,作者称开源与闭源上HB与SR均最高。

    JSB 是查询式自动化越狱框架,用多维概率反馈在有限次目标模型查询内决定细化还是换策略。

    • 作者要处理的问题是:安全对齐模型仍可能被对抗提示绕过,而常见评估反馈粒度粗,还可能把表面顺从当成成功,从而误导迭代优化。攻击者只有文本接口,没有权重和梯度,可使用辅助 LLM 与外部评估器。
    • 做法是维护 K=6 条线程,初始化时轮转四类绕过策略。Jev 一次调用给出七类立场概率,以及相关性、具体性与完整性。循环内分数是参与概率与具体性的乘积。分数提高且判定接住请求时,补较弱的一维;否则换未试策略;策略用尽仍停滞,则从全局最高分的对话状态重播种。主实验停止阈值为 0.7,比较时只看前 10 次目标查询。
    • 作者报告,AdvBench、五个开源模型、B=10 的平均 HarmBench ASR,JSB 为 84.4%,TAP 为 72.6%。MaliciousInstruct 上对应平均为 95.2% 与 87.0%。摘要中十个开源设置的平均为 89.8%。
    • 三个闭源模型、AdvBench、B=10,作者报告平均 HB 为 54.3%,其中 Claude-Haiku-5.5 上 JSB 为 19%。B=40 时五个开源模型平均 ASR 为 86.8%;该预算下 Claude 上 JSB 为 31%,TAP 为 25%。
    • 攻击者换成 Vicuna-13B 后,Qwen2.5-7B、AdvBench、B=10 上 JSB 的 HB 为 78%。同一设置下,困惑度过滤后 JSB 仍为 86%;Jev 输出过滤(阈值 0.5)后为 1%。
    • 作者的结论是:细粒度评估反馈有助于在紧查询预算下提高成功越狱的频率和回复级分数,也显示出已有过滤机制的局限,并认为基于 Jev 的输出过滤有潜力。他们同时指出策略库是预先给定的,闭源评测未覆盖更大的旗舰模型。

相关论文

共同使用 MaliciousInstruct
再看 3 篇
共同使用 MaliciousInstruct
阅读原文arxiv.org