Skip to content

Translation in progress Some entries still include text in the original language.

论文追踪· arXiv:2608.01117·Indexed by this site · Originally published

SoK 论文提出面向意图的多轮 LLM 越狱分类体系

SoK: Intent-Oriented Systematization of Multi-Turn LLM Jailbreaks

Quick read

Other

Based on 论文 PDF (AI 生成); refer to the original

作者按意图组织系统化多轮越狱,称效果更取决于组织方式而非上下文累积。

Questions
多轮使用中,有害意图可拆进多轮、多条轨迹或跨会话,单条消息不必露出完整目标。作者认为既有工作多按提示技巧或结果归类,未说明意图如何组织,以及防御要在哪一层观察才能检出。
Methods
作者把多轮越狱写成攻击者、受害模型与裁判的交互循环,按四个非互斥控制点分类:DEA、SRA、TBA、SSA。检索更新至2026年8月10日,保留45个核心方法。消融只做FITD、MRCJ、ActorAttack和X-Teaming。
Experiments and results
Table IV中,四模型上FITD的ASR都高于Direct Attack与Persistence,Llama-3为0.960对0.340与0.370。MRCJ里按恶意等级递进的日程常高于不递进对照,但有持平。Table XI中A1到A3的ASR在四个目标上逐档上升。
Limitations and future work
作者建议补TBA与SSA的标准实现和数据集,并做保留多标签、对齐观察范围的交互感知基准。组件消融只覆盖DEA与SRA的四个方法;TBA与SSA为分析性整理。论文未报告重复次数。
Experimental setupLlama-3、Llama-3.3-70B et al. · JailbreakBench、MUCD et al. · ASR、harmfulness score et al.
Threat model
攻击者持有目标T,经对话接口与已部署LLM交互,可观察回复并自适应后续查询。black-box只见输入输出,white-box还可使用注意力或隐状态。不修改受害模型、安全数据或部署设施。监控器M不同于裁判J,范围为turn-level、session-level或cross-session。
Evaluated models
Llama-3Llama-3.3-70BDeepSeek-V3GPT-4oGemini-3.1-FlashVicuna-7bVicuna-13bMistralChatGLMQwen2Gemma-2-9B
Benchmarks
JailbreakBenchMUCDAdvBenchHarmBench
Metrics
ASRharmfulness scorerelative ASR gainquery times (QT)
AI summary一篇 SoK 论文提出面向意图的四部分分类体系,按对抗意图结构系统整理多轮 LLM 越狱攻击。作者通过受控消融实验发现,攻击效果取决于意图在多轮之间被组织的方式,而非上下文长度或查询次数。研究进一步指出,意图的组织方式决定了其可被检测的层级,检测面需要从单轮层级扩展到会话层级乃至跨会话层级。作者据此认为,仅针对单轮的安全机制在结构上不足,单点评测也忽略了意图的组织方式,需要与有害意图可观测层级相匹配的评测协议。代码已公开。

一篇 SoK 论文提出面向意图的四部分分类体系,按对抗意图结构系统整理多轮 LLM 越狱攻击。作者通过受控消融实验发现,攻击效果取决于意图在多轮之间被组织的方式,而非上下文长度或查询次数。研究进一步指出,意图的组织方式决定了其可被检测的层级,检测面需要从单轮层级扩展到会话层级乃至跨会话层级。作者据此认为,仅针对单轮的安全机制在结构上不足,单点评测也忽略了意图的组织方式,需要与有害意图可观测层级相匹配的评测协议。代码已公开。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    有害意图如何跨轮组织,以及要在哪一层观察才能检出。

    多轮越狱要处理的问题,是有害意图如何跨轮次、轨迹与会话被组织推进,以及防御要在哪一层观察范围才能检出。

    • 场景:作者称 LLM 已用于对话助手、编程 copilot、企业工作流和智能体。用户意图常跨多轮展开,攻击可沿对话历史、工具流程和有状态交互推进。
    • 现有不足:作者称既有越狱仍多以提示词、图像或单次实例为攻击单位。多轮方法虽有升级对话、自适应攻击智能体和跨会话设计,但综述通常按表面技术、攻击者能力或结果归类,未说明意图如何被组织,也未说明在何种观察范围可检出。
    • 核心看法:作者认为多轮越狱不同于重复或改写单条恶意请求。摘要称,受控消融中有效性更取决于意图如何被刻意组织,而不是匹配地增加上下文长度或查询次数。
    • 本文做法:给出非互斥分类,四个维度为对话升级(DEA)、策略精炼(SRA)、轨迹分支(TBA)、会话拆分(SSA)。对可消融的 DEA、SRA 做机制分析,对 TBA、SSA 做分析性系统化。
    • 威胁模型:论文写的是威胁模型空间,不是单一设定。
      • 目标:持有有害目标 T,诱导已部署模型给出违反策略的输出;评测上由裁判分达到阈值判定。
      • 知识:black-box 只见输入输出;white-box 还可使用注意力分数或隐状态。未明确依赖内部信号的方法,按 black-box 交互处理。
      • 能力:可发用户侧查询、观察回复并调整后续查询。攻击者可以是人、固定模板、辅助 LLM、优化器或多智能体。不修改受害模型、安全训练数据或部署基础设施。
      • 受害系统与监控:经对话接口交互的已部署 LLM 或基于 LLM 的系统。会话分 single-session、shared-state、isolated cross-session。部署监控器 M 不同于评测裁判 J,范围为 turn-level、session-level 或 cross-session。
  2. What related research exists?

    既有综述多按攻击面、提示或护栏归类,作者改按意图组织来比。

    作者在 Section II-D 与 Table II 里,把对照文献分成宽口径安全综述、越狱分类与基准、以及近期 SoK,并单列本文实验用的对照。

    宽口径安全综述

    • Shayegani 等(2023)按对抗攻击面梳理 LLM 漏洞。
    • Yao 等(2024)与 Das 等(2025)按安全与隐私生命周期讨论 LLM,越狱只是其中一环。
    • 论文对这些工作主要是描述其覆盖范围,没有逐篇批评具体方法。

    越狱分类、基准与提示安全

    • Yi 等(2024)按攻击者访问和防御放置位置综述攻防;Xu 等(2024)做攻击与防御的对照评测。
    • Hong 等(2025)以提示安全威胁模型做 SoK;Knowlton 等(2026)按基于提示的技术分类。
    • Mao 等(2025)把范围扩到 LLM、MLLM 与智能体;Hakim 等(2026)按越狱向量做分类。

    护栏与鲁棒性 SoK

    • Wang 等(Table II 标为 2026)按越狱护栏分类。
    • Xu 等(2026)在多维评测设定下系统化越狱鲁棒性。
    • 作者认为这些工作覆盖了攻击、防御和评测协议,但多轮攻击仍常被写成提示越狱的子类型。

    实验对照与数据

    • FITD 侧对照是 Direct Attack 与 Persistence,查询来自 JailbreakBench(100 个 harmful behaviors)。
    • MRCJ 侧对照是 Low-Level Repetition 与 Random Level Order;辅助问题来自 MUCD,最终目标是 AdvBench 的 50 题。
    • ActorAttack 在 HarmBench(400 条)上消融组件;X-Teaming 用 A1、A2、A3 对照三种 SRA 子范式,样本来自 JailbreakBench。

    作者把本文放在交互路径上的意图组织:把多轮越狱当作独立的交互级威胁,按意图在轮次、轨迹和会话中的组织方式分类,并用受控消融区分上下文累积与意图组织。作者认为既有评测主要报告 ASR 等结果指标,没有分开成功来自上下文累积、查询次数、意图顺序、策略轨迹,还是跨分支与跨会话的目标分解。

  3. How does the paper address this problem?

    用共享交互循环,按四个非互斥控制点归纳多轮越狱。

    作者不把多轮越狱写成互斥算法,而是先给一个共享交互循环,再按有害意图的控制点投影成四个可多标签的维度。

    交互循环与成功条件

    • 角色:攻击者 A 实现策略更新 μ 与查询策略 π;受害模型 V 按该轨迹历史生成回复;裁判 J 对抽出的输出和目标 T 打分。部署监控器 M 与 J 分开。
    • 状态:每轮有策略 σt、轨迹集 Ht 和跨轨迹共享状态 St。Kt=1 时单线程,St 为空;Kt>1 时多轨迹并发,St 承载联结信息。各轨迹以先验上下文 C0 初始化。
    • 一轮:先按 μ 更新策略,再为每条活跃轨迹采样查询、取得回复并写入历史,然后用 Φ 更新 St,用 Ω 抽出 Ot。总受害查询数不超过各轮 Kt 之和。
    • 成功:论文写 st = J(Ot, T),成功条件为 ∃ t ≤ N, st ≥ τ。最简单的 Ω 返回该轨迹最近一次受害回复;更复杂的设计先跨轨迹聚合。

    四个意图组织维度

    • DEA:用查询内容 q 与策略 π 逐步塑造对话。Table I 的典型单独形式是 μ 固定、Kt≡1。子范式为认知与心理策略、上下文操纵与注意力转移、任务分解与知识聚合。作者称它利用注意分配、近因偏差、指令漂移、对话一致性,以及 Foot-in-the-Door 和语义一致性;有害意图常要读完整段轨迹才最清楚。
    • SRA:目标常固定,用 μ 选择、升级或改写路线 σ。子范式为 Fixed-strategy、Adaptive-optimization、Agent-based。典型单独形式 Kt≡1。作者称固定日程可复现但难以在拒绝后改路线;自适应方法按成功信号搜索;智能体方法用攻击 LLM 以自然语言修订策略。
    • TBA:以 Kt>1 的分支历史组织意图,Φ 聚合跨分支信号。作者称只有多轨迹信息指导探索、选择或后续决策才标 TBA;互不协调的多条候选提示本身不算。检测含义是跨会话观察,包括关联共享目标、共同历史或用于扩展与剪枝的反馈。
    • SSA:把 T 拆进隔离会话或智能体子任务,各会话只收到看起来良性的部分目标,Ω 在会话外重组。作者称恶意位于编排层,单条交互可以没有足够证据。

    维度在方法级不互斥。DEA 与 SRA 可出现在同一轨迹;TBA 可含分支反馈上的策略精炼;SSA 的每个隔离会话内也可含 DEA 或 SRA。多标签表示该控制点实质参与构造或执行,而不是顺带用了相关技巧。

    文献纳入与编码

    • 范围:核心方法至少有两次攻击者查询及对应目标回复,或协调多条轨迹、会话以达到越狱。排除把伪造对话塞进单条提示、离线预处理后以单轮发出,以及没有明确越狱结果的相邻记忆或提示注入研究。
    • 检索:最终更新于 2026 年 8 月 10 日。来源包括 arXiv、OpenReview、ACL Anthology 及若干安全与 NLP 会议页面,并做前后向引文追踪。60 条去重记录排除 4 条后剩 56 条:45 个核心方法,11 篇综述、基准、框架或 SoK。
    • 编码:按 Section II-C 做多标签。多模态、工具、记忆、优化、产物持久化和人类参与记为正交属性,不另立意图维度。类别计数是成员资格计数,不是 45 个方法的划分。两位审阅者对 45 个赋值独立一致 40 个,其余 5 个讨论后调和。

    机制分析要隔离的因素

    • 四个问题:RQ1 比较意图组织与上下文累积;RQ2 分开语义路径和 reasoning chains;RQ3 问升级形状是否依赖目标模型;RQ4 问三种 SRA 子范式是否构成能力层级。
    • 实例:FITD 改变对话内容的组织,MRCJ 改变策略序列的恶意等级顺序,用来避免结论只来自一种方法。ActorAttack 被作者选来分开两条放大组件。X-Teaming 同一骨干上,A1、A2、A3 分别对应 Fixed-strategy、Adaptive-optimization、Agent-based。
    • 作者写明的执行参数:辅助攻击模型均为 DeepSeek-V3。FITD 侧轮预算为 10,Persistence 最多重试 10 次。MRCJ 把升级步数固定为 4。ActorAttack 的 actor 数从 1 到 5,self-talk 消融将 actor 数固定为 3。X-Teaming 轮预算固定为 7,重试次数不变。TBA 与 SSA 不做这类组件消融。
  4. What experiments did the paper conduct?

    作者称组织意图的作用超出匹配的上下文累积,升级形状随目标而变。

    实验设置

    • 目标模型:FITD 为 Llama-3、DeepSeek-V3、GPT-4o、Llama-3.3-70B。ActorAttack 为 DeepSeek-V3、GPT-4o、Llama-3.3-70B。X-Teaming 再加 Gemini-3.1-Flash。MRCJ 为 Vicuna-7b、Vicuna-13b、Mistral、ChatGLM、Qwen2、Llama-3、Gemma-2-9B(附录 Table XIV)。
    • 攻击与评审:全部实验的辅助攻击模型为 DeepSeek-V3。因此目标为 DeepSeek-V3 时,攻击模型与目标同名。裁判为 GPT-4o,使用 JailbreakBench 默认评测提示;目标为 GPT-4o 时,裁判与目标同名。
    • 数据:JailbreakBench 为 100 个 harmful behaviors,用于 FITD 与 X-Teaming。HarmBench 为 400 条,用于 ActorAttack。MRCJ 的辅助问题来自 MUCD,最终目标为 AdvBench 的 50 题(附录 Table XV)。
    • 指标:回复按 1 到 5 的有害性打分,分数 ≥ 4 记为越狱成功。ASR 是轮预算内至少一次达到阈值的目标查询比例;多候选时任一候选达标即成功。harmfulness score 是该条件下全部目标查询的平均裁判分。QT 是用户与模型一问一答的次数。
    • 预算:FITD 侧轮预算 10。X-Teaming 的 A1、A2、A3 轮预算为 7,重试次数相同。MRCJ 固定 4 个升级步,终点恶意等级沿用 MRCJ 默认设置。解码用默认设置,除非原实现另有规定。
    • 未做的消融:作者在 Section V-A 写,未找到适合组件级受控消融的 TBA、SSA 实现,这两维只做分析性系统化。论文未报告重复次数。

    主结果

    Table IV 是 FITD 侧 ASR。附录写该实验用 JailbreakBench,三种策略共享同一批目标查询。

    Swipe horizontally to read the table

    目标模型Direct AttackPersistenceFITD
    Llama-30.3400.3700.960
    DeepSeek-V30.4300.4500.820
    GPT-4o0.1200.1800.710
    Llama-3.3-70B0.0500.0900.440
    • 作者称 Direct Attack 与 Persistence 的 ASR 相当,FITD 更高,因此组织对话内容的收益超出在相近长度上多发查询。表中四个模型都是 FITD 高于两对照。
    • Persistence 被写成与升级条件长度相当、但不把内容组织向有害目标。Llama-3.3-70B 的 FITD 为 0.440,是该行四模型中最低。
    • 作者把这组结果与 MRCJ 合在一起,称为 Finding 1:在所测 FITD 与 MRCJ 设定中,观察到的优势与“意图组织超出累积上下文”相一致。

    恶意等级日程

    MRCJ 固定轮数和可用恶意等级,比较 Level Progression、Low-Level Repetition、Random Level Order。作者称 Level Progression 在七个模型上的最终 ASR、相对 ASR gain 和有害性分数都最高,差距在作者称为对齐更稳的 ChatGLM 与 Llama-3 上更明显。

    • 最终 ASR(Table V):Llama-3 为 0.820、0.460、0.480;ChatGLM 为 0.740、0.660、0.600;Gemma-2-9B 为 0.720、0.480、0.660。Vicuna-7b 上前两种同为 0.960,Vicuna-13b 上前两种同为 1.000。Mistral 上 Level Progression 与 Random Level Order 同为 1.000,Low-Level Repetition 为 0.900。作者未解释这些持平。
    • 相对增益与分数:Table VI 中 Llama-3 的相对 ASR gain 为 0.820、0.460、0.460。Table VII 中 Llama-3 的最终有害性分数为 4.06、3.06、2.86;Mistral 上 Level Progression 与 Random Level Order 同为 4.64。
    • 升级形状(Table VIII):七个模型平均后,均匀日程 {+1,+1,+1,+1} 的末轮 ASR 为 0.90,是表中平均末轮最高。Llama-3 上该日程末轮为 0.68,而 {+1,+0,+1,+2} 为 0.96。Qwen2 上均匀日程末轮为 1.00,{+1,+0,+1,+2} 为 0.28。作者称均匀升级是未知目标时的默认选择,但 ChatGLM、Llama-3、Gemma-2-9B 上,先平稳再后段集中跳升的日程可以高于均匀升级。

    放大组件与子范式

    • ActorAttack:作者称增加平行语义路径会提高三个目标上的成功率,增益逐渐饱和;去掉 reasoning chains 后成功率下降,并称推理链的贡献大于语义多样性本身。Figure 2 文字含 +0.418、+0.480、+0.372。纯文本无法确认这三个标注各自对应的模型,正文也未给出路径数 1 到 5 的逐点 ASR。
    • 子范式链:A1、A2、A3 同在 X-Teaming 骨干上,攻击 LLM 为 DeepSeek-V3,轮预算 7。Table XI 的 ASR 为:DeepSeek-V3 上 0.770、0.810、0.980;GPT-4o 上 0.540、0.640、0.820;Llama-3.3-70B 上 0.470、0.600、0.700;Gemini-3.1-Flash 上 0.270、0.340、0.470。四个目标都从 A1 到 A3 逐档上升。作者称这是能力层级而非可互换实现,增益幅度依赖目标模型。该比较同时改变规划资源与决策机制,作者写明不是单组件隔离。
    • 轮次并非都上升:Table VIII 中 Qwen2 的 {+1,+1,+0,+2} 四轮 ASR 为 0.36、0.90、0.18、0.10;Llama-3 的 {+1,+0,+2,+1} 后两轮为 0.44、0.20。作者未对这些回落另作解释。

    其他消融与分析

    • Table IX 平均末轮有害性分数:均匀日程 4.19,{+1,+0,+2,+1} 为 3.66。
    • Table VIII 其余平均末轮 ASR:{+1,+0,+1,+2} 为 0.84,{+1,+2,+1,+0} 为 0.80,{+1,+1,+0,+2} 为 0.79,{+1,+1,+2,+0} 为 0.84,{+1,+2,+0,+1} 为 0.85。
    • Table X:Llama-3 均匀日程 QT 为 262,{+1,+0,+1,+2} 为 130;ChatGLM 均匀日程为 87,{+1,+1,+2,+0} 为 84。作者称有的模型上均匀日程查询更少,有的模型上非均匀日程也可以更少。
    • Table VI 的 Mistral 相对 ASR gain:Level Progression 与 Random Level Order 同为 0.320,Low-Level Repetition 为 0.220。
    • 讨论中的增量监控、跨模态与工具来源评测没有对应实验结果。
    • 附录 B 统计的是分类成员与代码是否公开,不是攻击成功率。
  5. What are some points that can be further explored?

    作者建议补TBA/SSA的标准实现,并做对齐观察范围的评测。

    作者指出的局限与后续方向

    • 交互感知基准:作者在 Section VI 写,未来工作应做保留多标签机制标注、并评测意图在何种观察范围变得可检出的基准,并点名可延伸 SafeDialBench 与 AgentHarm。
    • TBA 与 SSA 的实现:同一节写,轨迹分支和会话拆分攻击的标准化实现与数据集仍然特别需要。
    • 跨通道来源:作者写,未来应考察有害意图如何在文本、图像、工具输出和产物之间持续,并测试中间输出被变换、摘要或存储后,安全控制是否保留来源。
    • 联合监控:作者写,当系统具备持久记忆、工具和自主性时,防御应联合监控内容、策略、分支和会话。
    • 迁移:附录 B 写,主导的单轨迹、session-level 设定上的发现,不一定直接迁到跨会话或跨分支联结信号的攻击。
    • 观察成本:附录 B 写,这些较少出现的设定里,评测应明确写出联结机制及其观察成本,以便与局部交互设定比较。

    实验覆盖范围

    • 文献检索更新于 2026 年 8 月 10 日;60 条去重记录排除 4 条后为 56 条,其中 45 个核心方法、11 篇综述、基准、框架或 SoK(Section III)。
    • 受控消融使用 FITD、MRCJ、ActorAttack、X-Teaming,对应 DEA 与 SRA。作者在 Section V-A 写,未找到适合组件级消融的 TBA、SSA 实现,故这两维只做分析性系统化。
    • 目标模型为附录 Table XIV 所列名称;辅助攻击模型均为 DeepSeek-V3,裁判均为 GPT-4o,成功阈值为有害性分数 ≥ 4。
    • 数据规模写在附录 Table XV:JailbreakBench 100、HarmBench 400、AdvBench 50,以及带恶意等级标签的 MUCD。FITD 侧轮预算为 10,X-Teaming 为 7。
    • 论文未报告重复次数,也未报告统计显著性检验;Figure 2 未在正文给出各路径数的 ASR。
  6. Summarize the main content of the paper

    作者用四维意图分类整理多轮越狱,并称组织方式影响效果与观察范围。

    这是一篇关于多轮 LLM 越狱的 SoK:按有害意图在交互中的组织位置分类,而不是按单步提示技巧分类。

    • 问题:对手把目标 T 拆进多轮、多条轨迹或跨会话,单条消息不必露出完整目标。作者认为既有综述很少把多轮越狱当作独立威胁,也很少说明成功来自上下文累积还是意图组织,以及防御要看到哪一层。
    • 分类:共享循环包含攻击者、受害模型和裁判。四个非互斥维度是 DEA(用查询塑造对话)、SRA(更新策略 σ)、TBA(分支并联结轨迹)、SSA(把 T 拆进隔离会话再重组)。检索至 2026 年 8 月 10 日,保留 45 个核心方法。部署监控器 M 与评测裁判 J 分开,观察范围分为 turn-level、session-level、cross-session。
    • FITD:JailbreakBench 上,Table IV 的 FITD ASR 为 Llama-3 0.960、DeepSeek-V3 0.820、GPT-4o 0.710、Llama-3.3-70B 0.440,均高于同表的 Direct Attack 与 Persistence。作者称这超出相近长度上的重复请求。
    • MRCJ:七个目标上,作者称按恶意等级递进的日程在最终 ASR、相对增益和有害性分数上最高。Llama-3 的最终 ASR 为 0.820,对照为 0.460 与 0.480(Table V)。Vicuna-7b、Vicuna-13b 与 Mistral 上存在与对照持平。均匀升级的平均末轮 ASR 为 0.90(Table VIII),但 Llama-3 上另一日程末轮为 0.96,高于均匀日程的 0.68。
    • 另外两组:作者称 ActorAttack 中推理链的贡献大于语义路径多样性;正文未给出各路径数的 ASR。Table XI 中 A1 到 A3 的 ASR 在四个目标上逐档上升,DeepSeek-V3 为 0.770、0.810、0.980,Gemini-3.1-Flash 为 0.270、0.340、0.470。该目标行的辅助攻击模型也是 DeepSeek-V3。
    • 作者的结论:作者认为所测单轨迹设定中,刻意组织的意图优于主要增加累积上下文的匹配对照;意图的组织方式决定所需观察范围,可从轮级推到会话、跨分支或跨会话。作者据此认为轮级安全机制在结构上不够,单点 ASR 评测看不到意图如何被组织,并希望分类能支持后续的交互感知评测与防御。
Read originalarxiv.org