多轮短视野：测量越狱中的有效视野压缩

1. 01这篇论文试图解决什么问题？

   作者问：恢复后期攻击进度，还需要多少早期查询历史？

   多轮越狱达到后期攻击进度后，还需要多少早期查询历史才能恢复这一进度？

   • 场景：作者称多轮越狱能用受害模型每轮反馈调整后续查询，因而往往更有效，但自适应搜索可能要多轮交互，慢且成本高。
   • 不足：轨迹找到之后，早期查询是否仍被后续查询依赖并不清楚。M2S把多轮对话改写成新的单轮提示，可吸收整段对话信息，不能衡量原查询序列里有多少前缀可以删掉。
   • 假设：保留后期攻击者查询原文，只删除更早查询，在新对话中重放并让受害模型重新生成回复；若分数不低于原进度减去容差，则被删查询对恢复该进度不是必需的。这不表示被删轮次对发现后期查询没有作用。
   • 威胁模型：
     • 目标：使对齐后的LLM给出有害回复；测量问题是后期已达到的攻击分数能否由更短查询后缀恢复。
     • 知识：攻击者看到受害模型每轮回复并据此改查询。论文未写white-box、black-box或是否访问权重。
     • 能力：不改写保留的攻击者查询，只删序列前缀，不复用原来的受害回复。
     • 受害系统：实验中的受害LLM；轨迹来自既有多轮攻击，而不是新写的提示模板。
   • 提出：定义effective horizon（有效视界）及其与轨迹长度之比EHR，把这种缩短称为effective-horizon compression，并用于续攻、攻击者信用分配和防御奖励窗口。

   收起这一问

2. 02有哪些相关研究？

   作者将工作放在不改写查询、只测量前缀是否仍被需要的位置。

   搜索式多轮攻击

   • 逐步展开：Crescendo（2025）、FITD（2025）和CoA（2024）在多轮中逐步发展攻击，并按受害回复调整查询。
   • 规划与协作：ActorBreaker（2025）、X-Teaming（2025）、Trojan Knowledge（2025）和PLAGUE（2025）加入规划、探索或多智能体协调。论文此处只作描述，未逐篇批评。

   训练式攻击与改写

   • 学习策略：论文将SIREN（2025）、TROJail（2026）和SEMA（2026）归为从监督或强化学习信号学习多轮攻击策略的方法。
   • M2S：M2S（2025）把多轮对话改写成新的单轮越狱提示，该提示可以纳入整段对话的信息。作者明确对比：本文不改写攻击者查询，只删除其前面的查询历史。

   多轮防御

   • 跨轮信息：有的方法对累积对话做推理，用图或循环表示跨轮维护信息，或随时间累积风险证据。论文点名的包括对累积对话推理的工作、图或循环表示，以及累积风险证据的方法。
   • 阻断方式：D-Judge改写受害回复以打断攻击进程；TRACE与TurnGate用轨迹级推理或学习到的策略决定何时阻断。作者称本文防御实验不改变被观察的对话，只研究训练奖励需要传播多远。

   基线与基准

   • 对照：有效视界测量用X-Teaming与TROJail。续攻对照是完整失败轨迹（Full）和回到最高分轮并保留全部前缀（Peak），攻击方法为X-Teaming与ActorBreaker。信用分配对照是TROJail的β=1以及β=0。防御对照是TurnGate的全剩余轨迹回报，以及同一reward-weighted SFT检查点。
   • 数据：WildJailbreak、HarmBench、AdvBench、StrongREJECT、JailbreakBench、MTID。

   作者把本文放在测量侧：保留原攻击者查询，看前面有多少历史可以去掉；防御实验则只缩短奖励传播距离，不改对话内容。

   收起这一问

3. 03论文如何解决这个问题？

   用查询后缀重放定义有效视界，并用于续攻、信用分配和奖励窗口。

   在已有轨迹上删除早期攻击者查询，于新对话重放剩余查询并重新生成受害回复；能恢复目标轮进度的最短后缀即effective horizon。据此做EH-CR和EH-CA，并截断防御训练的未来奖励窗口。

   有效视界

   • 对象：对查询序列q1:T中的目标轮j，原攻击分数为vj。候选长度k只保留最后k条查询，在新对话中得到重放分数。
   • 恢复条件：重放分数不低于vj减ϵ。ϵ不小于0，依赖评分函数，各实验分别指定。只删前缀，候选都是连续后缀；不改写保留查询，也不从中间删轮。
   • 定义：有效视界是满足条件的最小k，即Heff(q_1:j)=min{k∈{1,…,j}∣ ṽ_j,k≥ v_j−ϵ}。它表示恢复第j轮进度所需的近期查询条数。若没有后缀满足条件，该目标轮的有效视界无定义。
   • 比值：EHR等于Heff除以j。为1表示在该重放标准下需要全部历史；更小表示压缩更多。作者称之为effective-horizon compression。短视界不表示被删轮次对发现后期查询没有作用。

   重放测量

   • 成功轨迹：目标轮是最后一轮。X-Teaming与TROJail各用200条WildJailbreak，最多五轮；X-Teaming五轮另用1,500条。附录A.1。
   • 未成功轨迹：截到首次达到最高攻击分数的轮，再测该点的有效视界。
   • 评分：X-Teaming用GPT-4o的5分越狱评审，5分表示成功。TROJail用HarmBench分类器，高于0.9表示成功。附录A.1未给出这一测量的ϵ数值，也未写重复次数。

   EH-CR

   • 步骤：未成功轨迹上取分数最高的轮。对该轮之前的历史套用同一最短后缀标准，在新对话重放后继续攻击。若没有更短后缀能恢复，则保留到该轮的完整前缀。
   • 去掉两类历史：最高分之后、把攻击带离该进度的轮次；以及恢复该进度不再需要的更早查询。
   • 容差：续攻使用离散5分，ϵ=0，恢复上下文必须达到原选中点的同一评审分数。附录A.2。作者称它是上下文选择，而不是用来减少查询次数的方法。

   EH-CA

   • 改什么：TROJail把最终攻击结果作为每条攻击者查询的学习信号。EH-CA只改这一分配。视界内第一条查询及其后保留原信号；更早查询乘以β，β在0到1之间。
   • 边界：β=1即原分配；β=0去掉视界前的该信号。其他信用分量不变。计算视界时ϵ=0.02。附录A.3。
   • 选择：每个受害模型在0.1、0.2、0.3中按HarmBench选β，再固定用于StrongREJECT和JailbreakBench。

   防御奖励窗口

   • 原信号：TurnGate每轮做Pass或Block，并给该决策过程奖励。原文在γ=λ=1时，第i轮优势是从该轮到对话结束的奖励之和。
   • 截断：改为只加当前轮到至多K个后续轮的奖励。K=0只用当轮奖励；Full用到轨迹结束。训练时只改窗口；推断时策略仍观察同一对话。附录A.4。
   • 判定：有害对话以首个harm-enabling轮为参照，区分恰好阻断、过早阻断和漏阻断，再与良性误拒合成F1ϕ1、F1ϕ2、F1ϕ3。ϕ1不给过早阻断分数，ϕ3对过早阻断的惩罚强于ϕ2。先用原阈值τ=0.5，再在验证集上按F1ϕ2为每个策略另选阈值。

   收起这一问

4. 04论文做了哪些实验？

   作者称三轮及以上成功轨迹平均EHR约0.5–0.6；短历史与部分降权提升攻击指标。

   实验设置

   • 视界测量：X-Teaming的攻击者为Qwen2.5-32B-Instruct，受害模型为Llama-3.3-70B-Instruct，评审为GPT-4o五分量表。TROJail攻击者由Qwen2.5-3B-Instruct在AdvBench上初始化并训练，受害模型为Llama-3.1-8B-Instruct，HarmBench分类器高于0.9记成功。各200条WildJailbreak，最多五轮；X-Teaming五轮另评1,500条。
   • 续攻：攻击者仍为Qwen2.5-32B-Instruct，方法为X-Teaming与ActorBreaker，159条HarmBench有害行为。受害模型为Qwen3-30B-A3B、Llama-3.3-70B、Muse-Glimmer-30B、DeepSeek-V4.1-Flash、GPT-5.6 Luna、Gemini 3.8 Flash。GPT-4o，5分记成功，ϵ=0。主设置先五轮，未成功再加五轮。对照为Full与Peak。Table 1的Llama-3.3-70B与附录A.1的Llama-3.3-70B-Instruct，论文未写明是否为同一检查点。
   • 攻击者训练：每个受害模型单独训练一个Qwen2.5-3B-IT攻击者，520条AdvBench，260个优化步。受害模型为Qwen2.5-7B-IT、Llama-3.1-8B-IT、Gemma-2-9B-IT。评测HarmBench、StrongREJECT、JailbreakBench。ASR@3为三次尝试中至少一次高于0.9。Table 5是三次运行的均值±标准差。ϵ=0.02。论文未写这三个评测集的条数。
   • 防御：TurnGate，数据集MTID，策略Qwen3-4B，从同一reward-weighted SFT检查点训练三epoch，seed 42。只变K，取值为0、1、2、3、4、5、6和full。论文未写MTID条数。
   • 未写项：第3节重放的ϵ，以及有效视界测量的重复次数。

   主结果

   成功轨迹的平均EHR据Figure 2。200条WildJailbreak、最多五轮；X-Teaming受害模型为Llama-3.3-70B-Instruct，TROJail为Llama-3.1-8B-Instruct。

   轨迹长度	X-Teaming EHR	TROJail EHR
   2轮	0.73（n=55）	0.68（n=57）
   3轮	0.56（n=67）	0.55（n=14）
   4轮	0.58（n=37）	0.54（n=6）
   5轮	0.51（n=9）	N/A（n=0）

   • 作者解读：两轮轨迹的EHR只能是0.5或1。作者称Figure 2的两个两轮平均值意味着超过一半的成功攻击只用最后一条查询就恢复了原进度。三轮及以上的平均EHR在0.5–0.6附近。作者称被删轮次仍可能是当前方法发现后期查询所需要的，但其事后冗余说明可能存在更短路径。
   • 更大样本：1,500条上的111条五轮X-Teaming成功轨迹，正文平均EHR为0.51，Figure 2图注为0.512。
   • 未成功轨迹：Figure 3在最高分轮截断。作者称多数有支持的组EHR低于1。1,500条评测中，分数为4的轨迹平均EHR从两轮的0.729到五轮的0.533。

   续攻

   Table 1：159条HarmBench，五轮初始后对未成功轨迹再给五轮。下表为∆ASR，顺序为Full / Peak / EH-CR。Base ASR方面，X-Teaming依次为67.9%、80.5%、15.1%、23.9%、13.8%、46.5%；ActorBreaker依次为37.1%、32.7%、13.2%、11.3%、8.2%、26.4%。EH-CR最终ASR，X-Teaming为90.5%、95.6%、25.8%、42.8%、33.9%、63.5%；ActorBreaker为59.1%、60.4%、27.0%、22.6%、24.6%、50.3%。

   受害模型	X-Teaming ∆ASR	ActorBreaker ∆ASR
   Qwen3-30B-A3B	+13.2 / +15.7 / +22.6	+20.8 / +20.1 / +22.0
   Llama-3.3-70B	+10.1 / +11.3 / +15.1	+22.0 / +23.9 / +27.7
   Muse-Glimmer-30B	+3.1 / +3.1 / +10.7	+10.7 / +8.8 / +13.8
   DeepSeek-V4.1-Flash	+10.1 / +13.2 / +18.9	+4.4 / +5.7 / +11.3
   GPT-5.6 Luna	+8.2 / +11.3 / +20.1	+6.9 / +6.9 / +16.4
   Gemini 3.8 Flash	+8.2 / +8.2 / +17.0	+20.1 / +19.5 / +23.9
   平均	+8.8 / +10.5 / +17.4	+14.2 / +14.2 / +19.2

   • 同起点：Peak与EH-CR都回到最高分轮，差别只是保留多少早期历史。Table 1中每个攻击–受害模型组合的EH-CR都高于同列的Full和Peak。作者称对恢复进度非必需的历史也会妨碍续攻。
   • 例外：平均上ActorBreaker的Full与Peak同为+14.2，但Qwen3-30B-A3B、Muse-Glimmer-30B、Gemini 3.8 Flash三行的Peak低于Full。
   • 预算：Figure 4图注未写攻击方法与受害模型。正文称初始长度为2、3、4轮时EH-CR最终ASR最高，相对Full Context平均高8.2个百分点。Figure 5图注未写是X-Teaming还是ActorBreaker；在Qwen3-30B-A3B与Llama-3.3-70B、159条HarmBench、五轮初始后再给1–5轮时，作者称EH-CR在每个预算上都更高，多一轮后已出现优势。图中具体ASR正文未逐点列出。

   攻击者信用分配

   • 设置：只改β。β=1为TROJail原分配，β=0去掉视界前的结果信号，β*为HarmBench上从0.1、0.2、0.3选出并迁移的值。
   • 结果：作者称β=0在九组中五组提高ASR@3、四组下降，包括StrongREJECT的全部三组（附录D）。β*在全部九组高于β=1，平均高6.9点；六个迁移评测平均高6.4点。选出的值为Llama-3.1-8B-IT与Gemma-2-9B-IT的0.1，Qwen2.5-7B-IT的0.3。
   • 作者解读：视界前查询仍可能帮助发现后期问法，完全去掉信号会丢掉有用信息；与后期查询给同样的结果信号又过粗。作者称保留较小信号同时顾及这两种情况。并非网格中每个β都优于β=1：Llama-3.1-8B-IT在HarmBench上β=0.3的ASR@3为77.50±0.41，低于β=1的85.83±0.62（Table 5）。

   防御奖励窗口

   • 设置：同一检查点、数据、奖励和优化，只变K。Figure 7与附录E。固定阈值τ=0.5，以及验证集上最大化F1ϕ2后的阈值。
   • 校准前后：作者称τ=0.5时，奖励传得越远，性能大体越好；该阈值下Full的F1ϕ2为0.644（Table 6）。校准后F1ϕ2在0.659到0.664之间。正文写标准差为0.16%，附录E写0.16个百分点。K=0为0.661，Full为0.664。验证集阈值从K=0的0.3430到Full的0.4626。
   • 无阈值指标：Table 7中AUROC从0.808到0.810，AUPRC从0.452到0.457。K=0的AUROC为0.810、AUPRC为0.457，Full为0.809与0.452。作者称没有随K增大的单调改进；固定阈值上的收益更像分数相对共同截点的位置不同，而不是排序质量的大差别。AUPRC的no-skill基线为正例占比19.27%。

   其他消融与分析

   • 查询成本（Table 3，含后缀验证，平均每次行为的受害模型查询）：X-Teaming为Full 17.07、Peak 16.64、EH-CR 16.34；ActorBreaker为6.13、6.14、8.56。作者称没有统一更低的查询成本。
   • 续攻轮数（Table 4，六模型pooled）：X-Teaming为4.67、4.58、4.03；ActorBreaker为4.59、4.61、4.35。两种攻击上EH-CR对每个受害模型的续攻轮数都更少。
   • 案例（Table 2，一条五轮X-Teaming）：原分数依次为1、2、4、4、5。仅最后一轮重放得4，第4–5轮重放恢复5，故Heff=2、EHR=0.4。附录给出经删节的查询角色，此处不复述查询内容。
   • 附录E：作者称复现的Full在原阈值上与TurnGate报告值略有不同，但未给出对方数字；比较的是匹配运行之间的相对差异。SFT行未做校准匹配，只作参照。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称恢复不等于发现，视界依赖评审与容差，时间依赖也可更细。

   作者指出的局限与后续方向

   • 恢复不等于发现（Section 6）：有效视界只在后期查询已经找到之后测量。早期轮次仍可能帮助构造这些查询，即使重放不再需要它们。作者称这与多智能体攻击、自适应树搜索和终身攻击生成有关，后续可用有效视界信息直接发现更短攻击路径。
   • 视界依赖进度度量（Section 6）：最短后缀恢复的是原攻击分数，因此依赖评审和恢复容差。作者称使用了包括HarmBench在内的既有越狱评测器，但重复重放或多种进度度量可以给出更稳健的估计。当前分析是轮级的；测量查询内部的依赖可能还有额外压缩。
   • 时间依赖可以更丰富（Section 6）：EH-CA用一个边界分配最终结果信用；防御实验用固定奖励窗口，而不是为每个决策估计一个视界。作者称更自适应的方法可以从轨迹本身学习早期轮次应受多大影响，这一问题也延伸到多轮智能体和多智能体攻击。

   实验覆盖范围

   • 有效视界测的是X-Teaming与TROJail的成功轨迹，以及X-Teaming未成功轨迹的最高分轮；WildJailbreak 200条（最多五轮）和X-Teaming的1,500条五轮评测（Section 3，Figure 2–3，附录A.1）。
   • 续攻覆盖X-Teaming与ActorBreaker、159条HarmBench、六个受害模型；主协议为五轮加五轮，另变初始长度和续攻预算（Section 4，Table 1，Figure 4–5）。查询次数在附录C。
   • EH-CA覆盖三个受害模型与三个基准，β只在HarmBench上选择；ASR@3报告三次运行（附录A.3、D，Figure 6）。
   • 防御实验是TurnGate在MTID上、Qwen3-4B、八种奖励窗口，并报告校准后的F1与AUROC/AUPRC（Section 5.2，附录E）。
   • 附录A.1未给出第3节重放使用的ϵ，也未报告该测量的重复次数。Figure 4图注未写攻击方法与受害模型，Figure 5图注未写攻击方法。

   收起这一问

6. 06总结一下论文的主要内容

   作者称轨迹可长于所需历史；短上下文改进续攻，短学习信号经校准后变化很小。

   多轮越狱里，发现有效问法的交互可以长于事后恢复同一进度所需的查询历史。作者用重放测量后者，即effective horizon。

   • 做法：不改写攻击者查询，只删前缀，在新对话重放并重新生成受害回复。能恢复目标分数的最短后缀长度即有效视界，EHR为其与到目标轮为止的长度之比。
   • 压缩：在X-Teaming与TROJail、200条WildJailbreak上，两轮成功轨迹平均EHR为0.73与0.68；更长轨迹的平均EHR约在0.5–0.6。1,500条上111条五轮X-Teaming成功轨迹，图注平均EHR为0.512。作者称平均大约一半原查询序列就够。未成功轨迹的最高分点也可由更短历史恢复：1,500条评测中，分数4的平均EHR从两轮0.729到五轮0.533。
   • 续攻：EH-CR回到最高分轮并只留有效后缀。Table 1中，相对五轮初始轨迹，X-Teaming平均∆ASR为+17.4，ActorBreaker为+19.2，每个组合都高于Full与Peak。
   • 训练：EH-CA把视界前查询的最终结果信号乘以小于1的β。β*在九组上使ASR@3平均高6.9点；β=0则有四组下降。防御侧，校准后各奖励窗口的F1ϕ2，正文写标准差为0.16%；K=0为0.661，全轨迹回报为0.664。
   • 作者结论：轨迹长度和后期行为所依赖的历史长度可以差很多。把二者分开，可以决定保留什么上下文、学习信号应传多远。作者认为这一区分在越狱之外的长程多轮智能体强化学习里也可能重要。

   收起这一问

相关论文