TRACE:面向多轮安全的轨迹回报归因与对比擦除
TRACE: Trajectory Return Attribution and Contrastive Erasure for Multi-Turn Safety
作者提出 TRACE,用单轮偏好数据做 token 级对齐训练,在 5 个模型 × 7 种多轮攻击共 35 对组合上 ASR 均为最低,效用下降不超过 1.23 分。
防御方:用 400 条单轮偏好三元组(有害请求 x、偏好安全回复 y+、拒绝回复 y−)微调开源模型,不使用多轮数据。
- 安全对齐的 LLM 常能拒绝单轮有害请求,但同一目标分散到多个回合后就会遵从。偏好目标只对固定上下文下的完整回复打分,作者称这种跨交互历史的安全失效为 trajectory fragility。
- TRACE 在单轮偏好三元组上做 token 级训练:偏好分支用冻结参考模型与其拒答消融副本的对数概率差构造折扣回报来加权各 token;拒绝分支在参考归一化对数概率差最大的位置,把观测 token 与策略高概率备选混合成擦除目标;再用梯度范数惩罚替代 retain set。
- 在 5 个开源模型(1B–27B)× 7 种多轮攻击共 35 对组合上,TRACE 的 ASR 均为最低;平均多轮 ASR 从对比方法的 52.81% 降至 28.98%,MMLU 与 HellaSwag 最多降 1.23 分。Llama-3.1-8B 上 XSTest 安全提示拒答率从原始模型 5.48% 升至 17.23%(ξ=0.05)。
- 理论界依赖覆盖、迁移松弛等假设,论文未估计 ρ、ε、κ,作者称该界不构成相对基策略自身轨迹风险的缩减证明。过度拒答测量只覆盖 Llama-3.1-8B;GPT-4o-mini 评审存在标注不一致,论文未给出评审错误率。
- 威胁模型
- 防御方:用 400 条单轮偏好三元组(有害请求 x、偏好安全回复 y+、拒绝回复 y−)微调开源模型,不使用多轮数据。攻击方在部署期进行多轮越狱:MHJ 和 SafeDialBench 重放固定用户轮次,ActorAttack、Crescendo、STAR、RACE、X-Teaming 用 WizardLM-2-8x22B 根据目标回复自适应生成;任一回合被判定成功即攻击成功。
- 被测模型
- Gemma-3-1BLlama-3.1-8BQwen-3.5-9BQwen-3.5-27BQwen-3.6-27B
- 基准
- SORRY-BenchHEx-PHIMHJSafeDialBenchActorAttackCrescendoSTARRACEX-TeamingGCGAutoDANMMLUHellaSwagXSTest
- 指标
- ASRMMLU accuracyHellaSwag accuracyXSTest refusal rate
研究者提出面向多轮安全的 token 级训练目标 TRACE(Trajectory Return Attribution and Contrastive Erasure),以降低大语言模型在多轮攻击下的攻击成功率。针对安全对齐模型单轮拒答、同一有害目标分散到多轮便顺从的问题,论文给出充分条件,刻画受监督单轮语境下的抑制何时能约束多轮轨迹风险。方法在安全回复上按拒答可归因优势的折扣回报为每个 token 加权,该优势通过比较冻结参考模型与其拒答消融副本得到,使较早的回复 token 能从较晚的拒答相关证据获得信用;在被拒回复的高差距位置,将观测 token 与策略选择的替代项组合进擦除目标,并以梯度范数惩罚替代保留集。
深度解读
这篇论文试图解决什么问题?
作者要解决:只用单轮偏好数据训练,如何约束模型在多轮对话轨迹上累积的安全风险。
核心问题:只用单轮偏好监督训练的安全对齐,无法约束模型在多轮对话轨迹上累积的风险。
- 问题场景:作者称,安全对齐的 LLM 常拒绝单轮有害请求,但当同一目标被分散到多个回合、甚至模型自己的回复被后续提示词复用时就会遵从(Figure 1 给出示意)。作者把这种跨交互历史的安全失效称为 trajectory fragility。
- 现有方法的不足(按论文说法):RLHF、DPO 类响应级偏好目标只对固定上下文下的完整回复打分,其训练损失本身不能控制未见历史上的风险;多轮训练只覆盖其对话中出现的策略;retain-set 损失只保护其良性样本覆盖的行为。
- 核心观察:不同的攻击历史可能导向相似的有害回复,因此单轮请求与多轮历史可以共享有害意图;论文的 Proposition 3.1 称,在没有覆盖假设时,静态偏好损失对轨迹风险没有非平凡的上界。
- 论文提出:一个条件化轨迹风险界(Theorem 3.3,把单轮上下文处的局部抑制与多轮风险通过覆盖、迁移松弛、泄漏联系起来),以及把它落成 token 级目标的方法 TRACE(TAW + RLPE + 梯度范数惩罚)。
- 威胁模型:
- 防御方视角:用 400 条单轮偏好三元组(有害请求 x、偏好安全回复 y+、拒绝回复 y−)微调开源模型,不使用多轮数据。
- 攻击方能力:部署期发起多轮越狱——MHJ、SafeDialBench 重放固定用户轮次;ActorAttack、Crescendo、STAR、RACE、X-Teaming 用 WizardLM-2-8x22B 依据目标回复自适应生成。
- 受害系统:5 个开源指令模型(Gemma-3-1B 到 Qwen-3.6-27B),贪心解码。
- 成功判定:任一回合被评审判定成功即整个攻击成功。
有哪些相关研究?
相关工作分四组:多轮越狱与轨迹安全、偏好对齐与定向抑制、效用保持与对齐税,以及本文基线。
多轮越狱与轨迹级安全
- Crescendo(Russinovich et al., 2025)把初始良性请求逐轮升级;ActorAttack(Ren et al., 2024)与 MHJ(Li et al., 2024)把有害目标拆成无害子问题;Siege、RACE、X-Teaming(Zhou & Arel, 2025; Ying et al., 2025; Rahman et al., 2025)自适应搜索或规划对话分支;STAR(Li et al., 2026)研究跨轮的状态依赖失效。
- SafeDialBench(Cao et al., 2025)与 MultiBreak(Song et al., 2026)被引为确认逐轮安全不能组合成轨迹级安全;Yang et al. (2025) 称多轮攻击的大部分优势可由单轮攻击的变体恢复。
- Qi et al. (2025a) 把部分问题归因于集中在回复前几个 token 的浅层对齐;多轮安全训练使用 SafeMTData 等对话数据(Ren et al., 2024;X-Boundary 的多轮防御集也由此构建,Lu et al., 2025)。
偏好对齐与定向抑制
- RLHF(Ouyang et al., 2022; Bai et al., 2022)及 DPO 与其变体(Azar et al., 2024; Ethayarajh et al., 2024; Hong et al., 2024; Meng et al., 2024)对整条回复打分;SafeDPO(Kim et al., 2025)、B-DPO(Zhao et al., 2026a)、Uni-DPO(Peng et al., 2026)保持这一粒度,X-Boundary(Lu et al., 2025)作用于内部表示。
- DOOR(Zhao et al., 2025)结合有害前缀后的拒答训练、对有害回复的 NPO 遗忘(Zhang et al., 2024)和 retain 损失;W-DOOR 加入 token 权重 e^{rt/τ},其报告的实现用 DPO 训练的打分器计算 rt。TIS-DPO(Liu et al., 2025)从对比模型的截断对数比估计 token 重要性。
- 论文指出与本文的区别:TRACE 的 token 权重用参考–消融对数比的折扣回报而非各 token 自身比值的函数(Proposition 4.1 称这允许非递减函数做不到的排序);对比模型是拒答消融副本(Arditi et al., 2024),论文称其为 Zhao et al. (2025) 测试过的 W-DOOR 变体的免训练对应物;拒绝侧的 logistic 变换与 SimNPO(Fan et al., 2025)相关。
效用保持与对齐税
- 安全微调常损失通用能力并导致过度拒答(Huang et al., 2025; Niu et al., 2025; Zhao et al., 2026b);过度拒答用 XSTest(Röttger et al., 2024)衡量。
- 常见做法是 retain 集上的保持损失(NPO+RT、DOOR)或对参考策略的 KL 锚定;论文称两者都只保护其数据覆盖的行为,效果依赖数据选择(Chang & Lee, 2025; Slocum et al., 2025)。TRACE 改用对齐批自身的梯度范数惩罚,沿用 Zhao et al. (2022) 的惩罚(与 SAM,Foret et al., 2021 相关)。
基线与基准:基线为 SFT、DPO、B-DPO、Uni-DPO、X-Boundary、DOOR、W-DOOR,全部使用相同的 400 条训练三元组;评测用 7 种多轮协议(MHJ、SafeDialBench、ActorAttack、Crescendo、STAR、RACE、X-Teaming)、单轮攻击 GCG 与 AutoDAN,效用用 MMLU 与 HellaSwag。
作者将本文定位为:从单轮请求–回复偏好对出发学习,用 Theorem 3.3 给出局部抑制连接到轨迹风险预算的条件,并在多轮攻击上评测。
论文如何解决这个问题?
TRACE 把单轮偏好三元组的监督细化到 token 级:偏好分支按折扣回报加权,拒绝分支做局部代理擦除,再加梯度范数惩罚。
整体思路:在单轮偏好数据上,把响应级监督拆成 token 级——偏好分支聚合后续证据给早期 token 分权重,拒绝分支只在高风险位置做抑制,并用梯度范数惩罚替代 retain set。方法名为 TRACE(Trajectory Return Attribution and Contrastive Erasure),总目标为 LTRACE(θ) = LAlign(θ) + λret |∇θ LAlign(θ)|,即对齐损失加梯度范数惩罚;LAlign = LTAW + LRLPE。
理论动机:轨迹风险与单轮迁移原理
- 轨迹风险定义为各回合产生不安全回复的期望次数之和(Eq. 1)。Proposition 3.1 称:无覆盖假设时静态偏好损失对轨迹风险无非平凡上界;两个策略偏好损失相同而轨迹风险可相差 T;有利的 margin 不保证每个安全关键 token 上下文处的低不安全概率。
- Assumption 3.2(Intent-Sufficient Local Risk)要求被覆盖上下文与其监督代表之间的不安全质量差异由松弛 ε 界定。Theorem 3.3 给出 RT(πnew) ≤ [1 − ρ(1 − e2ε − Δ)] Bbase + L,含义是:当泄漏 L=0 时,风险预算收缩当且仅当覆盖份额 ρ>0 且抑制水平 ∆>2ε;其中 B_base 是在新策略访问的上下文上评估的基策略不安全质量。
- 作者明确:该收缩是相对于这一风险预算,不构成相对基策略自身轨迹风险的缩减证明;论文未报告 ρ、ε、κ 的估计值。
TAW:轨迹感知自适应加权(偏好分支)
- 用冻结的参考模型 πref 与其拒答消融副本 πabl(公开获取、免训练,Arditi et al., 2024 的方法)计算每个 token 的步优势 rj = log πref(yj|cj) − log πabl(yj|cj)。
- 把 rj 从当前位置起聚合为折扣回报 Gj = rj + λGj+1(λ∈[0,1)),让回复后段的拒答相关证据计入前段 token 的权重;Proposition 4.1 称,任何对即时优势的非递减变换都无法在后段优势更大时把前段 token 排得更前,而回报可以。
- 回报在每条回复内用中位数与 MAD 标准化、截断后经 tanh 压缩为 wjtraj,再乘上对可预测 token 降权的 wjcap 及两个响应级因子,按 minibatch 的 5/95 分位截尾并在回复内归一化为单位均值;论文给出参数约束下 token 权重比有显式上界(Proposition C.1)。
RLPE:风险定位代理擦除(拒绝分支)
- 按参考归一化对数概率差 δj 选出最多 kproxy 个差距最大的位置;作者称该信号是对比性选择信号而非语义有害标签。
- 在每个选中位置,把观测到的拒绝 token 与当前策略下概率最高的 kproxy 个备选 token 混合成目标分布 sj(混合系数 λproxy),理由是只压观测 token 会留下高概率的有害备选。
- 对选中位置的交叉熵求均值后施加参考无关的 logistic 变换(与 SimNPO 相关);作者指出该聚合目标不保证每个代理概率都下降,Theorem 4.4 在额外的逐 token 抑制假设(Eq. 18)下把代理覆盖 κ 接入轨迹风险界。
梯度范数惩罚与训练流程
- 不用 retain 数据,直接惩罚对齐梯度范数;Proposition 4.2 称梯度范数控制单步参数漂移,进而界定良性输出的变化。按 Zhao et al. (2022) 用一次额外的前向梯度替代 Hessian-向量积:在 θ+ = θ + ξ·ĝ 处再算一次梯度,混合权重 α = λret/ξ(Lemma 4.3)。
- 关键参数(Table 7):λ=0.5,kproxy=10,λproxy=0.5,ξ 全量微调 0.05 / LoRA 0.2,α=0.9,学习率 1e-5;1B–9B 全量微调 2,000 步(10 epoch),27B 模型用 rank-16 LoRA 训练 2 epoch。Algorithm 1(附录 D.5)给出完整流程。
论文做了哪些实验?
5 个模型 × 7 种多轮攻击:TRACE 在全部 35 对组合上 ASR 最低,平均多轮 ASR 28.98%,效用最多降 1.23 分。
实验设置
- 被测模型:Gemma-3-1B、Llama-3.1-8B、Qwen-3.5-9B(全量微调),Qwen-3.5-27B、Qwen-3.6-27B(rank-16 LoRA,4-bit 基座)。
- 训练数据:400 条单轮偏好三元组,有害请求来自 SORRY-Bench 与 HEx-PHI,无多轮数据;所有方法共用同一批三元组。
- 攻击与规模:7 种多轮协议共 4,083 个名义条目——ActorAttack 600、Crescendo 150、MHJ 537、SafeDialBench 2,037、STAR 150、RACE 450、X-Teaming 159(Table 8);MHJ 与 SafeDialBench 重放固定轮次,其余五种用 WizardLM-2-8x22B 自适应生成。单轮攻击为 GCG 与 AutoDAN(迁移攻击,用 DOOR 发布的 HarmBench 提示词)。
- 评审:GPT-4o-mini(2024-07-18,temperature 0)在完整对话上下文中判定,看不到训练方法;MHJ 用 HarmBench Llama-2-13B 分类器。任一回合判定成功即攻击成功。
- 指标:ASR(%)、MMLU 与 HellaSwag 准确率(%)、XSTest 安全提示拒答率。
- 重复次数:所有报告结果为 5 次实验运行的均值,训练 seed 42。
主结果
据 Table 1(三个较小模型)与 Table 2(Qwen-3.5-27B),多轮 ASR(%)与效用:
表格较宽,可左右滑动
模型 方法 7 攻击均值 ASR 最低基线均值 MMLU HellaSwag Gemma-3-1B TRACE 26.55 53.13(W-DOOR) 40.06 58.88 Llama-3.1-8B TRACE 27.14 58.91(DPO) 66.71 78.27 Qwen-3.5-9B TRACE 27.31 49.90(W-DOOR) 78.44 76.82 Qwen-3.5-27B TRACE 29.49 42.76(W-DOOR 变体) 84.58 83.40 - 作者报告:TRACE 在全部 35 个模型×攻击对(25 个自适应 + 10 个重放)上 ASR 最低;5 模型平均多轮 ASR 为 28.98%,对比方法为 52.81%(逐模型选最低基线则为 51.88%)。
- 相对各列最佳基线,最大单项差距在 Llama-3.1-8B X-Teaming(86.79%→33.96%),最小在 Qwen-3.5-9B SafeDialBench(21.15%→14.58%)。
- 例外:X-Teaming 仍然困难,TRACE 五模型均值 53.96%,Qwen-3.5-9B 上达 76.73%;Qwen-3.6-27B 上每个基线都把均值抬到原始模型(47.14%)之上(54.68%–59.40%),TRACE 降至 34.43%(Table 9)。
- 效用:MMLU 与 HellaSwag 相对原始模型最多降 1.23 分,Gemma-3-1B 上两项均上升;Llama-3.1-8B 上 TRACE 的 MMLU 损失(1.10 分)大于带 retain set 的 DOOR 与 W-DOOR。
消融(Table 3,Llama-3.1-8B,7 攻击均值)
- 去 TAW:均值从 27.14% 升至 50.37%;把 TAW 加到 DPO 上则从 58.91% 降至 41.25%。
- 去 RLPE:均值升至 34.91%,GCG 从 3.27% 升至 7.04%。
- 去梯度范数惩罚(ξ=0):均值降至 20.89%(更低),但 MMLU/HellaSwag 相对完整 TRACE 降 1.29/2.91 分;换成 400 条 Alpaca 的 retain 损失则均值升至 36.50%。
- πabl 换成 πref:所有优势与回报归零,轨迹权重退化为 1,均值升至约 44%(各攻击列见 Table 3)。
过度拒答与评审一致性
- XSTest(Table 13,Llama-3.1-8B):原始模型拒答率 5.48%,基线 5.41%(DOOR)至 12.84%(X-Boundary);TRACE 默认 ξ=0.05 为 17.23%,ξ=0.2 时达 47.52%。作者称这呈现了多轮 ASR 降低与安全提示拒答增多之间的权衡。
- 评审:作者报告 GPT-4o-mini 存在标注不一致——附录 G.6 的 Tom letter 例中目标模型拒绝、评审解释也描述了拒绝,但标签判为攻击成功;论文称这些例子不能用于估计评审错误率。MHJ 用 HarmBench 分类器时,TRACE 相对各模型最佳基线提升 21.93–39.35 个百分点,作者称这是在第二种评审协议下的改进证据。
其他消融与分析
- 折扣 λ(Table 10,Llama-3.1-8B):均值 ASR λ=0 时 43.55%,λ=0.5 时 27.14%,λ=0.9 时 40.26%。
- 预算 kproxy(Table 11):k=0(NPO 特例)38.65%,k=10 时 27.14%,k=20 时升至 46.60%;作者称该扫描同时改变位置选择、代理支撑与损失归一化。
- 半径 ξ(Table 12):ξ=0.01 时均值 31.32%、效用与原始模型差 0.2 分以内;ξ=0.2 时均值 23.63%、MMLU 66.16%。
- 训练耗时(Table 3):完整 TRACE 2.98 小时,retain 损失变体 2.42 小时,无惩罚 2.09 小时(单张 H200)。
有什么可以进一步探索的点?
作者写明理论界依赖未估计的假设、评审存在不一致;实验覆盖 5 个开源模型与 7 种多轮协议。
作者指出的局限与后续方向
- 理论界的收缩是相对于在新策略上下文上评估的基策略风险预算,作者明确其不构成相对基策略自身轨迹风险的缩减证明(Sec. 3、附录 C.1.4)。
- 覆盖份额 ρ、迁移松弛 ε、代理覆盖 κ 等量未被估计;附录 C.1.2 写明分析假设固定的不安全 token 集合并满足 emission,不报告这些量的估计。
- 实验测的是对话级 ASR,而 Theorem 4.4 的逐 token 抑制条件(Eq. 18)是界的额外前提;附录 E 写明 ASR 测量不能识别覆盖或逐 token 抑制。
- 自动评审可能有假阳性:附录 F.3 与 G.6 给出目标拒绝却被判攻击成功的例子,并写明这些例子不能用于估计评审错误率。
- 过度拒答测量只覆盖一个模型(Llama-3.1-8B),附录 G.5 写明两个多项选择效用分数不测该行为。
- kproxy 扫描同时改变位置选择、代理支撑与损失归一化,附录 G.3 写明它测的是联合效果,且 k=0 行还切换到 NPO 特例,不是孤立的代理平滑消融。
实验覆盖范围
- 被测模型为 5 个开源模型:Gemma-3-1B、Llama-3.1-8B、Qwen-3.5-9B、Qwen-3.5-27B、Qwen-3.6-27B;超参在 Llama-3.1-8B 上选择,其余模型沿用相近配置(附录 F.2)。
- 训练数据固定为 400 条单轮偏好三元组(SORRY-Bench + HEx-PHI),未构建或使用多轮训练数据(附录 F.1)。
- 攻击评测为 7 种多轮协议(名义 4,083 条)加 GCG、AutoDAN 两个单轮迁移攻击;自适应攻击的生成模型为 WizardLM-2-8x22B,目标模型贪心解码(附录 F.3)。
- 评审为 GPT-4o-mini(MHJ 用 HarmBench 分类器);论文未报告评审与人工判断的一致性。
- 结果为 5 次运行的均值,训练 seed 固定为 42;论文未报告多次运行间的方差或统计检验。
总结一下论文的主要内容
TRACE 用单轮偏好数据做 token 级对齐,在 5 模型 × 7 攻击上 ASR 全部最低,效用损失不超过 1.23 分。
TRACE 是一篇多轮安全防御论文:作者称对齐模型能拒绝单轮有害请求却在多轮对话中失效(trajectory fragility),而响应级偏好目标本身无法约束轨迹风险。
- 问题:只用单轮偏好三元组训练,如何降低多轮攻击下的风险。理论上 Proposition 3.1 称静态偏好损失对轨迹风险没有非平凡上界;Theorem 3.3 给出条件化界,把局部抑制经覆盖、迁移松弛、泄漏连接到轨迹风险预算。
- 方法:偏好分支用冻结参考模型与其拒答消融副本的对数比构造折扣回报,给 token 加权(TAW);拒绝分支在参考归一化差距最大的位置,把观测 token 与策略高概率备选混合成擦除目标(RLPE);再用对齐批自身的梯度范数惩罚替代 retain set。
- 主结果:5 个开源模型(1B–27B)× 7 种多轮攻击共 35 对组合上 TRACE 的 ASR 均为最低;平均多轮 ASR 从对比方法的 52.81% 降至 28.98%,MMLU 与 HellaSwag 最多降 1.23 分(Table 1、2、9)。
- 消融:Llama-3.1-8B 上去 TAW 均值 ASR 从 27.14% 升至 50.37%,去 RLPE 升至 34.91%;去梯度范数惩罚均值降至 20.89% 但效用下降更多(Table 3)。
- 代价与例外:XSTest 拒答率从原始模型 5.48% 升至 17.23%(ξ=0.05),ξ=0.2 时达 47.52%;X-Teaming 上 TRACE 五模型均值仍有 53.96%。
- 作者的结论:单轮监督在报告的配置下可以迁移到所评测的多轮历史;同时作者明确理论界不构成相对基策略自身轨迹风险的缩减证明,且 ρ、ε、κ 未被估计。