Study Reveals the Geometric Evolution of Harmfulness Representations in Multi-Turn Attacks

多轮对话中 harmfulness 与 refusal 表示如何随轮次变化，以及单轮安全探针为何会变差。

• 场景：作者称对齐后的模型仍会被对抗攻击诱导出有害输出。多轮尤其难，因为有害性可分布在单独看较良性的各轮中，只随累积上下文显现；安全行为依赖对话长度与结构，而不只依赖最后一条请求。
• 现有不足：表示工程已把 harmfulness 与 refusal 写成隐藏状态里可分离的方向，但作者称这些工作主要针对单轮。单轮有唯一提示可抽表示；多轮不清楚信号在当前轮、全部历史还是中间轮，也不清楚单轮学到的方向能否泛化。作者称为单轮设计的防御在多轮设定下会被削弱。
• 核心问题：harmfulness 在多轮中如何被表示和编码。作者写明目标不是构建新防御，而是刻画安全相关表示在多轮攻击中的时间演化。
• 本文做什么：在 Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Gemma-2-9B-it 上，用 Crescendo、ActorAttack、X-Teaming 生成对话，比较多种 context、层和 token 位置下 harmfulness 与 outcome 方向的线性可分性、跨框架迁移和几何对齐。

论文第 2 节按多轮攻击、表示工程、防御三条线组织。作者称共同缺口是：还没有工作系统刻画不同 context configuration 如何随时间移动 harmful 与 refusal 表示。

多轮攻击策略

• 单轮仍是多数工作的中心：Wei et al. [2023]、Zou et al. [2023b]、Mehrotra et al. [2024]、Chao et al. [2024]。论文只把它们标成单轮对抗提示研究，未逐篇比较。
• 多轮把有害性拆开：Crescendo（Russinovich et al. [2025]）逐步升级，并把被拒轮从目标活跃上下文回滚；ActorAttack（Ren et al. [2024]）用虚构角色把有害内容留到后期；X-Teaming（Rahman et al. [2025]）先规划再执行。作者称 Li et al. [2024] 与 Wei et al. [2023] 已指出单轮方法难防多轮；类比、任务交织和长程交互被引为靠分散有害性而更有效的例子。Ha et al. [2025] 把多轮压缩成单轮提示。
• 上下文会影响安全：Anil et al. [2024]、Kim et al. [2025]、Gibbs et al. [2024]、Du et al. [2025] 被引来支持安全行为依赖对话长度与结构。论文未单独批评这几篇。

表示工程

• 对比差分均值：Zou et al. [2023a] 从隐藏状态恢复语义轴；同类用法包括真实性、情感和安全行为。Turner et al. [2023] 用 steering vector 干预行为；Zou et al. [2024] 用表示级目标改变对抗压力下的行为。
• 攻击如何移动表示：Lin et al. [2024] 报告成功攻击使隐藏状态离开 refusal 相关区域。论文将其作为单轮分析引用。
• 最接近的多轮分析：Bullwinkel et al. [2025] 研究针对 Llama-3-8B-Instruct 的 Crescendo，称随着轮次累积，模型对自身最终回复的表示移向单轮空间的良性区域，用以解释 circuit breaker 对多轮失效；压缩成单轮后，回复侧表示与完整多轮相似。作者称该结果限于五次人工构造攻击、一个模型、一个框架，且看的是回复侧 token，不是 Zhao et al. [2025] 认定的输入侧 harmfulness 位置。

防御及两类表示的分离

• 以 refusal 为安全表示：Arditi et al. [2024] 找到一条消融后可抑制 refusal 的方向，论文转述该方向对 refusal 既必要又充分。Zou et al. [2024] 的 circuit breaker 使有害输入表示与冻结基座正交，论文转述其对未见单轮攻击达到 near-zero ASR。作者称这些方法没有把 refusal 和模型内部的 harmfulness 编码分开。
• 二者可以分开：Zhao et al. [2025] 称，用户指令最后一个 token 的隐藏状态按是否有害聚类，与是否拒绝无关；end-of-turn token 按 refusal 相关行为聚类，与指令是否真有害无关。该区分经 steering 和 reply inversion 做因果核验；检测器 Latent Guard 用于单轮攻击检测。本文沿用其 token 分工。

本文的对照与数据

• 内部基线：单轮 vinst、深度匹配但无攻击内容的 vctrl、多轮终轮 vfinal，以及终轮 success−failure 的 vpost。context 为 full、no、neutral、compressed。框架为 Crescendo、ActorAttack、X-Teaming。方向用 JailbreakBench 的 100 对主题匹配目标训练，评测目标来自 WildJailbreak 的 50 条有害与 50 条良性提示。攻击成功用 StrongReject 的 AISI rubric，至少 0.5 记成功。

作者把区别放在第 2.4 节：已有工作提供了 harmfulness 与 refusal 可分离、上下文会削弱安全的证据，但没有系统比较不同 context 随时间如何移动这两类表示。本文不提出新防御。

沿用 Zhao et al. [2025] 的表示工程：在每个目标模型自己的隐藏状态里，用成对提示的差分均值定义方向，再看这些方向在多轮攻击中能否分开有害与良性、成功与失败。

攻击生成与数据

• 三个框架：Crescendo 逐步升级，并把被拒轮从目标活跃上下文回滚；ActorAttack 用与有害目标语义相连的虚构角色，把有害内容留到后期间接引出；X-Teaming 先生成到达目标的策略，再逐轮执行。攻击器均为各框架默认的 GPT-4o，并使用框架默认 judge prompts。每个 goal 做 20 次独立尝试，每次最多 10 轮（附录 B.1）。
• 训练方向：JailbreakBench 含 100 条有害目标与 100 条良性目标，组成 100 对主题匹配样本。作者称成对相减是为抵消可与有害性混淆的主题内容。单轮基线把每条目标作为单条用户消息；多轮条件对每个 JBB 目标在每个框架下攻击 20 次。
• 评测目标：WildJailbreak 切片为 50 条有害、50 条良性。论文写先用 OpenAI moderation API 处理 harmfulness 最高的候选，未写明是保留还是剔除；再在共享语义空间中计算与同类别任一 JBB 目标的最大余弦，只保留低于中位数的候选，然后选出 50+50。嵌入模型论文未说明。作者称目的是使评测目标不同于训练用的 JBB 目标。附录列出了入选目标，此处不复述。
• 成功标签：StrongReject 的 AISI rubric 给有害对话的最终助手回复打 [0, 1] 分，至少 0.5 记成功。这是整段攻击的对话级结果，不是某一轮是否拒绝。附录 B.3 写 tpost 上的分析应读成预测攻击成功或失败，不是直接的 refusal 读出；正文为表述方便仍称 refusal 或 refusal-related。

四种 context 与 token 位置

• Full-context：给出直到第 k 轮的全部历史和轮次结构。
• No-context：只有当前用户轮，用来隔离有害性是否只编码在当前轮。
• Neutral-context：在原始目标前加若干良性填充轮，深度与长度匹配真实攻击，但没有累积的有害内容，用来分开目标所在位置和前文内容。填充轮的具体文本论文未给出。
• Compressed-context：把完整对话拼成单条用户消息，用来分开轮边界、基于角色的注意力和内容本身。另有单轮基线。
• 抽取位置：按深度比例选 8 层，具体层号正文未列出。tinst 是攻击者消息在 end-of-turn 标记之前的最后一个 token，用于 harmfulness；tpost 是 end-of-turn token，用于 outcome。三模型的 turn-end token 不同（Table 2）：Llama 为 <|eot_id|>，Qwen 为 <|im_end|>，Gemma 为 <end_of_turn>。Llama 与 Qwen 使用同一条强调安全的系统提示；Gemma 的模板不支持 system role，其攻击对话没有系统提示（附录 A.2）。

四个方向

Table 1 的方向都在各目标模型自己的表示空间里计算。

• vinst：单轮呈现的主题匹配有害/良性目标，在 tinst 上做 harmful−benign。
• vctrl：同样目标前各加 k 轮良性填充，在 tinst 上做 harmful−benign。匹配深度，但无攻击内容。
• vfinal：同一目标由框架生成的对话的最后一轮（有害目标为多轮攻击，良性目标为良性对话），在 tinst 上做 harmful−benign。
• vpost：成功与失败的多轮攻击的最后一轮，在 tpost 上做 success−failure。作者将其作为多轮攻击得到的 refusal 方向代理；脚注写该方向可能反映 refusal 行为。

比较的三个性质

1. 对话阶段与 token 位置上的可分性，指标为基于投影的 AUROC；图中报告各层中位数及 bootstrap 95% 置信区间。论文把对话分成 early、middle、late，未给出对应的轮次切分。
2. 跨框架迁移，以及用余弦相似度衡量的几何对齐。
3. harmfulness 方向与 success/failure 方向的关系。

摘要和引言写多轮 harmfulness 方向在 end-of-turn token 上随轮次变得更线性可分。Table 1 与方法节则把 vinst、vctrl、vfinal 定义在 tinst，把 vpost 定义在 tpost；Figure 6 图注写 harmfulness 方向来自 instruction tokens。两处不一致。下文结果按 Table 1 转述，并保留摘要的说法。

实验比较三模型、三框架上的方向可分性与余弦；正文和图注没有可摘录的 AUROC 或余弦读数。

实验设置

• 模型：Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Gemma-2-9B-it。作者称它们来自不同实验室，安全对齐流程和对话模板不同，规模相近。
• 攻击生成：Crescendo、ActorAttack、X-Teaming；攻击器为默认 GPT-4o，并使用框架默认 judge prompts。Llama 与 Qwen 带同一条安全取向系统提示，Gemma 无系统提示。
• 数据：方向用 JailbreakBench 的 100 对主题匹配目标训练；评测目标为 WildJailbreak 的 50 条有害与 50 条良性。Figure 1–8 的图注未写明结果来自哪一套对话。
• 次数与标签：附录 B.1 为每个 goal 20 次尝试、最多 10 轮；附录 B.2.1 写每个 JBB 目标在每个框架下攻击 20 次。WJB 是否同样 20 次，附录 B.2.2 未写明。成功标签为 StrongReject AISI，阈值 0.5。论文未说明该分数由人工还是模型给出。
• 指标与抽取：AUROC（各层中位数，bootstrap 95% 置信区间）和方向间余弦。8 层，tinst 与 tpost，四种 context 加单轮基线。除图注中的 bootstrap 外，分析重复次数论文未报告。正文未报告数值型 ASR。

主结果

下表只记作者的相对比较，不填论文未给出的数字。正文也未按模型拆出可摘录的例外，概括多写成 across models and frameworks。

| 比较 | 作者称 | 出处 | | 对话阶段 | 早期更弱，中后期更高，vfinal 尤其如此；Crescendo 与 ActorAttack 这一趋势最强 | Figure 1 | | context | 累积的完整对话可分性最强；去掉历史、压成单条用户消息一般降低 AUROC | Figure 2 | | 层 | 中后层最强；vfinal 跨层最高且更一致，vinst 与 vctrl 在更早层方差更大 | Figure 3 | | 跨框架 AUROC | 同框架最高；Crescendo、ActorAttack 的框架内迁移更强，涉及 X-Teaming 更弱 | Figure 4 | | 框架间余弦 | 第 4.2 节写 low-to-moderate；Crescendo 与 ActorAttack 对齐更强，X-Teaming 相对更正交 | Figure 5 | | harmfulness 与 outcome | 多数设置下 vinst 高于 vpost；二者余弦偏弱 | Figure 6–8 |

• 作者解读：有害性不是只编码在当前攻击消息里，而依赖整段交互累积的信息；它不是静态的提示级特征，而是随阶段变得更一致、更线性可分。作者给出的一种可能解释是，后期轮次的有害意图在语义上更明确。
• 方向不共享：作者称不同框架走不同表示方向；有害性可能位于共享空间，但各策略利用其中不同的局部方向。引言写 moderate transfer、low cosine similarity；第 4.2 节写 low-to-moderate。作者称各框架都能引出有害输出，论文未报告 ASR 或输出之间的余弦。
• 与 refusal 的关系：作者称 harmfulness 与 refusal 相关表示只是部分不同的机制，多轮攻击并非靠压制内部 harmfulness 表示而成功。作者认为模型可能在最终攻击成功之前，就已把对话内部编码为有害，且该表示常常比 refusal 相关表示更早稳定。

token 位置与拒绝代理

• Figure 8（附录 D）：vinst 是攻击者指令 token 上的 harmful−benign，vpost 是 end-of-turn token 上的 success−failure。作者称 AUROC 从早期到后期上升，Crescendo 与 ActorAttack 尤其如此，vpost 更弱。图注未给数值。
• Figure 6–7：作者称 vinst 在中后层的跨层正余弦更强、更一致，vpost 变异更大；同一框架内两类方向的余弦保持偏弱。Figure 6 图注只写上半部分是来自 instruction tokens 的 harmfulness 方向之间的余弦，未描述下半部分。
• 标签含义：正文中的 refusal 是简称。附录 B.3 写 tpost 预测的是攻击最终成功或失败，不是逐轮拒绝。

其他消融与分析

• context、层、框架和 token 的比较都在 Figure 1–8，论文没有另给超参数表或逐格数字。
• vfinal 相对 vinst、vctrl：作者称 vfinal 整体 AUROC 最高，后两者更早层方差更大（Figure 3），无具体差值。
• 摘要写可分性出现在 end-of-turn token；Table 1 把 harmfulness 方向放在 tinst。论文未解释这一不一致。
• 论文未报告查询次数；轮数预算只写每次最多 10 轮、每目标 20 次尝试。
• 论文未做 steering、patching，也未评测探针或 circuit breaker。
• 重实验在 8×H200 节点中的三张 NVIDIA H200 上完成；本地分析用 2024 款 MacBook Pro（64 GB，M4 Max）。

作者明确写出的限制是：分析为相关而非因果，未评防御，模型规模相近，线性方向可能不够。

作者指出的局限与后续方向

• 无因果、未评防御：不识别表示偏移的因果机制，也不直接评测防御（第 5 节）。
• 规模：所分析模型规模相近，因而限制关于模型大小或架构的结论（第 5 节）。
• 线性探针：线性方向便于探测 harmfulness，但可能捕捉不到多轮推理中的非线性或交互效应（第 5 节）。
• 相关而非因果：分析是相关的，不能建立表示几何与攻击成功之间的因果关系（第 5 节）。
• 后续：作者认为应做定向干预，例如 activation steering 或 patching，并超出单 token 线性探针，走向利用跨轮动态的非线性或序列级检测器（第 5 节）。

第 6–8 节建议防御建模两类表示的联合时间动态，而不是静态单轮探针。这是作者主张，不是另列的实验局限。

实验覆盖范围

• 被分析模型为 Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Gemma-2-9B-it。
• 攻击框架为 Crescendo、ActorAttack、X-Teaming；攻击器为各框架默认的 GPT-4o，并使用默认 judge prompts。最终成功标签用 StrongReject AISI，阈值 0.5。
• 方向在 JailbreakBench 的 100 对主题匹配目标上训练；评测目标为 WildJailbreak 的 50 条有害与 50 条良性。Figure 1–8 图注未写明对话来自哪一套目标。
• 附录 B.1 写每个 goal 20 次独立尝试、每次最多 10 轮。context 为 full、no、neutral、compressed，另有单轮基线；token 为 tinst 与 tpost；层为按深度比例选取的 8 层。
• 指标为各层 AUROC 中位数和 bootstrap 95% 置信区间，以及余弦。正文未给出这些读数，也未报告 ASR。除 bootstrap 外，分析重复次数未报告。WJB 是否每目标 20 次，附录 B.2.2 未写明。相似度过滤的嵌入模型未说明。StrongReject 分数由人工还是模型给出，论文未说明。框架 judge 的模型名未单独写出。

作者刻画多轮攻击里 harmfulness 与 refusal 相关表示如何随对话变化，而不提出新的攻击或防御。

• 问题：单轮工作能把二者写成可分离方向，但多轮有害性可拆在各轮里，单轮方向能否跟着对话走并不清楚。
• 做法：三款指令模型上，用 Crescendo、ActorAttack、X-Teaming 和默认攻击器 GPT-4o 生成对话。差分均值方向在 JailbreakBench 的 100 对主题匹配目标上训练，评测目标是 WildJailbreak 的 50 条有害与 50 条良性提示。harmfulness 方向取自 tinst，success−failure 方向取自 tpost；成功标签是 StrongReject AISI 至少 0.5，且是整段对话的结果。
• 结果：作者称中后期、完整历史和中后层更线性可分，多轮终轮方向 vfinal 整体最高；去掉历史或压成单条用户消息一般更低。同框架评估的 AUROC 更高，涉及 X-Teaming 的迁移更弱。引言写框架间余弦为 low，第 4.2 节写 low-to-moderate。多数设置下 vinst 比 vpost 更可分，二者余弦偏弱。正文没有可摘录的 AUROC、余弦或 ASR。
• 作者的结论：多轮攻击也许不是靠藏起内部 harmfulness，而是让该表示随轮次更一致，并分开调整只与之弱对齐的 refusal 相关方向。作者认为这是静态单轮探针在多轮中变差的一种可能解释，并认为防御需要跟踪两类表示沿对话的联合变化。第 5 节写这些分析是相关的，且没有直接评测防御。摘要把 harmfulness 可分性放在 end-of-turn token，Table 1 则放在 tinst。