多轮语言模型交互中的状态依赖安全失效

对齐模型的安全边界是固定在单条查询上，还是会随多轮对话的状态演化被穿过。

• 场景：作者指出模型已部署在交互场景，但安全对齐多在孤立查询上评测。作者认为需要判断现有对齐在连贯多轮交互下是否仍能提供保护。
• 现有不足：单轮越狱在静态威胁模型下寻找可直接绕过拒答的输入。引言称多数多轮方法侧重经验有效性，对话上下文如何削弱安全的机制理解较少。
• 假设：作者认为许多失败来自上下文状态演化，而非提示词级操纵。初始化把模型放到决策边界附近，之后模型条件于自身先前回复并自强化；单条提示仍可看似良性。
• 方法：STAR（State-oriented Role-playing framework）把角色与对话历史当作显式状态变量，分开初始化（§3.2）和演化（§3.3）。作者将其定位为诊断框架，而不是优化攻击强度。
• 威胁模型：
  • 目标：考察安全对齐行为在多轮交互中是否稳定。成功指轨迹在轮数预算内使评审分达到 J=5。
  • 知识：作者把现实误用写成 multi-turn、adaptive、black-box，不能访问模型内部或梯度。§5.4 另行对 LLaMA-3-8B-IT 做 white-box 隐藏状态分析。
  • 能力：构造各轮提示，并选择哪些历史进入条件上下文。J 为 1 或 2 的轮次可换成良性替代回复。作者称不修改模型已经生成的回复本身。
  • 受害系统：安全对齐语言模型。主实验为 GPT-4o、Claude 3.5 Sonnet、Gemini 2.0-Flash、LLaMA-3-8B-Instruct、LLaMA-3-70B-Instruct。

论文第 2 节把相关工作分成单轮绕过和多轮对话；对比基线列在第 4 节。

单轮越狱与表示干预

• 优化与提示工程：Zou et al. (2023)、Liu et al. (2023)、Guo et al. (2024)、Chao et al. (2025)、Yu et al. (2023)、Li et al. (2023)、Mehrotra et al. (2024) 等，在单条输入上搜索对抗后缀，或用模板和虚构场景探测拒答。论文指出它们适合发现提示词级漏洞，但是按查询独立评测，不是为分析交互历史而设计。
• 角色与拒答方向：Shah et al. (2023) 与 Yu et al. (2023; 2024) 用角色或边界操纵做单轮绕过。Arditi et al. (2024) 在白盒隐藏空间识别主导拒答方向，并称抑制该方向会消除拒答。论文指出后者仍作用在单条输入或表示上，不处理安全行为如何沿序列交互退化。

多轮越狱

• 上下文与升级：Anil et al. (2024) 的 many-shot in-context 攻击，Russinovich et al. (2024) 与 Zhou et al. (2024) 的渐进升级，以及 Ren et al. (2024)、Yang et al. (2024b)、Wang et al. (2024) 的角色或语义对话，把有害意图分散到多轮。论文称扩展上下文和叙事连贯可以削弱安全约束。
• 智能体轨迹：Rahman et al. (2025) 用多智能体协调探索对话轨迹。引言称多数多轮方法侧重确立经验有效性；第 2.2 节称本文在这些结果之上，把失败写成可调节的状态演化。

基线与基准

• 基线方法：单轮为 GCG、PAIR、CodeAttack；多轮为 RACE、CoA、Crescendo、X-teaming、ActorAttack。X-teaming 按原文协议；作者在 LLaMA-3-8B-Instruct 上复现并称 SFR 一致，其余模型的 X-teaming 数字引自 Rahman et al. (2025)。
• 基准：HarmBench 精选 50 条安全关键指令；JailbreakBench 100 条人工核验、带类别标注的指令。

作者把本文与上述工作的区别写成：对话历史不是被动记录，而是可控状态变量，用来看对齐模型如何在自回归条件下穿过安全边界。

STAR 把多轮安全行为写成潜在状态沿对话轨迹的转移。历史是该状态的可观察代理；作者把潜在状态当作解释用的分析构造，干预只作用在可观察历史上。

问题设定

交互为 T 轮。每轮发提示，模型作答，历史随之更新：

r_t = M(H_t−1 ⊕ p_t), H_t = H_t−1 ∪ {(p_t, r_t)}

该式表示响应由既有历史与当前提示自回归生成，历史是二者的累积。

• 轨迹信号：评审 J 把查询和响应打到 1–5 分。分析对象是 J(q, r_t) 沿轨迹的变化，而不只是二元成败。
• 边界假设：作者假设状态空间被分成拒答区与依从区。多轮交互可诱导有方向的轨迹穿过边界，而不依赖单条对抗提示。z_0 指任何初始化干预之前的状态。
• 分解用途：两阶段可分别消融、在固定最终查询时改历史，并做逐轮表示跟踪。

状态初始化

目标是保留原查询的语义意图，同时减弱即时安全激活，使初始状态更靠近边界。三部分都由辅助模型 M_A 实现。

• 语义保持的软化：直接提出安全关键查询通常得到强拒答。M_A 生成候选集，再用句向量余弦选出最对齐的一条：

q₀ = argmax_{c ∈ C} cos(ϕ(q), ϕ(c))

φ 为句向量，论文举例 BERT 的 [CLS]。作者将其解释为降低隐式安全激活，同时保留语义。

• 查询相关角色：由 M_A 按原查询生成人设。论文写明角色提示指定与查询相关的职业身份和正当用途框架，并在后续各轮保持。
• 轮次模板：每轮提示由角色、已累积历史和当前子查询按固定格式拼接，带角色标记和分隔符。

状态演化

初始化之后，用角色条件执行和历史层干预调节轨迹；作者称二者可独立去掉。

• 逐轮执行：目标模型对模板提示作答，评审给出当轮分数，并作为后续生成的反馈。作者称不优化显式目标，而是由辅助模型按当前历史、分数和响应模式启发式生成下一查询，并保持与原查询的语义对齐。附录 B、C、D 给出软化、角色生成和评审的完整提示词。
• 历史筛选：作者观察到显式拒答会在后续轮强化防御。响应按分数分为完全拒答、部分拒答、弱依从、强依从、完全依从，对应 1 到 5。分数为 3 或 4 时保留原回复；为 1 或 2 时，写入历史的是不强化防御措辞的良性替代。分数为 5 则轨迹终止，不再更新历史。该操作只改条件上下文。
• 自适应重试：分数差为当轮分减上一轮分。差为负时，写入历史前最多重试 K 次；差不为负时，改用更保守的延续提示。作者称之为保持动量，以降低重新激活防御的可能。

实现与判定

• 辅助模型：默认 Qwen2.5-32B-Instruct。作者称它是通用 helpful-only 模型，没有专门的红队微调，只负责实现交互协议。
• 默认超参：最大轮数 7，违规阈值 5，重试预算 3；软化生成 5 个候选，句向量用 BERT-base-uncased。
• 指标：SFR 是轮数预算内达到评审分 5 的查询百分比。Token Cost 是目标模型在达到该分数前处理的平均输入 token 数。

实验设置

• 目标模型：闭源 GPT-4o、Claude 3.5 Sonnet、Gemini 2.0-Flash；开源 LLaMA-3-8B-Instruct、LLaMA-3-70B-Instruct。Table 1 简写为 Llama 3-8B-IT、Llama 3-70B-IT。
• 数据：HarmBench 精选 50 条，覆盖非法活动、仇恨言论、恶意软件生成及相关风险；JailbreakBench 100 条人工核验指令，带类别标注。
• 辅助模型：轨迹构造默认 Qwen2.5-32B-Instruct；软化选句用 BERT-base-uncased。附录 E 另测 Qwen2.5-7B-Instruct。
• 评审：GPT-4o 给每轮打 1–5 分，成功阈值为 5。作者称规则与 X-Teaming 相同，并加入更全的禁止用途政策；附录 D 给出完整提示词。GPT-4o 同时是被测模型。论文未报告与人工标注的一致性，也未说明评测 GPT-4o 时是否换实例。
• 协议与指标：除非另说明，最大轮数 7、阈值 5、重试 3、软化候选 5。指标为 SFR 与 Token Cost。温度实验中目标模型保持确定性。
• 基线：单轮 GCG、PAIR、CodeAttack；多轮 RACE、CoA、Crescendo、ActorAttack、X-teaming。作者称在 LLaMA-3-8B-Instruct 上复现 X-teaming 得到一致 SFR，其他模型的 X-teaming 引自原文。

主结果

Table 1，HarmBench，SFR（%）：

Swipe horizontally to read the table

模型	STAR	X-teaming	ActorAttack	CodeAttack
GPT-4o	94.5	94.3	84.5	70.5
Claude 3.5 Sonnet	74.0	67.9	66.5	39.5
Gemini 2.0-Flash	96.1	87.4	42.1	未报告
Llama 3-8B-IT	89.0	85.5	79.0	46.0
Llama 3-70B-IT	85.5	84.9	85.0	66.0

• 作者称静态单轮评测下被测模型有非平凡稳健性，而 STAR 轨迹下该稳健性下降，并可快速、可复现地出现安全崩溃。作者据此认为决策边界不是固定的。Gemini 的单轮格子在 Table 1 为“–”。
• 作者称同一协议下 STAR 的 SFR 高于先前多轮基线。在 Gemini 2.0-Flash 上，作者称比 X-Teaming 高 8.7 个百分点，比 ActorAttack 高 50 个百分点以上，并解释为结构化状态演化，而不是对分解子查询做大规模随机搜索。
• 多轮基线并非每格都高于单轮：GPT-4o 的 CoA 为 17.5%（Table 1）。RACE 只报告 GPT-4o 为 82.8%，其余未报告。论文未解释这两处。

组件消融

Figure 2 与 §5.2：JailbreakBench，目标 LLaMA-3-8B-IT，每次去掉一个组件。图中纵轴为 Performance Drop (SFR %)。

• 历史累积：去掉后 SFR 下降 25.5%，为各组件中最大。作者称没有历史时模型被反复重置到默认对齐状态，形不成有方向的轨迹。
• 重试与反馈：去掉自适应重试下降 19.7%，去掉基于动量的反馈控制下降 14.7%（图中标为 State Feedback）。作者称前者会把拒答留在历史里，后者会使轨迹退回防御区。
• 初始化：去掉查询相关角色下降 17.8%，去掉语义保持软化下降 11.6%。作者称二者用于把潜在状态放到决策边界附近；缺少时轨迹从拒答区深处开始。

历史因果

§5.3 固定最终查询并扰动历史。正文和 Figure 3 图注未给出各扰动分数；附录 F 写明打乱顺序用 3 个随机种子取平均，但未列出平均分。§5.3 未写明目标模型。

• 顺序与长度：作者称打乱场景顺序会降低依从，因而绕过依赖路径而不只依赖内容；截断历史也会降低依从。只留最后两个场景的依从低于只留最后一场景。作者认为去掉早期铺垫后，中间轮更像干扰演化的噪声。
• 拒答注入：在不同位置放入拒答会降低依从。作者称效应在轨迹较后、或替换初始场景时最强，拒答像经自回归条件持续偏置后续生成的状态信号。
• 作者结论：第 T 轮依从依赖诱导出的轨迹，而不只依赖最终查询。作者称历史是有因果作用的状态算子，因此历史筛选对 STAR 是关键的。

表示分析

§5.4 全部在 LLaMA-3-8B-IT 上，读取白盒隐藏状态。

• 拒答方向：沿 Arditi et al. (2024) 的拒答方向做投影。作者称直接有害提示在 Layer 12 附近有激活峰，STAR 轨迹则在全网络压低拒答激活。末层投影从静态原提示的 2.35 到第 1 轮后的 0.13、第 2 轮 0.08、第 3 轮 -0.0081。作者称 X-Teaming 与 ActorAttack 的最强轨迹仍保持为正的拒答投影；正文未给二者的投影数值。Figure 4 图注称最大分歧约在 Layer 12；转写文本不含曲线坐标。
• t-SNE：Figure 5 为末层表示，图注称各轨迹从同一 z_0 出发。作者称 STAR 先大幅离开拒答区域进入依从区域，再在依从区域内小步；X-Teaming 与 ActorAttack 位移更短、靠近边界并反复接近拒答区域。转写文本看不到坐标或簇间距离。
• 角色锚点：作者称角色条件常引起突变而非渐变，命名实体像表示锚。附录 A 正文写用提示嵌入与生成 token 表示的余弦相似度，并称 Figure 6 在命名实体处有尖峰；Figure 6 与 Figure 7 的图注写的是隐藏状态与依从结果的估计互信息。作者称锚点激活后生成转向角色一致性，安全条件变弱。

其他消融与分析

• Table 3，JailbreakBench，列顺序为 LLaMA-3-8B、GPT-4o、Gemini 2.0-Flash：STAR 的 SFR 为 94.0、96、100，Avg Token Cost 为 29K；ActorAttack 为 37.5、46、42 与 15K；X-Teaming 为 85.5、94、86 与 37K。表未说明该 token 平均的汇总单位，也未含 Claude 与 70B。
• Table 2：辅助模型温度 0.2、0.7、1.0 的 SFR 为 88.0%、89.0%、88.0%，目标模型保持确定性。该表未写目标模型与数据集。作者称崩溃不由采样随机性驱动。
• Table 4，目标 LLaMA-3-8B-IT：Qwen2.5-32B 在上述三档温度为 88%、89%、88%；Qwen2.5-7B 为 84%、88%、82%。作者称差距小，0.7 时二者同为 88%，7B 对温度更敏感。
• Table 1 其余单轮：GPT-4o 上 GCG 12.5%、PAIR 39.0%；Claude 3.5 Sonnet 上二者均为 3.0%；Llama 3-8B-IT 上为 34.5% 与 18.7%；Llama 3-70B-IT 上为 17.0% 与 36.0%。Crescendo 为 46.0%、50.0%、60.0%、62.0%，Gemini 未报告。

作者指出的局限与后续方向

• 轨迹范围：作者称 STAR 是受控诊断视角，并不声称枚举全部可能的交互轨迹（附录 H）。
• 内部动态：作者称也不声称捕捉模型内部动态的全部复杂性（附录 H）。
• 更长交互：未来工作可将该视角扩展到更长时程交互（附录 H）。
• 多模态：未来工作可扩展到多模态设定（附录 H）。
• 状态防御：未来工作可研究主动监控并调节对话状态的防御机制（附录 H）。
• 安全不变量：作者称如何在演化上下文上强制安全不变量，仍是开放问题（附录 H）。

实验覆盖范围

• 主实验目标为 GPT-4o、Claude 3.5 Sonnet、Gemini 2.0-Flash、LLaMA-3-8B-Instruct、LLaMA-3-70B-Instruct（§4、Table 1）。
• 数据为 HarmBench 精选 50 条与 JailbreakBench 100 条；默认最大轮数 7、重试 3、软化候选 5，成功阈值为评审分 5，评审模型为 GPT-4o（§4、附录 D）。
• 组件消融在 JailbreakBench、LLaMA-3-8B-IT 上（§5.2、Figure 2）。拒答方向、t-SNE 和互信息分析在 LLaMA-3-8B-IT 的白盒隐藏状态上（§5.4）。§5.3 未写明历史因果测试的目标模型。
• 主实验辅助模型为 Qwen2.5-32B-Instruct；附录 E 在目标 LLaMA-3-8B-IT 上另比较 Qwen2.5-7B-Instruct。Table 1 中除 LLaMA-3-8B-IT 外的 X-teaming 数字引自原文（§4）。
• 论文未报告主 SFR 的重复次数，也未报告评审与人工的一致性。附录 F 只写明历史打乱用 3 个种子，未给出分数。

作者把多轮安全失败写成对话状态沿轨迹演化的问题，并用 STAR 做受控诊断，而不是优化单条对抗提示的强度。

• 问题：孤立查询上的拒答，回答不了对齐边界在多轮、black-box 交互中是否仍固定。作者假设失败来自靠近边界的初始化，以及模型条件于自身先前回复后的自强化。
• 做法：辅助模型做语义保持软化和角色生成；模板把角色与历史接进每一轮。评审分控制历史筛选和重试：1 分或 2 分的轮次在条件上下文中换成良性替代，5 分则停止。默认轮数预算为 7，辅助模型为未经红队微调的 Qwen2.5-32B-Instruct。
• HarmBench：STAR 的 SFR 在 GPT-4o 上为 94.5%，Claude 3.5 Sonnet 为 74.0%，Gemini 2.0-Flash 为 96.1%，Llama 3-8B-IT 为 89.0%，Llama 3-70B-IT 为 85.5%（Table 1）。作者称高于同表多轮基线，并称 Gemini 上比 X-Teaming 高 8.7 个百分点。
• 其他测量：JailbreakBench 上，STAR 对 LLaMA-3-8B、GPT-4o、Gemini 2.0-Flash 的 SFR 为 94.0%、96%、100%（Table 3）。去掉历史累积后，LLaMA-3-8B-IT 的 SFR 下降 25.5%（Figure 2）。该模型末层拒答投影从静态提示的 2.35 到第 3 轮的 -0.0081（§5.4.1）。
• 作者结论：对话历史是主动的状态转移算子，静态评测与轨迹级对齐之间有缺口。影响声明建议同时看角色初始化，以及拒答方向被压低和角色耦合增强是否一起出现；该建议没有对应的防御实验。附录 H 称尚未穷尽轨迹和内部动态。