研究者提出序列马赛克攻击并给出防御理论

如何阻止序贯马赛克攻击，同时仍对良性请求给出有用回应。

• 场景：交互是多轮的，回应是否安全可依赖前文而不只是当前提示词。马赛克把有害目标拆成单独无害、组合有害的片段；逐轮按常规定答，回应集合仍可能推进该目标（Figure 1）。作者称这与逐渐升级不同，片段不必越来越有害。
• 现有不足：作者称，一般而言，任何固定长度的近期提示窗口都不足以同时保证零失败和正的良性有用性，相关信息可以出现在窗口之外。只在恶意博弈里求均衡时，一律拒答即可达到最大安全收益，但良性有用性为零。
• 观察：若在线状态能保留“此刻作实质回答是否可能导致失败”，并满足拒答安全与有用性相容，则可同时零失败且有正的良性有用性。
• 威胁模型：
  • 目标：恶意类型上阻止 Fail 为 1 的完整记录；攻击方要使记录有害，即便每轮 LocalBad 为 0。良性有用性 B 单独计算，需要有用回应时拒答不得分。
  • 知识：不完美信息。攻击者知道潜在类型 ω 并有完美回忆；防御者不知道类型。安全与有用性都取最坏类型，不按先验取期望（贝叶斯变体在附录 A.2）。
  • 能力：视界 N 固定，每轮从有限字母表选提示词。开环攻击者可忽略历史、强制给定前缀。协调多方可写成单一联盟攻击者（附录 A.1）。
  • 受害系统：防御者选回应，字母表含拒答 ρ。观测分为无状态（仅当前提示）、最近 h 个提示、完美回忆，或 watchman 的在线状态。
• 提出：马赛克防御的博弈刻画与 watchman；并在三个冻结 MoE 上训练分角色 LoRA，用多轮自博弈同时更新攻击者与防御者。经验部分不实现 watchman。

安全、越狱与红队

• 人类反馈：Bai 等（2022）、Ouyang 等（2022）、Dai 等（2024）用人类反馈抑制有害行为。作者称这类反馈盖不住攻击空间，后续工作用模型生成并搜索对抗提示（Perez 等，2022）。
• 搜索与自适应：Mehrotra 等（2024）剪枝候选越狱；Hong 等（2024）同时奖励成功与新颖性；Jain 等（2023）研究自适应攻防。作者称计算成本仍是问题（Howe 等，2025）；Xhonneux 等（2024）改在连续嵌入空间训练。
• 自博弈：Liu 等（2026）让攻防在线共同演化。Wen 等（2026）用全参数更新拆开角色；Tan 等（2026）再加入评估者。引言转述 Wallace 等（2026）报告以攻防自博弈训练 GPT-Red，并用于对抗训练 GPT-5.6。

参数高效适配

• LoRA：Hu 等（2022）冻结预训练模型并学习低秩更新。后续包括量化（Dettmers 等，2023）、动态分配秩（Zhang 等，2023）和面向安全对齐的适配（Li 等，2025）。
• 红队适配：Ziakas 等（2025）也用基于 LoRA 的红队适配。作者称本文实验改为在共享冻结骨干上分别训练攻击者与防御者适配器。

多轮攻击与共同演化

• 前作：作者称本文建立在 SELF-REDTEAM（Liu 等，2026）与 Anchored Bipolicy Self-Play（La Malfa 等，2026）上，把共同演化的攻防训练扩到序贯马赛克。
• 多轮越狱：Crescendo（Russinovich 等，2025）逐步升级对话；JigSaw（Yang 等，2024）把有害请求分到多轮。作者称马赛克的差别是片段可在孤立时保持无害，伤害来自组合；并且共同训练防御者，而不是只做静态评测。
• 非零和：Paulus 等（2026）研究非零和自博弈。作者称本文仍刻画零和恶意博弈中安全且有用所需的信息，并给出指数状态数与无结构黑盒下的指数查询。

基线与基准

• 基线：冻结基座；附录 H.2 改编 PAIR（Chao 等，2025）做四条件对照；附录 H.4 用 Crescendo 测训练中未见的多轮结构。
• 基准：自建 WildMosaic；AdvBench（Zou 等，2023）；WildJailbreak（Han 等，2024）。

作者把本文定位为：说明安全且有用的防御要把任意早的安全信息在线带下去，并把角色分离的 LoRA 自博弈用到马赛克攻防。

watchman 是防御者的在线状态，不是额外玩家；经验训练则在冻结骨干上用分角色 LoRA 做多轮自博弈，并不实现该状态机。

序贯马赛克博弈

• 要素：视界 N≥1。攻击者每轮选 xt，防御者选 yt，回应字母表含拒答 ρ。类型 ω 属于恶意或良性；攻击者知道 ω，防御者不知道。恶意类型由攻击策略对抗选取，保证须对每个恶意类型成立；良性有用性也对每个良性类型取最坏。
• 观测：无状态只看当前提示；完美回忆看全历史。watchman 的观测是 O_t^W(h_t⁻)=(x_t,W_t(h_t⁻))，状态由确定性在线更新，不能每轮重算全历史的任意函数。常数状态退回无状态；递归存下全历史则回到完美回忆。
• 伤害与收益：Failω 是记录级谓词，LocalBadω 是轮级谓词。马赛克指存在记录使每轮 LocalBad 为 0 但 Fail 为 1。恶意侧防御收益在失败时为 −1、否则为 0，攻击者得相反数。良性类型 Fail 恒为 0，有用性 B 在 0 到 1 之间。安全目标写成 V_ω(σ_A,σ_D)=−P[Fail_ω(τ)=1∣ω]。有限博弈的值在 −1 到 0 之间；受限观测不必有完美回忆，作者用纯计划上的混合策略陈述该值（附录 A.3）。

无记忆与有界窗口

• 歧义片段：同一提示可出现在良性前缀（实质回答才有正有用性，拒答则有用性为 0）和恶意前缀（实质回答则失败，拒答则不失败），而无状态防御者在该轮都只看到这个提示；恶意侧该片段对一切回应局部安全。条件对其他轮的回应全称量化。
• 结论：攻击者可开环发出规定前缀（Lemma B.1）。Theorem 4.1：若存在歧义片段，无状态防御者不能同时零失败，又对强迫良性前缀的开环攻击者有正有用性。若每个有用良性交互都把该片段当作必要轮，零失败无状态防御的最坏良性有用性为 0（Corollary B.1）。
• 窗口：h-局部防御只看最近 h 个提示，不含自己过去的回应，以免用回应把早先信息带下去。Theorem B.1：对任意 1≤h<N，存在只在第 1 轮不同的两条开环序列，使第 N 轮回应分布相同，因而不能同时零失败与正有用性。

Watchman 的条件与代价

• 标签：UnsafeAns 为 1，当且仅当存在恶意类型与延续，使当前实质回答、其后全程拒答，记录仍然失败。精确安全分离要求相同状态有相同 UnsafeAns。良性完备要求每个良性有用历史的 UnsafeAns 为 0。二者独立。
• 假设与策略：假设 1：全程拒答的记录对每个恶意类型都不失败。假设 2：到达良性有用历史的安全观测上，存在共同实质回应，使相应良性记录的有用性至少为某个 β>0。Theorem 5.1：两假设下，精确安全分离且良性完备的 watchman 可零失败；若以正概率到达良性有用历史，则有用性为正。策略是风险状态拒答、安全状态给相容回应。
• 状态与查询：Theorem D.1：对每个 m≥1 且 2m≤N，存在拒答安全的马赛克博弈，使精确安全分离的确定性在线 watchman 在第 m+1 轮至少 2^m 个状态，且 2^m 可达。作者称这是状态数不是比特数，该构造只需 m 比特。Theorem D.2：对无结构黑盒恶意性预言机，精确检测的确定最坏查询为 2^N；双侧错误至多 1/3 时，最坏期望查询为 Ω(2^N)，下界为三分之一乘 2^N。若完成关系单调，查询全部保留项一次即可。
• 近似与学习：最坏假阴率 δFN、假阳率 δFP 下，N 轮失败概率至多 NδFN；若有用性按轮可加，期望有用性至少为精确 watchman 的 (1−δFP) 倍（附录 D.3）。作者称下界本身不意味着难学习：含该 2^m 构造的类可从标注样本学习（Proposition D.1）。分布误差可以任意小，最坏失败概率仍可为 1（Proposition D.2）。观测受限且缺少反例时，最坏安全证书可以要求更多信息（Theorem D.4）。

均衡与约束式有用性

• 退化：Proposition 6.1：假设 1 下，每个信息集都拒答的策略对一切攻击者与恶意类型得到收益 0，是 maximin 最优，博弈值为 0，并与任意攻击者最优回应构成纳什。作者称只在恶意侧自博弈，可能收到零失败但无良性有用性的均衡。
• 约束问题：在零失败防御者中最大化最坏良性有用性。Theorem E.1：在假设 1、精确安全分离与良性完备下，watchman 防御可行；加上假设 2，相对一律拒答有正改进。若再假设良性有用性按轮可加，且良性路径上的风险观测可被恶意开环到达、实质回答时必然失败，则它在该约束问题上最优。

经验训练流程

• 更新：把 Anchored Bipolicy Self-Play 扩到多轮马赛克。攻击者与防御者 LoRA 参数不相交，用 GRPO 更新。附录 F.2 称角色分离去掉共享坐标上的梯度互撞，但不去掉轨迹分布上的耦合，也不给出全局收敛、安全或鲁棒性。
• 裁判信号：每个恶意种子生成一组多轮对话。裁判给终端裁决，以及每轮有害进展分 st∈[0,100]，归一化后作逐轮差分。裁决把 DEFANGED（攻击者未构成真实威胁）与防御成功分开。PARTIAL 只作训练中的中间反馈；正文 ASR 只计 SUCCESS。
• 奖励：稠密项权重 w=1.5，攻击者与防御者符号相反，终端裁决奖励加在最后一段。作者称这受势函数塑形启发（附录 F.1），但实现不满足终端势为常数，因此不声称均衡不变。附录 G.3 把有逐轮分数的回合奖励拆成零和部分加只依赖终端裁决的公共部分。
• 数据：WildMosaic 含 915 条恶意提示（AdvBench 520、forbidden-question 集 390、另 5 条）和 1000 条合成良性提示。训练前各留出 100，余 815 与 900。三模型的步数、组大小和 top-k 不同（Table 2）；论文称实验评的是一组训练配方，而不是隔离某一种 top-k 的因果效应。

实验设置

• 模型：Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it（Table 1 写作 Gemma4-26B-A4B）、DeepSeek-V2-Lite（16B-A2.4B；附录 H.1 写作 DeepSeek-V2-Lite-Chat）。各在冻结骨干上训练攻击与防御 LoRA。Qwen 适配器约 30–70M 参数，约骨干的 0.2%–0.3%。
• 数据与轮次：恶意/良性各留出 100，训练池 815 与 900。评测 WildMosaic 留出集、AdvBench、WildJailbreak。经验攻击按三轮组织（附录 H.2、H.5）。Section 7 称留出集为分布内，后两者为分布外；附录 G.1 称 520 条 AdvBench 中 475 在训练池、45 在留出集，因而 AdvBench 是分布内评测。
• 对照：Table 1 的 Base 是冻结模型 ASR；攻击者列是 LoRA 攻击者对基座防御；防御者列是基座攻击者对 LoRA 防御。附录另有 PAIR 改编与 Crescendo。
• 指标：ASR 只计 SUCCESS，不计 PARTIAL。良性拒答单独报告。Table 1 的 ∆ 为百分点：攻击者是两者 ASR 之差，防御者是 Base 减去防御者 ASR。
• 裁判：Qwen 与 Gemma 用对应冻结骨干的独立推理实例；DeepSeek 作裁判很差，改用 Qwen3.6-35B-A3B。作者称 DeepSeek 自裁判会出现不稳定 rollout，包括 harness 提示泄漏、可见 think 标签、照抄种子和偏离目标。论文未报告与人工的一致性，也未写 ASR 的数值阈值。
• 重复与检验：Table 1 为三个 checkpoint 的均值和标准差。AdvBench 与 WildJailbreak 上，每个 checkpoint 单独做双侧精确 McNemar（α=0.05）；Qwen 与 Gemma n=520，DeepSeek n=300。检验不合并成对均值的检验。WildMosaic 未报告该检验。

主结果

据 Table 1，WildMosaic held-out。攻击者列对基座防御，防御者列对 LoRA 防御。括号为三个 checkpoint 的标准差；Base 列论文未给标准差。

Swipe horizontally to read the table

模型	Base ASR	LoRA攻击者 ASR	LoRA防御 ASR
Qwen3.6-35B-A3B	0.170	0.290 (0.020)	0.077 (0.021)
Gemma4-26B-A4B	0.630	0.743 (0.012)	0.485 (0.058)
DeepSeek-V2-Lite	0.075	0.173 (0.024)	0.046 (0.018)

• 方向与检验：作者称三个骨干、三个基准上均值变化方向一致。Table 1 把三个 checkpoint 都通过检验的 ∆ 标为粗体，一或两个标为 †。防御者在 Qwen 的 AdvBench 与 WildJailbreak、Gemma 的 AdvBench 为粗体；Gemma 的 WildJailbreak 防御与 DeepSeek 的 AdvBench 两侧为 †。攻击者粗体出现在 Gemma 的三套基准；Qwen 仅 AdvBench 为 †，WildJailbreak 无标记。作者称 DeepSeek 每角色六次比较中一次通过检验。
• 其余格子：防御者 ∆（百分点）在 AdvBench 上为 Qwen +15.3、Gemma +17.4、DeepSeek +3.8；WildJailbreak 上为 +8.1、+5.9、+2.2。攻击者 ∆ 在这两套上小于 held-out：Qwen AdvBench +4.0、WildJailbreak +2.4；Gemma +10.4 与 +8.7；DeepSeek +2.1 与 +2.4（均据 Table 1）。作者另写 Qwen 的相对变化：攻击者优势 AdvBench +17.9%、WildJailbreak +15.6%；防御 ASR 分别降 68.3% 与 52.6%。作者称许多 WildJailbreak 种子无法构成有效马赛克，或即使完全配合也得不到信息，因而给任意攻击者的 ASR 加上限。
• 拒答权衡：作者称不应把更低 ASR 单独当成更好的辨别。WildJailbreak 上良性拒答，Qwen 从 1.4% 到 6.7%，Gemma 从 0.1% 到 10.6%（Table 1）。DeepSeek 的该格为未给出。AdvBench 上 DeepSeek 基座良性拒答已是 21.7%，训练后 22.0%。

对其他攻击协议的评测

• PAIR 改编：附录 H.2 只报告 Qwen，每条件一轮确定性运行，AdvBench 与 WildJailbreak 各 520 条恶意种子，另各 520 条良性提示。汇合后，基座攻击者对基座防御的 ASR 为 0.186，对训练防御为 0.082（相对降 56.0%，p=3.0×10^−13）；训练攻击者对基座防御为 0.235，对训练防御为 0.109（相对降 53.7%，p=1.3×10^−15）。训练攻击者相对基座攻击者，对基座防御汇合 ASR 相对 +26.4%（p=4.1×10^−3）。良性拒答 2.1% 到 7.4%（p=3.2×10^−9）。
• Crescendo：附录 H.4、Table 5，n=260 对配对恶意对话，攻击者为本模型基座，最多 10 轮升级，拒答后最多回溯改写 10 次。Gemma 从 0.73 到 0.61（p=0.003）；Qwen 从 0.28 到 0.27（p=0.82）；DeepSeek 从 0.065 到 0.058（p=0.85）。作者称向这种结构不同的多轮攻击迁移依模型而异。
• 与训练协议的差别：PAIR 改编把迭代放进防御者保留的单段三轮对话，不用 PAIR 的提前停止或 best-of-k。Crescendo 的升级轮数上限与训练用的三轮马赛克不同。

拒答时机、策略与危害类别

• Figure 2：图注写灰条为冻结基座、蓝条为自博弈防御，左为 AdvBench、右为 WildJailbreak，类别由 Qwen3.6-35B-A3B 限制在八个固定标签上。图中列出的类别包括武器与爆炸物、网络与黑客、欺诈、毒品与物质、仇恨与骚扰、错误信息与操纵、隐私与监视，以及其他。作者称两模型在两基准上几乎每个主题的越狱率下降。正文给出的例外是 Qwen 在 AdvBench 的 Drugs & Substances 从 6% 到 18%。转换文本未给出其余柱高。
• 拒答随轮次：Table 7，WildJailbreak，面对基座攻击者。Qwen checkpoint 55 的拒答率从 27/43/54 到 42/62/74；Gemma checkpoint 65 从 3/4/7 到 2/8/22；DeepSeek checkpoint 80 从 13/5/2 到 18/11/9。作者称 Qwen 与 Gemma 随轮上升，DeepSeek 随轮下降；训练把 Qwen 的拒答从第 1 轮抬高，把 Gemma 的上升推到更后，并部分拉平 DeepSeek 的下降。
• 攻击形态：附录 H.5 不引提示原文。作者称 Qwen 训练后封面故事和向种子靠拢的用词更少；Gemma 从评价式转向程序式、从征求意见转向索要产物；DeepSeek 基座常见生成失败，训练后虚构开场和封面故事增加。人格覆盖约 0.2% 情节，显式跨轮引用不超过 2.3%。作者称学到的马赛克主要不依赖这两者。

其他消融与分析

• 三轮攻击约 150–230 个攻击者 token；防御回应约 Qwen 2000、Gemma 3200、DeepSeek 1000。逐轮攻击 token：Qwen 53、81、92；Gemma 30、59、71；DeepSeek 37、62、72（附录 H.5）。
• 梯度余弦（附录 H.3，Qwen step 65，250 条 AdvBench 加 250 条良性）：共享骨干在恶意提示上均值 −0.00998（z=−2.53，66% 情节为负）；独立 LoRA 坐标 −0.00012（p=0.13）。作者称共享参数上测到冲突，适配器坐标上未检出系统性反齐。
• 分解流程：40K 条中 15,510 条（38.8%）通过意图等价；生成模型为 Qwen3.6-35B-A3B，裁判为 Qwen3.5-122B-A10B（附录 G.1）。该研究与 WildMosaic 训练集无提示重叠。
• 附录 H.5：良性过拒 DeepSeek 至多 +2.7 个百分点，Qwen +5 到 +6，Gemma 某配置达 17.1%。论文未说明该 17.1% 是否与 Table 1 的 10.6% 为同一 checkpoint。
• 标题 Qwen 运行 65 步，第 40 步 (kA,kD) 从 (2,2)、KL 系数 0.03 改为 (5,5)、系数为 0；Gemma 代表配置 80 步，DeepSeek 90 步（Table 2）。论文称不把 top-k 当作被隔离的因素。
• 错配情节对照：共享骨干上，恶意提示的跨情节余弦为 +0.00095，同情节为 −0.00998；去掉奖励、只提高自身文本似然后，余弦变为 +0.05935（附录 H.3）。

作者指出的局限与后续方向

• 可学习的 watchman：Section 8 写后续应研究实际学到的 watchman。
• 交互长度：同一节写应研究 watchman 随交互长度的缩放。
• 结构化恶意性：同一节写应研究结构化恶意性下的复杂度。
• 收敛：同一节写应为多轮对抗自博弈给出收敛保证。
• 分解标注：附录 G.1 写分解研究完全基于模型，没有人工标注；裁判只比较原目标与拼接后的意图是否实质相同，不单独核验每个片段孤立时是否无害。
• 38.8% 的含义：附录 G.1 写该比例应理解为这一分解器–裁判流程的性质，而不是 WildJailbreak 目标本身可作马赛克分解的比例。

实验覆盖范围

• 模型与基准：Section 7 与 Table 1 评测 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it、DeepSeek-V2-Lite（16B-A2.4B），基准为 WildMosaic 留出集、AdvBench、WildJailbreak；主表为三个 checkpoint 的均值和标准差。
• 检验：AdvBench 与 WildJailbreak 的 McNemar 按 checkpoint 分开做，Qwen 与 Gemma n=520，DeepSeek n=300，α=0.05；WildMosaic 未报告该检验（Table 1 注）。论文未报告裁判与人工的一致性。
• 其他协议：PAIR 四条件只报告 Qwen，每条件一轮确定性运行（附录 H.2）。Crescendo 三模型都有，n=260，攻击者为本模型基座，最多 10 轮升级（Table 5、附录 H.4）。
• 危害类别：Figure 2 使用八个固定类别，分类器为 Qwen3.6-35B-A3B。分解研究处理 WildJailbreak 的 40K 条目标，生成与等价判定分别用 Qwen3.6-35B-A3B 和 Qwen3.5-122B-A10B（附录 G.1）。
• 理论对象与经验对象：Section 3–6 分析的是给定视界和离散动作字母表上的 watchman；Section 7 评测的是多轮自博弈 LoRA。论文未报告已实现并评测的 watchman。

这篇工作同时给出序贯马赛克防御的博弈理论，以及冻结 LLM 上的分角色自博弈训练。

• 问题：有害目标可被拆成单轮局部无害、组合后有害的片段。固定近期窗口一般不能同时零失败并保持正的良性有用性；恶意零和博弈的均衡可由一律拒答达到，因而不保证有用。
• 理论：watchman 在线保留当前实质回答是否可能失败。在拒答安全、有用性相容、精确安全分离和良性完备下，作者给出零失败且正有用的防御；再加上按轮可加的有用性和风险可达，它在零失败约束中最优。精确状态数可到 2^m，无结构黑盒检测的确定查询可到 2^N；作者称这不等于该构造难学习，分布上的低错误也不等于最坏零失败。
• 实验：三个 MoE 上，攻击者与防御者各用一块 LoRA，以 GRPO 和裁判的终端裁决、逐轮有害进展分做多轮自博弈。ASR 只计 SUCCESS。WildMosaic held-out 上，Qwen 攻击 ASR 从 0.170 到 0.290，防御 ASR 从 0.170 到 0.077；Gemma 从 0.630 到 0.743 与从 0.630 到 0.485；DeepSeek 从 0.075 到 0.173 与从 0.075 到 0.046（Table 1）。作者称各骨干、各基准的均值方向一致，但 McNemar 结果因模型和角色而异。
• 权衡与例外：多项设置里良性拒答上升，WildJailbreak 上 Gemma 的训练防御为 10.6%（Table 1）。Qwen 在 AdvBench 的 Drugs & Substances 越狱率从 6% 到 18%。Crescendo 上 Gemma 从 0.73 到 0.61（p=0.003），Qwen 与 DeepSeek 的差异未检出（Table 5）。
• 作者的结论：均衡安全不必意味着有用，因此应在零失败中最大化最坏良性有用性。经验上自博弈会同时让攻击者更能引出有害回应、让防御者更抗攻击，包括作者所称的未见攻击目标；对结构不同的多轮攻击，迁移依模型而异。后续方向是可学习的 watchman、随交互长度的缩放，以及多轮自博弈的收敛保证。