对抗自蒸馏(ASD)
Adversarial Self-Distillation
作者提出对抗自蒸馏(ASD),用干净提示下的模型自身做教师做 on-policy 蒸馏;作者称在 JBB-100 上 BoA 低于 DAT,且能在顺从前缀后恢复拒答。
越狱攻击者把有害请求 x 改写为 x̃(加后缀、改写等),保持有害意图,目标是让模型给出实质帮助(comply);攻击池对最新学生状态有 white-box 访问;受害系统是安全对齐的 Qwen2.5-14B-Instruct 与 Llama-3-8B-Instruct;成功由 StrongREJECT 评分 >0.5 判定。
- 安全对齐模型平时会拒答有害请求,但对抗扰动可绕过防护;作者称基于模板拒答 SFT 的对抗训练(如 DAT)在被注入顺从前缀(compliant prefill)后仍会继续顺从,即只会"安全进入"不会"恢复"。
- 提出 Adversarial Self-Distillation(ASD):学生在被攻击提示下采样回复,教师是同一模型在干净提示下的冻结副本,在学生实际访问的每个前缀上做 reverse-KL 分布匹配,并加 on-policy 良性锚点约束漂移;理论上给出恢复概率的转移界。
- 在 JBB-100 上,ASD-Qwen(it.5)BoA 14%、ASD-Llama(it.7)BoA 8%,均低于 DAT(44%、47%);MMLU/ARC 与基座相差 1.5 个百分点内;但 XSTest 合规率降至 .312/.440,作者称过度拒答代价仍存在。
- 作者指出机制依赖教师分布可靠、攻击池只覆盖仍能攻破的行为、良性锚点下最终模型仍大量误拒;实验仅覆盖两个开源骨干、单一训练种子,未报告种子方差与教师可靠性测量。
- 被测模型
- Qwen2.5-14B-InstructLlama-3-8B-Instruct
- 基准
- HB-advJailbreakBench (JBB-100)UltraChatXSTestMMLUARC-EasyARC-ChallengeFalseRejectPHTest
- 指标
- ASRBoAXSTest complianceMMLU/ARC accuracyrecovery probability
研究者提出对抗自蒸馏(ASD),把模型自身在干净提示下的拒答行为扩展到对抗扰动空间,用于应对能绕过安全对齐模型防护的对抗攻击。论文指出,受语言生成自回归特性影响,在模板拒答上做监督微调的对抗训练不一定教会模型拒答,经过对抗训练的模型在攻击者注入合规开头(compliant prefill)时仍会照做。ASD 以模型自身作为教师,即给定干净提示时默认拒答,或借助上下文中的额外指令拒答,再通过在策略(on-policy)采样,把这种拒答知识蒸馏给受攻击时的同一个模型,覆盖学生访问到的前缀,其中可能包括合规开头。作者称 ASD 取得了低于现有最先进防御的攻击成功率,多选准确率损失很小,并能在出现合规开头之后恢复拒答。
深度解读
这篇论文试图解决什么问题?
对抗训练后的模型被注入顺从前缀仍会顺从;作者提出 ASD 让学生在被攻击时访问的前缀上向干净提示下的自身教师学习恢复拒答。
核心问题:对抗训练(SFT 式)只教会模型"安全进入",没教会"恢复"——被注入顺从前缀(compliant prefill)后,经过对抗训练的模型仍会继续顺从。
- 问题场景:安全对齐模型在普通提示下会拒答有害请求,但对优化后缀、token 修改、改写等对抗扰动仍脆弱(论文引 Zou et al., 2023 等)。作者称这是语言生成自回归性质带来的特有问题。
- 现有方法不足:作者认为,SFT 式对抗训练只在固定拒答模板 ȳ 的前缀上提供监督,对齐带来的变化集中在输出前几个位置;Figure 1 显示 DAT 训练的 Qwen 在 1 个顺从 prefill token 后拒答率就降为 0,输出变成循环或提前停止(broken)。
- 核心观察:作者把问题拆成 Safe entry(从空前缀开始拒答)与 Recovery(从顺从前缀 w 处恢复拒答);普通评测只看前者,后者在固定参考回复的目标下不被约束(Proposition 1、2)。
- 论文提出:Adversarial Self-Distillation(ASD)——学生在被攻击提示下生成,教师是同一模型在干净提示下的冻结副本,在学生实际访问的前缀上做 on-policy reverse-KL 蒸馏,并配良性锚点;另给出恢复概率的理论分析(Proposition 3)。
- 威胁模型:
- 目标:让模型对有害请求给出实质帮助(comply)。
- 知识:攻击池构建时对最新学生状态有 white-box 访问(§3)。
- 能力:把 x 改写为 x̃(加后缀、改写等),保持有害意图不变。
- 受害系统:安全对齐的 Qwen2.5-14B-Instruct 与 Llama-3-8B-Instruct;成功由 StrongREJECT 评分 >0.5 判定。
有哪些相关研究?
相关工作分四组:对抗训练与越狱攻击、浅层安全与恢复、on-policy 蒸馏、安全评测;作者称 ASD 的区别在于监督施加在学生被攻击后实际访问的前缀上。
越狱攻击与对抗训练
- GCG(Zou et al., 2023)优化离散后缀,PAIR(Chao et al., 2025)用攻击模型迭代改写,AutoDAN(Liu et al., 2024)用遗传算法搜索;Best-of-N(Hughes et al., 2025)跨模态有效。
- 防御侧:HarmBench 的 R2D2(Mazeika et al., 2024)、连续攻击的 CAT(Xhonneux et al., 2024)、混合的 MixAT(Dékány et al., 2025)、扰动内部激活的 LAT(Sheshadri et al., 2025)与 ReFAT(Yu et al., 2025)、Circuit Breakers(Zou et al., 2024)。
- DAT(Hu et al., 2026)用扩散模型生成的多样有害提示扩大训练分布;作者认为其外层优化仍受自回归性质限制,是本文主要对比对象。
浅层安全与恢复
- Priming/prefilling 攻击(Vega et al., 2024)显示顺从开头可击破拒答;Qi et al. (2025) 把脆弱性归因于对齐集中在输出前几个位置,并训练从有害前缀回到拒答的恢复样本。
- 论文称 Qi et al. (2025) 是最接近的先例,但 ASD 在学生采样的前缀上获得分布级反馈,而非依赖固定恢复数据集。
On-policy 蒸馏
- DAgger(Ross et al., 2011)、ImitKD(Lin et al., 2020)、GKD(Agarwal et al., 2024)、MiniLLM 的序列级 reverse KL(Gu et al., 2024)、DistiLLM 系列(Ko et al., 2024, 2025)激励了本文的学生轨迹与分布反馈;论文指出它们不处理对抗安全。
- 自蒸馏(Zhao et al., 2026; Hübotter et al., 2026)用同一检查点做教师;并行的 OPSA(Fu et al., 2026)也从同模型冻结副本蒸馏,但师生收到同一请求、仅上下文不同,而 ASD 针对学生收对抗样本、教师收原始请求的对抗设定。
安全评测
- HarmBench、JailbreakBench(Chao et al., 2024)提供标准化红队协议;StrongREJECT(Souly et al., 2024)评分有害信息含量;XSTest(Röttger et al., 2024)探测过度拒答。
基线与基准:对比基线为 DAT、LAT、Circuit Breaker(均用 released 检查点在同一 harness 下重测);训练用 HB-adv,评测用 JBB-100,效用用 MMLU、ARC-E/C、XSTest。作者定位:ASD 关注施加在生成回复上的训练信号,攻击覆盖被视为独立因素。
论文如何解决这个问题?
ASD 让学生在被攻击提示下采样,教师(同模型、干净提示、冻结)在学生访问的每个前缀上提供 next-token 分布,用压缩词表上的 reverse-KL 蒸馏,并加 on-policy 良性锚点。
整体思路:把"在被攻击状态下该怎么做"的监督,从固定拒答模板换成模型自身在干净提示下的安全分布,并在学生实际生成的轨迹上做 on-policy 匹配。方法名 Adversarial Self-Distillation(ASD)。
问题设定与形式化
- 攻击者把有害请求 x 映射为 x̃,目标最大化顺从期望;鲁棒训练为 min-max:外层更新模型保持安全,内层用攻击近似最坏输入。
- 恢复概率定义:rθ(x, w) = Pry≥ t ∼ πθ(·|x,w)[φx(w ⊕ y≥ t) = 1],即从长度 t−1 的前缀 w 继续、最终显式拒答原请求的概率;在顺从前缀 wC 上它衡量"恢复"。
自蒸馏设置
- 迭代式微调:每轮先评测、再对最新学生生成新攻击池,池内是 (x, x̃) 对;学生与教师从同一检查点 θ0 出发(教师 = 禁用 LoRA 适配器的起始检查点,轮内冻结)。
- 教师只收干净请求 x(可选加一条说明请求有害的系统指令,学生看不到);学生采样 y ∼ πθ(·|x̃),在每个前缀 y<t 比较双方 next-token 分布;上下文不蒸馏,两分支共享回复 token。
- 教师预过滤:教师对干净请求贪心回答若被判有害(StrongREJECT >0.5),该行为被丢弃。
训练目标
- token 损失为压缩词表上的 reverse KL:dK(pθ,t, q0,t) = ∑v ∈ St pθ,t(v) log (pθ,t(v))/(q0,t(v)) + p⊥,t log (p⊥,t)/(q⊥,t),其中 S_t 是教师概率最高的 K=100 个 token,其余并入一个尾部桶;含义是只在教师高概率 token 上把学生拉向教师。
- 对抗项 L_h 只对被判有害(StrongREJECT >0.5)且通过策略漂移检查(未裁剪似然比均值 <5)的轨迹生效,似然比裁剪到 [0.8, 1.2];总目标 L = L_h + λ_b L_b,λ_b = 1。
- 良性锚点:对 UltraChat 等良性提示,两分支收同一干净提示,在学生当前良性轨迹上做同一散度匹配,约束普通提示上的漂移;每次更新 8 条良性提示、每条采样 1 个回复(temperature 1)。
理论结果
- Proposition 1、2:固定参考回复的目标(SFT、DAT 的逐 token 惩罚)不约束训练未访问的顺从前缀上的恢复概率——两个策略训练损失相同,恢复概率可分别为 1 和 0。
- Proposition 3(恢复转移):|rθ(x̃,w) − rθ0(x,w)| ≤ √(K(w)/2),K(w) 是 w 之后完整续写的 KL;on-policy 采样的 token KL 之和是 K(w) 的无偏估计(Lemma 9)。作者同时说明该界只在教师能恢复且散度小时有信息量,且实现中的 stale sampling、有害路由、top-K 压缩等都使实际损失只是理想目标的代理。
实现要点
- LoRA(rank 64,α=128)作用于全部线性层,AdamW,Qwen 学习率 10−5、Llama 3×10−6;每次更新 8 个行为、每提示 4 个回复、temperature 1、至多 256 token;8 个 epoch,连续 5 次更新无路由轨迹则早停;种子 0,每配置一次训练。
论文做了哪些实验?
在 JBB-100 上 ASD 两骨干 BoA 均低于 DAT(Qwen 14% vs 44%,Llama 8% vs 47%),MMLU/ARC 保持,但 XSTest 合规率下降;prefill 实验显示 ASD 能恢复拒答而 DAT 输出崩坏。
实验设置
- 被测模型:Qwen2.5-14B-Instruct(ASD 5 轮)、Llama-3-8B-Instruct(ASD 10 轮、报告第 7 轮)、DAT+ASD(在 released DAT-Qwen 上再训 2 轮);基线为 released DAT、LAT、CB 检查点,全部在同一 harness 下重测。
- 数据:训练池用 HB-adv(100 个对抗训练行为),评测用不相交的 JBB-100(100 个有害行为);良性锚点用 UltraChat(Llama 另加各 250 条 FalseReject 训练拆分与 PHTest 无害部分);XSTest 250 条安全提示保持 held out。
- 攻击套件:GCG(250 步)、PAIR(20 候选)、BoN(1,000 扰动)、Direct sampling(每行为 1,000 条)、Inpainting(1,024 条冻结提示,LLaDA 生成)、AutoDAN(100 步,不计入 BoA)。
- 指标与评审:ASR_a 与 BoA(各攻击成功并集),由微调的 StrongREJECT 分类器对原请求评分 >0.5 判定;XSTest 由 Qwen2.5-14B-Instruct 按 XSTest judge prompt 评分,贪心解码、256 token 上限。
- 样本量与重复:N=100 行为;每条训练阶梯为单次运行(种子 0),论文明确说不估计训练种子方差。
主结果
据 Table 2(JBB-100,ASR 单位 %,效用为比例):
表格较宽,可左右滑动
模型 GCG PAIR BoN Direct Inpaint. BoA MMLU XSTest Qwen base 91 92 99 29 98 100 .789 .840 DAT-Qwen 6 35 1 1 11 44 .773 .500 ASD-Qwen (it.5) 0 3 0 1 11 14 .782 .312 DAT+ASD (it.2) 0 0 0 0 1 1 .755 .352 Llama base 59 70 100 37 99 100 .638 .800 DAT-Llama 2 38 0 0 15 47 .631 .424 LAT-Llama 11 56 0 4 92 96 .619 .528 CB-Llama 0 48 59 14 92 98 .636 .792 ASD-Llama (it.7) 0 0 3 5 0 8 .633 .440 - 作者称 ASD 在两骨干上 BoA 均低于 DAT,Qwen 上差距主要来自 PAIR,因此聚合优势依赖该攻击的实现与预算;Llama 上 ASD 在 BoN 与 Direct 上仍高于 DAT,聚合增益不代表每个攻击都更好。
- ASD 的 MMLU 与 ARC 与对应基座相差 1.5 个百分点内;XSTest 合规率低于 DAT(Qwen .312 vs .500)。
- 作者提醒:GCG/PAIR 上 0 只表示所评测的搜索未找到成功候选,不代表换随机性或更多搜索仍不成功。
顺从前缀后的恢复
- 测了什么:取基座模型自己产生的顺从回答(Qwen 59 条、Llama 55 条,30 个 JBB 行为),强制模型从前 n ∈ {0,1,2,4,8,16} 个 token 继续,每个前缀采样 8 条续写(Fig. 1、Fig. 6)。
- 结果:无前缀时两模型几乎都拒答;n=8 时 ASD-Qwen 直接拒答 63%、DAT 为 0%(DAT 39% broken、36% 顺从);作者称 ASD 在每个非零前缀长度上拒答/偏转率都高于 DAT,差距随前缀变长收窄。
- 例外(Llama,Fig. 6):ASD 与 DAT 的顺从率接近(n=8 时 9% vs 9%;n=16 时 13% vs 11%),DAT 的显式拒答反而更多(n=8 时 16% vs 6%);两骨干上 DAT 主要把拒答换成 broken 输出。
良性锚点与 SFT 消融
- 测了什么:Llama 上 2×2 消融(ASD/SFT × 有无锚点),一轮、用 Qwen 训练设置(Table 9)。
- 结果:XSTest 合规率 ASD 有锚点 .756、无锚点 .000;SFT 有锚点 .404、无锚点 .012;作者称去掉锚点在两种目标下都导致近乎全拒。SFT 三轮后训练行为上无攻击成功,但 XSTest 合规率降到 .036。
- 作者明确:该消融只支持"锚点在目标内部有用",不证明 ASD 优于 SFT——两者一轮后鲁棒性水平不同,比较需要匹配的鲁棒性工作点。
拒答多样性与 log-prob 探针
- 多样性(Table 3):10 万条 Direct 样本中 DAT-Qwen 的 Top-1 回复占 99.66%(仅 268 条不同),ASD-Qwen 为 0.01%(99,981 条不同);XSTest 上 DAT 多为 flat 拒答,ASD 几乎全是间接拒答。
- Log-prob 探针(Table 1):DAT-Qwen 自身签名拒答 +4.03 nats,其他签名 −32.8、通用拒答 −45.5、顺从 −105.8;ASD-Qwen 四列分别为 +1.04、+1.59、+0.75、−0.83。作者解读为 DAT 把概率集中到单一模板,ASD 让各类拒答一起上升;但作者说明这不是对理论界的直接检验。
其他消融与分析
- 迭代过程(Fig. 5、Table 7):Qwen 上 BoA 每个完整评测步都下降(90→22→14);Llama 降至第 7 轮(93→34→23→8),第 9、10 轮回升到 14、16。
- 攻击池收缩(Table 8):Qwen 保留攻击从 5,784(99 行为)降到 11(9 行为);作者称池收缩只说明训练集上更难攻破,需与 held-out 鲁棒性区分。
- XSTest 分类别(Table 4):ASD-Qwen 在 10 类中 8 类比 DAT 拒答更多,差异最大为 homonyms(.68 vs .20)、safe targets(.80 vs .36)、figurative language(.64 vs .28);作者称这提示对表面线索敏感,但不能据此认定机制。
- Harness 校验(Table 11):作者复测的 PAIR 普遍高于 Hu et al. (2026) 原报(如 DAT-Qwen 35% vs 0%),其余指标接近。
- GCG 重构检查(§E):在行为与后缀间插入空格会把 base-Qwen 的 GCG ASR 从 91% 降到 83%,报告值使用无分隔符的原始构造。
有什么可以进一步探索的点?
作者指出机制依赖教师可靠性、攻击池只覆盖仍能攻破的行为、过度拒答代价未解决;实验仅两个骨干、单种子。
作者指出的局限与后续方向
- 教师依赖:机制依赖信息量足的教师分布;§7 称学生恢复率已超过其第一轮教师,需要教师可靠性测量(§7 Discussion)。
- 攻击池覆盖:攻击池把训练重新加权到仍能攻破的行为,未访问的失败模式得不到纠正(§7)。
- 待做的对照:与匹配的 forward-KL、固定 rollout、context-steered 变体的比较仍是必要的,才能支撑因果性主张(§7)。
- 过度拒答:良性锚点只在一轮消融中防止近乎全拒,最终模型仍拒答许多普通请求;保持多选准确率不足以证明该代价已解决(§7)。
- 后续方向:在良性含义与安全相关词汇冲突的提示上测保持率、测更广泛的良性指令遵循、把评测样本与训练隔离、画鲁棒性–有用性曲线(§7)。
- 理论界条件:Proposition 3 的界只在教师能恢复且续写散度小时有信息量;实现中的 stale sampling、有害路由、逐轨迹平均、top-K 压缩都削弱小训练损失对 K(w) 的保证(§4 Limitations)。
实验覆盖范围
- 被测模型为 Qwen2.5-14B-Instruct 与 Llama-3-8B-Instruct 两个骨干,外加 released DAT/LAT/CB 检查点(Table 2)。
- 攻击评测覆盖 GCG、PAIR、BoN、Direct、Inpainting、AutoDAN 六种,评测基准为 JBB-100(N=100 行为),训练用 HB-adv(§5、§A)。
- 每条训练阶梯为单次运行(种子 0),论文未报告训练种子方差或置信区间(§A、§B)。
- 锚点消融只在一轮、Llama、Qwen 训练设置下进行(Table 9);prefill 诊断只用基座模型自产的 59/55 条顺从开头(§A)。
- 论文未报告训练耗时或查询成本数字;攻击池约 228,000 次尝试/轮(Table 8)。
总结一下论文的主要内容
ASD 用干净提示下的自身副本做教师,在学生被攻击后实际访问的前缀上做 on-policy 蒸馏;作者称 BoA 低于 DAT 且能恢复拒答,但过度拒答代价仍在。
一篇防御论文:针对对抗训练后模型被注入顺从前缀仍继续顺从的问题,提出 Adversarial Self-Distillation(ASD)。
- 问题:作者把安全性拆成"安全进入"与"恢复";Figure 1 显示 DAT 训练的 Qwen 在 1 个顺从 prefill token 后拒答率降为 0,输出多为循环或提前停止。
- 方法:学生在被攻击提示 x̃ 下采样,教师是同一模型在干净请求 x 下的冻结副本,在学生访问的每个前缀上做压缩词表 reverse-KL 匹配;只对被判有害的轨迹施加对抗项,另加 on-policy 良性锚点;理论上 Proposition 1–2 说明固定参考目标不约束恢复概率,Proposition 3 给出恢复概率的转移界。
- 主结果(Table 2,JBB-100):ASD-Qwen(it.5)BoA 14%(DAT 44%),ASD-Llama(it.7)BoA 8%(DAT 47%);MMLU/ARC 与基座相差 1.5 个百分点内。
- 恢复:n=8 顺从前缀下 ASD-Qwen 直接拒答 63%、DAT 为 0%;Llama 上两者顺从率接近(9% vs 9%),DAT 显式拒答更多(Fig. 1、Fig. 6)。
- 代价与例外:XSTest 合规率 ASD-Qwen .312、ASD-Llama .440,均低于 DAT;10 类 XSTest 中 8 类 ASD 拒答更多(Table 4)。
- 作者结论:作者认为结果支持"沿学生轨迹学习恢复"的方向,但残余攻击、累积的过度拒答和教师可靠性仍是核心局限,并建议把有害顺从与良性有用性一起测量。