EOPSA：高效在策略自蒸馏安全对齐方法

如何在长链推理模型的安全对齐中，只把 rollout 与梯度用在监督仍达标、且关系安全决策的 token 上。

• 场景：作者认为长 Chain-of-Thought 放大有害生成风险。SFT 被动模仿离线安全轨迹会与模型自身分布错配；RL 多用序列级奖励，缺少逐步指导，并常带来推理下降和过度拒答，作者称之为 safety tax。
• 现有不足：作者认为现行 On-Policy Self-Distillation（OPSD）有两类低效。学生未对齐前缀变长后，教师把轨迹拉回安全区域的能力下降，后期梯度成为噪声；特权提示带来的风格差异占去大量 KL，冲淡安全信号并改动原有推理。
• 观察：作者用 Inherited Defense Rate（IDR）说明更长、且监督仍达标的前缀有利于安全继承，但早期不设上界的 rollout 会超出教师纠偏能力（Figure 1）。Figure 2a 标注约 8.8% token 占 80% KL；高 KL 子集中安全无关类占 71.0% token 与 51.7% KL（Figure 2d）。引言另写约 8%。
• 做法：提出训练期方法 EOPSA。Adaptive Rollout Scheduling 用 Teacher Rescue Rate（TRR）限制生成视野；Selective Distillation 只对 Pivot、Intent、Risk 回传蒸馏损失。

论文在 Related Work 中按三条路线讨论安全对齐，实验再与其中若干方法比较。

监督微调

• SafeChain、STAR-1、R1-ACT：用外部模型构造安全回答，再与良性数据混合微调。作者认为这种 off-policy 模仿会造成训练数据与模型自身生成分布的偏移，并常常损害一般推理。
• safety tax：引言引用 Huang 等（2025）概括对齐后的推理下降；该文不是实验基线。

强化学习

• TARS、Alpha-align：把规则或 LLM-as-a-judge 奖励接入 PPO、GRPO，以 on-policy 探索减轻推理退化。作者认为这些外部奖励通常是粗粒度、序列级的，把同一安全奖励广播到全部 token，缺少逐步指导，并带来 safety tax。

On-policy 自蒸馏

• OPSD（Zhao 等，2026）：向提示注入拒答导向的特权信息，让同一模型充当教师，最小化师生 token 分布差异。作者把它写成兼有 on-policy 抗分布偏移和 token 级指导。
• OPSA、Constitutional OPSD：分别设计特权提示或 constitutional guidelines 来引导教师。Related Work 称它们在加强对齐的同时更好保留一般能力。对全 token 蒸馏低效的诊断出自本文引言，不是这两篇的主张。

基线与基准

• 基线：SFT 为 STAR-1；RL 为 GRPO；离线蒸馏为 ThinkSafe；on-policy 自蒸馏为 OPSD 与 OPSA。训练数据是 SafeChain 的一个子集。
• 基准：安全为 HarmBench、WildChat、WildJailbreak、StrongReject；过拒为 XSTest、OKTest；推理为 MATH-500、GPQA-Diamond、HumanEval、LiveCodeBench。越狱附录另用 AdvBench 子集。

作者把本文放在 OPSD 线上：师生仍做 token 级蒸馏，但计算和梯度只留给 TRR 达标、且被归入安全关键类的 token。

EOPSA 把序列级截断和 token 级过滤叠在同一学生的 on-policy 自蒸馏上。学生只按用户提示生成；教师共享初始权重，并额外条件于拒答导向的特权提示。主实验中教师只在初始化同步。

问题设定与 OPSD

• 查询来自数据集 D。学生策略生成 on-policy 轨迹。对齐目标是对有害查询保持防御，同时保留一般推理。
• 预备节的 OPSD 损失是整段 reverse KL（式 1）：每个位置都让学生分布靠近带特权提示的教师。作者认为未对齐前缀会使后期监督失效，特权提示又把风格差混进梯度。
• 实验里的 OPSD 基线改为 forward KL，并与 EOPSA 使用相同数据和步数（Appendix E.4），因此主对比不混用散度方向。

Adaptive Rollout Scheduling

• TRR 在学生前缀长度 t 上定义：学生先生成未对齐前缀，教师在特权提示下续写，二元安全 oracle J 判定拼接结果是否安全。J=1 表示安全完成。论文未写明训练期 J 的具体实现。
• IDR 对调角色，让学生续写教师给出的安全前缀。作者称更长且监督仍达标的前缀带来更强安全继承，因此视野应尽量长，但不能进入 TRR 不达标的后缀。
• 逐位置、逐 batch 计算 TRR 被作者认为不可行。实现改为在离散候选集 S 上、随验证 checkpoint 估计 TRR。上界取验证 TRR 不低于阈值的最长候选：L=max{l∈ S∣ TRR^val_l≥τ}。它是生成上限。
• 主实验 S={128, 256, 1024}，τ=0.75，每 50 step 更新一次。作者称对齐推进后验证 TRR 曲线右移，更长候选会被放开（Figure 4c）。

安全关键 token

• 在留出查询上，高 KL 位置取师生 top-1 token 作为当下意图的代理，而不是用该位置的全词表差异本身做类别。六类为 Pivot、Intent、Risk、Function、Consistent、Other；安全子集 K 只含前三类。
• 作者认为安全转折用词在不同查询间较稳定，但模型族的用词不同，故不用一份静态词表。附录 B 用统一 rubric，在与训练不重叠的有害探测集上离线抽取：保留每条轨迹 KL 最高的 16 个位置，由 LLM judge（文中举例 GPT-4o）分类并做二次审核。附录给出 rubric 与 Qwen 词表示例，此处不列词表。
• 在线按级联做常数时间查找：先 Consistent，再 Pivot、Risk、Intent、Function，其余为 Other。只有 K 中的位置保留梯度。

损失与训练配置

• EOPSA 损失只在不超过 min(|y|, L) 且类别属于 K 的位置计算 forward KL，即教师分布对教师、学生分布对学生的 DKL(PT ∥ PS)。类别指示函数 stop-gradient，并按该轨迹落入 K 的位置数归一，分母至少为 1（式 4）。
• forward KL 用 top-k 近似，k=512。训练 200 step，全局 batch 32，每提示 1 条 rollout，temperature 1.0，top-p 1.0。优化器为 AdamW，学习率 5×10−6，weight decay 0.01，梯度裁剪 1.0，无 warmup。
• 1.7B、4B、7B 用 2 张 H200，14B、32B 用 8 张；框架为 verl，训练用 FSDP，rollout 用 vLLM。正文写最终评测选取最优 checkpoint，未写选择指标。附录 H 有有害与良性两类教师提示词，此处不复述措辞。

成功判定

• 评测防御成功率 DSR 是成功挡住有害意图的查询比例，安全基准由 Llama-Guard 判定。过拒率 FRR 是良性查询中未达到 Full compliance 的比例，越低越好。
• 推理用 pass@1，报告三次运行的均值和标准差，即 avg@3。定义见附录 E.2。

实验设置

• 模型：Qwen3-1.7B、Qwen3-4B、Qwen3-14B、Qwen3-32B、DeepSeek-R1-Distill-Qwen-7B。Table 1 对前两个 Qwen3 标注学生与教师均为 Thinking；R1-7B 行未重复该标注。教师冻结，仅初始化同步。
• 训练：SafeChain 子集，200 step，batch 32，学习率 5×10−6，S={128, 256, 1024}，τ=0.75，每 50 step 更新 L。正文未写子集条数、TRR 验证集条数和最优 checkpoint 的选择指标。
• 基线：STAR-1、GRPO、ThinkSafe、OPSD、OPSA。实验 OPSD 与 EOPSA 同数据、同 200 step、forward KL，回复上限 4096，关闭两项过滤。OPSA、ThinkSafe、STAR-1 用官方代码和官方设置。GRPO 对有害回答用 Llama-Guard、对良性回答用 GPT-4o，prompt batch 8、每提示 4 条 rollout。
• 基准规模：WildChat 取 370 条有害查询，WildJailbreak 250 条，StrongReject 313 条；XSTest 与 OKTest 各评 250 条。推理为 MATH-500（500）、GPQA-Diamond（198）、HumanEval（164）、LiveCodeBench（166，2024 年 10 月至 2025 年 1 月）。HarmBench 条数论文未写。
• 指标与评审：安全为 DSR，越高越好，由 Llama-Guard 判定。过拒为 FRR。推理为 avg@3±std。附录 H 有良性评测提示词，正文未写明过拒评测调用的模型。安全 DSR 未报告重复次数。
• 硬件：1.7B/4B/7B 为 2 张 H200，14B/32B 为 8 张。

主结果

据 Table 1（前三行）与 Table 6（后两行）。安全 Avg 为四项 DSR 的平均，过拒 Avg 为两项 FRR 的平均，推理 Avg 为四项 avg@3 的平均。

表格较宽，可左右滑动

模型	EOPSA安全Avg	OPSA安全Avg	EOPSA过拒Avg	EOPSA推理Avg	Toks/Smp
Qwen3-1.7B	91.15	88.71	6.20	61.73	7.41
Qwen3-4B	98.08	96.67	6.22	74.29	6.04
DeepSeek-R1-Distill-Qwen-7B	96.14	93.43	14.60	66.71	3.54
Qwen3-14B	99.16	未报告	6.60	79.87	8.66
Qwen3-32B	99.73	未报告	7.40	81.67	11.79

• Table 1 的安全平均列中，EOPSA 高于同模型的 STAR-1、GRPO、ThinkSafe、OPSD、OPSA。单项不是这样：1.7B 的 HarmBench 为 99.50、StrongReject 为 96.81，低于 OPSA 的 100.00 与 98.40；R1-7B 的 WildChat 为 94.86、WildJailbreak 为 93.60，低于 OPSA 的 97.03 与 94.40。
• 相对 OPSA，平均 FRR 在 1.7B 为 10.60 对 6.20、4B 为 6.40 对 6.22，R1-7B 为 12.60 对 14.60。4B 的 XSTest 上 EOPSA 为 2.80，高于 OPSA 的 1.20。ThinkSafe 的平均 FRR 更低：1.7B 为 2.62，4B 为 2.80，R1-7B 为 4.20，其安全平均也更低。
• 作者称相对全序列 OPSD，三模型每样本优化 token 减少 98.9%–99.4%；R1-7B 安全平均比 OPSD 的 75.63 高 20.51 个百分点。推理平均上，EOPSA 高于 Table 1 同模型各对齐基线；1.7B、4B 仍低于 Base 的 62.79、74.65，R1-7B 的 Base 为 66.66。摘要写 rollout 计算约降 50%、只回传约 2% token；§5.2 与 §5.4 的口径见下文。

组件消融与固定视野

• Table 2 未写明模型；其完整 EOPSA 行、去掉两项的行，数值分别与 Table 1 中 Qwen3-1.7B 的 EOPSA 行、OPSD 行相同。去掉 Token Filtering 后安全平均 86.11、推理平均 60.49、Toks/Smp 472.75；去掉 Adaptive Rollout Scheduling 后为 89.20、61.18、8.82；两项都去掉为 83.48、60.49、653.69。作者称去掉过滤使安全平均降 5.04 个百分点、推理降 1.24 个百分点；去掉视野调度使安全降 1.95 个百分点，平均 FRR 由 6.20 到 7.40，作者称相对升幅接近 20%。
• Table 3 为关闭 token 过滤后的固定视野，未写明模型；自适应行与 Table 2 的 w/o TF 行相同。L=32 的平均 DSR 为 80.30、耗时 0.18 h；L=128 为 84.21、0.26 h；L=512 为 85.06、0.31 h；L=1024 为 82.83、0.42 h；自适应为 86.11、0.28 h。作者称 L≤128 最多落后 5.81 个百分点，L=1024 的安全低 3.28 个百分点且 rollout 时间高 50.0%。L=512 的 HarmBench 为 99.00，高于自适应的 97.00。

语义类别与训练动态

• Table 4 未写明模型，ΔS/Tok 定义为 (Safe-Avg−Base-Avg)/Toks/Smp。单独训练时 Intent 的 Safe-Avg 为 89.32、ΔS/Tok 为 77.58、Toks/Smp 为 0.45；Risk 为 83.94、25.90、1.14；Pivot 为 77.97、71.39、0.33；Consistent 为 79.27、0.22、115.17。Pivot 的绝对 Safe-Avg 低于 Consistent 的 79.27 和 Other 的 79.12。作者称 Intent、Pivot 的单位 token 安全增益约为 Consistent 的 360 倍与 330 倍；三类在 LiveCodeBench 上都高于非安全类。
• Figure 4 未写明模型。图中标注过滤掉 98.5% 候选 token（18.4k 到 267），保留部分平均占序列 KL 的 7.3%。图注写 step 0–50 选 L=128，越过 τ=0.75 后 step 51–200 选 L=1024。作者称 step 200 的 TRR 曲线反过来超过单独教师基线。

开销、越狱与教师

• §5.4 写：相对同数据量 OPSD，rollout 时间降 49%、训练时间降 28%；相对 OPSA，rollout 时间降 94%、训练时间降 97%，有效数据量小 95%。Figure 5 的原始小时数与柱的对应在文本转换后无法核对，这里只用正文百分比。摘要的约 50% 与这里的 49% 并列。
• Table 7 只评 Qwen3-4B，从 AdvBench 抽 100 条。EOPSA 的 PAIR、GCG、TAP 与平均 DSR 为 100.0、83.0、100.0、94.3；ThinkSafe 为 95.0、88.0、90.0、91.0；STAR-1 的 GCG 为 55.0，OPSA 的 GCG 为 63.0。平均最高的是 EOPSA，GCG 单项低于 ThinkSafe。论文称 GCG 为 white-box，PAIR 与 TAP 为 black-box；附录 E.1 说明了面向长推理的评测改动，此处不写优化步骤。
• Figure 7：作者称 EOPSA 相对静态教师的安全增益，在 Qwen3-1.7B 为 137%、Qwen3-4B 为 103%；纵轴以教师为 100%。Table 9 在 Qwen3-1.7B 上关闭两项过滤：每 100 step 把教师同步为学生后，安全平均由 83.48 到 91.61，HarmBench 到 100.00，推理平均由 60.49 到 55.44，LiveCodeBench 由 31.12 到 25.90。作者认为无约束蒸馏下的定期同步会放大分布偏移。

其他消融与分析

• 散度（Figure 6，未写明模型）：作者称 Forward-KL 的平均安全与推理高于 Reverse-KL、JSD（Appendix F.3 写 α=0.5）和 Sampled-token；文本转换后无法把图中每个柱值对应到方法。
• token 选择（Table 8，L=128、约 2% 更新预算，未写明模型）：Top-1 Pair 安全平均 90.02、推理 62.77；Top-KL 为 85.27、61.63；Random Mask 为 80.36、61.33。
• τ（Figure 9，含 token 过滤，未写明模型）：0.25、0.50、0.75、1.00 的 Safe-Avg 为 83.8、87.3、91.2、87.5。
• 跨语料（Table 11，Qwen3-1.7B，规则不按语料重抽）：SafeChain 91.15，STAR-1 数据 88.06，Mixed 90.09，Base 54.41。Table 10 的标准差：Intent 17.67，Risk 6.24，Pivot 4.73。
• 人工一致（Table 12，600 个留出高 KL 位置、3 名标注者）：六类 macro-F1 92.4；安全相关对中性的准确率 95.1、F1 94.2；Fleiss’ κ 六类 0.87、二类 0.93。作者称分歧多在 Intent 与 Other 之间。
• Figure 2a 标注平均长度 1447、80% KL 质量约占 8.8% token。Figure 8 中安全三类合计 29.0% token、48.3% KL；Other 为 35.8% token、31.7% KL。

作者指出的局限与后续方向

• 作者称本文的首要目标不是确立一套识别安全关键 token 的确定机制，而是说明把监督集中到稀疏的安全相关位置，可以匹配或超过全 token 蒸馏（Appendix A）。
• 当前实现使用较离散的语义分类和规则选择，可能无法精确刻画不同上下文和推理轨迹中的安全相关程度。作者把更细粒度、自适应的识别列为未来方向（Appendix A）。
• TRR 仍按预定义前缀视野估计监督是否达标，并对后续训练轨迹使用同一个 rollout 边界。作者称教师纠偏能力可能随样本、推理阶段和 token 位置变化，并把样本级、片段级或 token 级的可靠性估计列为后续方向（Appendix A）。

实验覆盖范围

• 被对齐模型为 Qwen3-1.7B、4B、14B、32B 与 DeepSeek-R1-Distill-Qwen-7B，共 5 个。Table 1 报告前三个对 STAR-1、GRPO、ThinkSafe、OPSD、OPSA 的结果；Table 6 报告 14B、32B 相对各自 Base 的结果。
• 安全 DSR 由 Llama-Guard 判定；推理报告 avg@3。论文未报告安全 DSR 的重复次数，也未报告 DSR 与人工判定的一致性。token 分类与三人标注的一致性在 Table 12，样本为 600 个留出高 KL 位置。
• 越狱评测在 Qwen3-4B 上进行，从 AdvBench 抽取 100 条，攻击为论文所称 white-box 的 GCG 与 black-box 的 PAIR、TAP（Appendix F.2、E.1）。
• 消融包括两项组件、固定视野、六类 token 单独训练、四种散度、Random/Top-KL/Top-1 三种选择、教师每 100 step 同步、τ 的四个取值，以及 SafeChain、STAR-1、Mixed 三套语料上的同一套 Qwen3 规则。
• 正文未写 SafeChain 训练子集条数、TRR 验证集条数，也未写最优 checkpoint 的选择指标。训练期安全 oracle J 的实现论文未写明。

EOPSA 是面向大推理模型的 on-policy 自蒸馏安全对齐方法，处理长 rollout 上教师纠偏失效，以及特权提示把风格差混进 KL 的问题。

• 问题：作者认为长 CoT 扩大有害生成空间。SFT 模仿离线安全轨迹会分布错配，RL 的序列级奖励缺少逐步信号。OPSD 虽给出 token 级监督，但未对齐前缀变长后 TRR 下降；Figure 2 中约 8%–8.8% token 占 80% KL，其中大量是安全无关的风格或句法差。
• 方法：在 {128, 256, 1024} 中取验证 TRR 不低于 0.75 的最长视野作为生成上界，每 50 step 更新。离线 rubric 为模型族抽取词表后，只对 Pivot、Intent、Risk 计算 forward KL；教师带拒答特权提示，主实验不中途同步。附录 H 给出教师提示词，此处不复述。
• 主结果：Table 1 中 Qwen3-1.7B、4B 与 R1-7B 的 EOPSA 安全平均为 91.15%、98.08%、96.14%，高于同表 OPSA 的 88.71%、96.67%、93.43%；Toks/Smp 为 7.41、6.04、3.54。R1-7B 比全 token OPSD 的安全平均高 20.51 个百分点。相对同数据 OPSD，rollout 时间降 49%、训练时间降 28%。摘要另写 rollout 计算约降 50%、回传约 2% token。
• 例外：1.7B 的 HarmBench 与 StrongReject、R1-7B 的 WildChat 与 WildJailbreak 低于 OPSA；R1-7B 平均 FRR 为 14.60，高于 OPSA 的 12.60。Qwen3-4B 上 EOPSA 的越狱平均 DSR 为 94.3%，但 GCG 为 83.0%，低于 ThinkSafe 的 88.0%。
• 规模与作者结论：Table 6 中 14B、32B 的安全平均为 99.16%、99.73%，Base 为 79.58%、74.01%；推理平均相对 Base 变化 0.54 与 0.34 个百分点。作者认为 token 级安全对齐里，语义上的取舍比优化量更关键，并希望这些观察用于后续少改动推理的对齐研究。