ASCENT：通过一阶最优校准实现安全与效用协同的微调框架

下游监督微调在提高效用时会削弱安全能力；现有方法主要防止退化，缺少最优安全子空间与安全保持任务更新的刻画，且子空间在微调中保持固定。

• 问题场景：监督微调常用来提高下游效用，但常伴随安全能力下降。作者认为任务更新可能干扰安全相关参数，破坏已有安全结构。
• 现有不足：论文称现有方法重在防止安全退化，而不是同时提高安全与效用；也没有最优安全子空间或安全保持任务更新的理论刻画。子空间多在微调前估计并全程固定。
• 核心假设：把安全写成参数函数后，可用一阶近似描述更新引起的安全变化。安全子空间内的任务分量既可能提高也可能降低安全，全部移除并不最优。
• 本文方法：提出 ASCENT，周期交替一阶安全校准与只压制负贡献的任务更新，并随参数变化重估安全相关结构，以求安全与效用同时提高。

安全保持微调

• 现象：论文引用 Qi et al. (2024)：即便下游数据良性，微调仍可能削弱安全对齐。引言另引 Wu et al. (2026) 作为效用–安全折中的观察。
• 约束更新：Safe LoRA（Hsu et al., 2024）、SaLoRA（Li et al., 2025a）、Safety Layers（Li et al., 2025b）、AsFT（Yang et al., 2026）分别做对齐子空间投影、低秩安全约束、保护关键层，或把更新限制在对齐方向附近。
• GuardSpace与批评：GuardSpace（Zhang et al., 2026）用协方差预条件 SVD 分离安全相关分量，并用有害抵抗零空间约束 LoRA。论文称这些方法主要保留预训练安全行为，结构类子空间通常训练前构造并固定。

安全关键参数与低秩干预

• 低秩修改：Wei et al. (2024) 在神经元和秩两个层面定位安全关键区域，并展示低秩修改可以强烈影响对齐。
• ESI与SPA：Qi et al. (2026c) 量化单个参数的安全影响，并用 SPA 在微调时固定安全关键参数。论文称这仍未给出最优低秩安全改进更新，也未给出安全保持的任务更新。
• 越狱背景：Qi et al. (2026a;b) 用策略组合和持续演化做自适应越狱。论文未把它当作与 ASCENT 的方法对比。

实验对照

• 基线与数据：对照为 SafeLoRA、SaLoRA、GuardSpace、SPA，以及微调前的 Original。Safety Layers 与 AsFT 只出现在 Related Work。任务为 SAMSum、AG News、GSM8K、OpenBookQA；安全评测为 JailbreakBench、WildJailbreak，以及 StrongREJECT 上的 TAP、PAP、RAINBOW、AutoDAN-Turbo。

作者把 ASCENT 区别为：从一阶视角推导安全校准与安全保持任务更新，并在微调中周期重校准，以同时提高安全与效用，而不是只固定预训练安全子空间。Related Work 还以一两句提及图像内容安全工作，未与 ASCENT 对比。

整体是 ASCENT：把安全写成参数函数，在秩和范数预算下做一阶最优校准，再只压制对估计安全变化有负贡献的任务分量，并按保留率周期重估。

安全函数与梯度估计

安全函数为 S(θ)=E_x∼DharmE_{y∼pθ(·|x)}[s(y)]。s(y) 是回复的安全分数，S 越大表示在有害提示分布上越安全。更新引起的安全变化用一阶展开近似；对每个权重矩阵，贡献写成与安全梯度的 Frobenius 内积。

回复是离散的，梯度沿用 ESI 的可微评审，再用链式法则传到目标参数。ASCENT 直接对生成回复的 token 权重求评审分数导数，不再经辅助 logits 和额外 softmax。实验里的可微评审是 Llama-Guard-3-8B。附录 C 给出估计式，以及与原 ESI 估计器的对比。

秩约束的安全校准

校准在提高估计安全的同时限制扰动。约束是秩不超过 r，且 Frobenius 范数不超过 ρ。Theorem 1 给出的更新是 ΔW_cal^∗=ρ U_r Σ_r V_r^T / ||Σ_r||_F；对应的最大一阶安全改进估计为 ρ 乘 ||Σ_r||_F。附录 A.1 用 von Neumann 迹不等式和 Cauchy–Schwarz 给出证明。

该 top-r 奇异结构定义秩一成分 E_i，并张成安全相关矩阵子空间。归一化权重 w_i 等于第 i 个奇异值除以 ||Σ_r||_F，用于后续任务优化中的惩罚强度。

安全保持的任务更新

ΔW_task 是写回全权重矩阵的有效更新；使用 LoRA 时，它不是 LoRA 因子本身。c_i 是该更新在 E_i 上的系数。奇异值非负，因此一阶安全贡献的符号由 c_i 决定：非负视为安全相容，为负视为降低安全。|c_i| 相同时，奇异值越大，估计的安全变化幅度越大。

优化目标是靠近原任务更新，只惩罚负贡献分量，且 w_i 越大惩罚越强，强度由 λ 控制。Theorem 2 给出唯一解：c_i≥0 时系数不变；c_i<0 时改为 c_i 除以 1+λ w_i 的平方，再把系数差加回对应的 E_i。Corollary 3 称，优化后在校准子空间内的一阶安全效应不低于原任务更新。证明在附录 A.2。

周期重校准

作者观察到 rank-r 安全梯度结构可在若干步内保持，但会随优化变化（Figure 4）。因此两次校准之间做多步任务更新，再重估 top-r 结构。

保留率 R_t(k) 是两个时点 top-r 梯度矩阵的归一化 Frobenius 内积，保留奇异分量的配对和方向；负值表示方向反转。对各目标矩阵平均后，取仍高于阈值 τ 的最大步数作为间隔 K。实验中 τ=0.8、K=16，全部模型与任务共用。

训练中的落地

每次校准把更新直接合并进当前全模型。随后用 rank-32 LoRA 参数化原任务更新，再按闭式解修改有效更新并合并。秩约束只作用于 LoRA 参数化，合并后的任务更新不必仍是秩 32。任务阶段结束后适配器重置。

全部设置共用 r=32、ρ=0.02、λ=1；每次梯度估计用 HarmBench 的 N=50 条有害提示。Qwen2.5 与 Llama-3.1 改各层 attention 与 MLP 投影；Gemma-3 只改语言骨干，排除视觉模块；Qwen3 只改共享 attention，排除 MoE expert 与 router。不改 embedding、归一化层和语言模型头。

实验设置

• 被测模型：Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-12B-it、Qwen3-30B-A3B-Instruct-2507。含 dense 与 MoE。Table 1 简写为 Qwen2.5-7B-it、Llama-3.1-8B-it、Gemma-3-12B-it、Qwen3-30B-A3B-it。
• 下游数据：SAMSum、AG News、GSM8K、OpenBookQA。每任务随机抽 2000 条训练、500 条测试，各方法共用同一划分（附录 B）。
• 微调协议：LoRA 方法共用 rank 32、α=64、dropout 0.05、80 个优化步、Fused AdamW、学习率 2.5e-6、batch 64、权重衰减 0。SPA 按 ESI 从低到高选取参数，直到数量接近 rank-32 LoRA。ASCENT 另用 r=32、ρ=0.02、λ=1、K=16。
• 效用：SAMSum 报 ROUGE-L（%），其余三项报 accuracy（%），越高越好。Original 是下游微调前的模型，故同一模型四项任务的 Original ASR 相同。
• 安全评审：主指标是 JailbreakBench ASR。GPT-4o 按附录 D 的提示词打 1–5 分，4 或 5 记成功；该附录给出完整提示词。Gemini-3.1-Pro 用同一成功标准复评。梯度估计的评审是 Llama-Guard-3-8B。
• 其他安全集与重复：JailbreakBench 用 judge comparison 测试划分中的 200 条越狱例，排除 100 条良性例。WildJailbreak 从对抗有害子集随机抽 200 条。StrongREJECT 的 313 个有害目标分别跑 TAP、PAP、RAINBOW、AutoDAN-Turbo。论文未报告重复次数。

主结果

下表只列 SAMSum 与 GSM8K，数字均来自 Table 1。效用分别为 ROUGE-L（%）和 accuracy（%）。AG News 与 OpenBookQA 未列入。

Swipe horizontally to read the table

模型	任务	Original效用	ASCENT效用	Original ASR	ASCENT ASR
Qwen2.5-7B-it	SAMSum	31.9	42.9	39.5	14.5
Llama-3.1-8B-it	SAMSum	28.0	45.8	24.0	9.0
Gemma-3-12B-it	SAMSum	30.8	46.0	37.0	9.5
Qwen3-30B-A3B-it	SAMSum	26.5	46.8	25.5	11.5
Qwen2.5-7B-it	GSM8K	86.4	91.2	39.5	6.5
Llama-3.1-8B-it	GSM8K	82.4	86.6	24.0	9.5
Gemma-3-12B-it	GSM8K	90.8	93.6	37.0	1.5
Qwen3-30B-A3B-it	GSM8K	92.4	96.6	25.5	11.5

• 共同提升：作者称 16 个设置都同时提高效用并降低 ASR，且 Figure 2 中 ASCENT 位于共同提升区。省略任务里，Qwen2.5 的 OpenBookQA 效用从 86.6 到 88.2（表中 Δ1.6），ASR 到 9.0。
• 基线：四个基线提高了效用，但 Table 1 中没有任何基线 ASR 低于对应 Original。Gemma-3 的 AG News 上，GuardSpace 的 ASR 为 37.0，与 Original 相同。
• 作者概括：表中最大效用绝对变化是 Qwen3 SAMSum 的 Δ20.3；其他任务 accuracy 的最大绝对变化是 Llama AG News 的 Δ16.4。最大 ASR 绝对降幅是 Gemma-3 GSM8K 的 Δ35.5。作者称相对各设置最强基线，ASR 平均再降 25.9%；论文未给出逐设置计算表。

额外越狱评测

• 测了什么：GSM8K 微调后，评 WildJailbreak，以及 StrongREJECT 上的 TAP、PAP、RAINBOW、AutoDAN-Turbo。Table 6 与 Figure 3 是四模型平均。
• 结果：ASCENT 为 7.7%、14.8%、7.2%、6.6%、16.0%；Original 为 43.1%、53.8%、38.8%、29.4%、59.1%。作者称五项平均从 44.8% 到 10.5%。
• 作者解读：作者称改进不限于 JailbreakBench。Table 6 中四个基线的五项平均 ASR 都高于 Original。

组件消融

• 测了什么：Table 2 在 Llama-3.1-8B-it 与 Qwen3-30B-A3B-it 上，从 Task FT 起累加校准、任务优化和周期重校准。中间列的 ΔASR 相对 Task FT。
• 结果：只加校准时，作者称平均 ASR 降 13.4%，但八个设置效用都下降。加上任务优化后，平均 ASR 降幅为 20.2%，效用至少回到 Task FT；两处 GSM8K 为 86.0 与 96.0，与 Task FT 持平。
• 重校准：作者称平均 ASR 降幅为 24.4%，八个设置效用都高于 Task FT。Figure 5 作者称另两个模型趋势相同；正文未列出图中数字。

校准间隔

• 保留率：Figure 4 为四模型、四任务的 R_t(k)。虚线 τ=0.8，点线 K=16。作者称 k=16 时 16 个设置都高于阈值，因此共用该间隔。逐点数值未在正文列出。
• 敏感性：Table 3 是四模型平均。K 从 4 增到 16 时，四项效用上升，ASR 仍较低。作者称超过 16 后效用只再高 0.1；相对 K=16，K=20 的 ASR 增 1.8–2.4，K=24 增 3.6–4.7。
• 对照点：SAMSum 在 K=16 为 ROUGE-L 45.4、ASR 11.1；K=24 为 45.5、15.8（Table 3）。

其他消融与分析

• 估计器（Table 4）：换成 ESI 估计器后，16 个设置上效用低 1.0–1.6，ASR 高 6.0–8.0（附录 C.2 给出的极差）。
• 一阶吻合（Table 5，尺度 ρ，两模型聚合）：Llama-Guard-3-8B 的 Pearson 为 0.92、符号一致 94.3%；GPT-4o 为 0.84、90.6%。2ρ 时降到 0.77/85.7% 与 0.68/80.9%。作者称这与一阶近似的局部性相符。
• 匹配安全监督（附录 F，Table 8，同上两模型）：Full-Grad 与 Cal.+FT 平均效用低 12.7 与 6.6，ASR 低 15.5 与 13.6 个百分点；ASCENT 效用高 0.9、ASR 低 24.4 个百分点。
• 双评审（Table 7）：GPT-4o / Gemini-3.1-Pro 并列。各格中 ASCENT 的两个 ASR 都低于同格 Original 与各基线。
• 负面结果：只做校准会降低效用（Table 2）；全梯度或只有周期校准、没有选择性任务优化时，效用也低于 Task FT（Table 8）。K 大于 16 后 ASR 上升（Table 3）。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion 只重述方法、定理角色和实验结果，没有 Future Work 小节。Ethics Statement 说明有害提示只用于受控校准与评测、不涉及人类受试者；Reproducibility Statement 说明附录含证明、实现和额外消融。这些都不是作者写出的方法局限或后续方向。

实验覆盖范围

• 模型与改写范围：被测模型为 Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-12B-it、Qwen3-30B-A3B-Instruct-2507，共 4 个，含 dense 与 MoE（Section 4.1）。Gemma-3 排除视觉模块；Qwen3 只改共享 attention，不含 MoE expert 与 router（附录 B）。
• 下游任务：SAMSum、AG News、GSM8K、OpenBookQA；每任务 2000 条训练、500 条测试，固定随机种子，各方法共用划分（附录 B）。
• 安全评测：JailbreakBench 200 条越狱例；WildJailbreak 对抗有害子集 200 条；StrongREJECT 全部 313 个有害目标上的 TAP、PAP、RAINBOW、AutoDAN-Turbo。主 ASR 用 GPT-4o，成功阈值为 4 或 5；JailbreakBench 另用 Gemini-3.1-Pro（附录 D）。
• 梯度与间隔：安全梯度用 HarmBench 的 N=50 和 Llama-Guard-3-8B。Table 5 用与梯度估计不交的 100 条 held-out HarmBench，模型为 Llama-3.1-8B-it 与 Qwen3-30B-A3B-it。K=16 由这四个模型、四个任务在 τ=0.8 下的保留率选定，并用于全部实验（Section 5）。
• 论文未报告的信息：论文未报告重复次数，未列出主安全评测的 decoding settings，也未报告 TAP、PAP、RAINBOW、AutoDAN-Turbo 内部使用的模型，以及 GPT-4o 与人工判定的一致性。实验对比的安全保持方法为 SafeLoRA、SaLoRA、GuardSpace 与 SPA（Section 4.1）。

ASCENT 是一种下游监督微调方法，目标是在提高任务效用的同时提高安全，而不是只防止安全退化。

• 问题：微调常削弱已有安全对齐。已有安全保持方法多在训练前固定保护子空间，并约束任务更新；论文称它们缺少最优安全子空间和安全保持任务更新的刻画。
• 方法：把安全写成参数函数，用一阶近似，在固定秩和 Frobenius 范数预算下，由安全梯度的 top-r 奇异分量构造校准更新。任务侧保留安全相容分量，只按奇异值权重压制有负贡献的分量。再按保留率每隔 K 步重估该结构。
• 主结果：Table 1 的 16 个模型–任务格里，ASCENT 的效用高于 SafeLoRA、SaLoRA、GuardSpace、SPA，JailbreakBench ASR 低于 Original 和这些基线。Qwen3-30B 在 SAMSum 上 ROUGE-L 的绝对变化为 20.3（26.5 到 46.8）；Gemma-3 在 GSM8K 上 ASR 从 37.0 到 1.5，表中绝对降幅为 35.5。
• 更多评测：作者称相对各设置最强基线，ASR 平均再降 25.9%。GSM8K 微调、四模型平均下，五项额外评测的平均 ASR 从 44.8% 到 10.5%；其中 WildJailbreak 为 7.7%（Table 6）。
• 组件：只做安全校准会降低效用。选择性任务更新把效用拉回至少 Task FT 的水平；再加上周期重校准后，Table 2 的八个设置效用都高于 Task FT，作者称平均 ASR 降幅为 24.4%。
• 作者结论：作者称一阶最优校准、选择性任务抑制和周期重校准可以同时提高安全与效用，并称在全部评测设置上达到 state-of-the-art 的安全与效用。