论文提出拒答的几何解释：事后安全训练脆弱，预训练期持续安全共训更抗攻击

核心问题是探究为何基于 RLHF 或 DPO 的后验安全对齐容易被良性微调或推理攻击破坏，并在权重几何层面解释机制以构建持久的对齐方法。

• 后验对齐的脆弱性场景：当前大语言模型普遍在预训练完成后通过微调安装安全防护，但先前研究发现仅需 100 条无害样本微调即可移除拒绝行为，或通过对抗后缀诱导越狱。作者指出这说明后验微调并未真正消除有害能力。
• 现有解释维度的不足：先前工作将脆弱性归因于前几个输出 token 的浅层对齐、极少数安全参数或狭窄的权重盆地，但作者指出这些观察缺乏统一的连续几何解释，且行为表现无法区分模型是缺失能力还是隐藏输出。
• 抑制与掩盖的核心观察：作者提出在成熟底模上，后验安全更新在权重空间近乎正交于主要能力方向，更新主要集中在少数高曲率方向上充当拒绝门控。这种结构并未抹除底层表征，因此微调扰动容易破坏门控。
• 提出的分析框架与构建方案：作者提出了基于经验 Fisher 矩阵的权重子空间几何分类指标与核不动引理，追踪了表征底座在预训练中的涌现节点，并提出在预训练阶段持续注入安全损失的共训练方案。

后验安全脆弱性与机制解释

• Qi et al. (2024)、Zhan et al. (2024)、Zou et al. (2023b)、Andriushchenko et al. (2025)——报告了 10 至 100 条良性微调样本即可破坏对齐模型安全，或通过对抗后缀越狱；作者指出这些现象反映了后验微调的结构性弱点。
• Qi et al. (2025)、Wei et al. (2024)、Peng et al. (2024)——分别将安全脆弱性定位在前几个输出 token 的浅层对齐、约 3% 的安全参数以及狭窄权重盆地；作者指出本文的特征空间几何分类将这些局部现象统一在连续几何框架下。
• Arditi et al. (2024)、Wollschläger et al. (2025)、Lee et al. (2024)——发现拒绝行为由残差流单个方向或概念锥介导，擦除对应方向可恢复顺从响应；作者指出这些工作观察到了覆盖而非抹除的现象，但未从权重几何层面解释成因。

损失曲面几何与 Fisher 方法

• Amari (1998)、Martens (2020)、Kirkpatrick et al. (2017)、Grosse et al. (2023)——在自然梯度、持续学习及影响函数中应用 Fisher 信息矩阵；本文在此基础上通过每样本梯度的 Gram trick 提取各层 MLP 的 top-k 特征空间。
• Ilharco et al. (2023)、Ortiz-Jiménez et al. (2023)、Hu et al. (2022)——提出任务向量算术、正切空间模型编辑及低内生秩假设；本文将切空间线性化分析扩展至大模型安全对齐更新。

训练临界期与预训练期安全

• Achille et al. (2018)、Frankle et al. (2020)、Constantinescu et al. (2025)——发现深度神经网络与语言模型存在早期训练临界期与遗忘敏感窗口；本文则追踪了拒绝回路所依附表征底座的形成期。
• Korbak et al. (2023)——在预训练目标中引入人类偏好反馈以降低毒性；作者指出该工作未给出几何机理解释、未划分抑制与抹除区间、未发现底座相变，且未对比窗口式与持续式注入。
• Li et al. (2024)、Lynch et al. (2024)——研究机器遗忘以移除有害知识；作者将其归为抹除区间，指出遗忘试图进入能力子空间，而常规后验微调无法达到该区间。

基线方法与评测基准

• 论文对比的后验对齐基线包括基于 HH-RLHF（Bai et al., 2022a）的 DPO（Rafailov et al., 2023）与开源官方发布的 Instruct 模型；评测基准包括 AdvBench（Zou et al., 2023b）、HarmBench（Mazeika et al., 2024）、StrongReject（Souly et al., 2024）及 MMLU formal_logic、GSM8K、TriviaQA、FLAN-v2；微调攻击基于 Alpaca 数据。

与现有工作的区别定位 作者称现有工作多停留在激活层消融或特定参数定位，本文在权重空间给出了抑制与抹除的连续几何分类与理论证明，并在预训练阶段分离出持续性这一防御关键因素。

作者通过构建基于 Fisher 信息的权重几何测量工具与核不动引理解释后验安全脆弱性，并据此设计了贯穿整个预训练阶段的持续安全共训练（continuous safety co-training）。

权重空间几何测量工具与两类区间

• 参数与特征子空间设定：针对每个 Transformer block 的 MLP 参数（维度记为 d），从通用能力负对数似然损失计算经验 Fisher 矩阵：F_cap^(c) = 𝔼_{(x,y)∼ 𝒟c}[∇_θ log p_θ(y|x) ∇_θ log p_θ(y|x)^⊤]_θ=Wbase。该式定义了基础模型在特定能力损失上的经验 Fisher 信息矩阵；通过每样本梯度的 Gram 矩阵提取前 k 个特征向量（设定 k = 128，样本数 N 为 128 或 256）。
• 重叠比与曲率标量：定义重叠比 rho 为安全更新 Delta 在能力前 k 维特征空间投影平方范数与总平方范数之比；定义归一化曲率 qnorm 为更新沿 Fisher 矩阵方向的曲率与平均曲率之比。
• 抑制与抹除分类区间：设定随机投影基线为 rho_rand = k/d；设定抹除边界 rho_part = 0.01（即 10^-2，在能力子空间承载 10% 范数）。若 rho 远低于 rho_part，归为抑制（suppression）区间；若达到或超过 rho_part，归为抹除（erasure）区间。

核不动引理与掩盖机理

• 核不动引理（Lemma 1）：若安全更新 Delta 属于能力 Fisher 矩阵的零空间且损失函数 Hessian 满足 Lipschitz 连续，则有：ℒ_cap^(c)(W_base + Δ) − ℒ_cap^(c)(W_base) = 1/2Δ^⊤ E Δ + O(|Δ|₂³)。该式表明当更新位于零空间时一阶能力损失变化为零，主要受高斯-牛顿残差矩阵与高阶项影响。
• 高斯-牛顿近似与能力未损：在成熟检查点，高斯-牛顿残差近似为零，能力损失变化退化为 Delta 的三阶项。零空间条件本身导致更新与能力梯度严格正交，这说明后验微调并未在能力方向上移动权重，仅覆盖了一层门控回路。
• 梯度正交性控制验证：为排除指令微调混合更新的干扰，作者在 Qwen-2.5-1.5B 上仅训练拒绝 SFT 或 DPO，测得更新与能力梯度的余弦绝对值均不超过 2 × 10^-4，作者称正交性源自安全微调本身。

预训练表征底座的涌现追踪

• 表征底座定义：表征底座指拒绝回路用以区分有害与良性输入的内部中后层表征；在底座形成前，安全微调缺乏可依附的内部特征。
• 双重扫描协议：固定 OLMo-2-1B-Instruct 权重，扫描 OLMo-2-1B 的 9 个预训练检查点（0 至 4T token），测量有害与良性提示词在残差流各层的选择性隐藏状态发散（selective divergence）；同时在各检查点独立应用相同 DPO 配方以观察几何转变。

持续安全共训练方案设计

• 损失函数与拒绝模板：在预训练中引入安全目标，总损失为 LM 损失与加权安全损失之和。安全损失采用 AdvBench 提示词与 5 个简短拒绝模板的交叉熵。
• 注入时间调度与超参数：对比全流程持续注入（权重 lambda = 0.10）与窗口注入（在预训练 10% 至 30% 阶段设置 lambda = 0.50，保持总安全损失权重一致）。模型采用从头初始化的 Pythia 架构，在 10B C4 token 上训练，评估良性微调攻击后的防御保留率。

实验设置

• 被测模型：Pythia-1.4B、Pythia-410M、Pythia-1B、Pythia-2.8B、Pythia-6.9B、Pythia-160M、Qwen-2.5-7B、Qwen-2.5-7B-Instruct、Llama-3-8B、Llama-3-8B-Instruct、Mistral-7B-v0.3、Mistral-7B-Instruct-v0.3、OLMo-2-0425-1B、OLMo-2-1B-Instruct、Qwen-2.5-1.5B。
• 评估数据集与规模：安全评估采用 AdvBench（64 或 256 条）、HarmBench（200 条）、StrongReject（256 条）；能力评估采用 MMLU formal_logic（126 条）、GSM8K（256 条）、TriviaQA（256 条）、FLAN-v2（256 条）。
• 对齐基线与攻击设置：基线包含官方发布的 Instruct 权重与基于 HH-RLHF 的 DPO；良性微调攻击采用 100 条 Alpaca 样本全参数微调 200 步（学习率 2 × 10^-5）。
• 指标定义：拒绝率（refusal rate）、Fisher 子空间重叠比 rho、归一化曲率 qnorm、隐藏状态选择性发散（selective divergence）、能力负对数似然损失变化 Delta Lcap。
• 评审方式：正文使用 14 个拒绝前缀词进行正则匹配判定；附录补充 Llama-Guard-3-8B 分类器进行贪婪解码复核。
• 样本量与重复次数：几何梯度样本量 N 为 128 或 256；共训练对比条件各进行单次完整训练运行。

主结果

Swipe horizontally to read the table

• 后验安全微调对良性微调脆弱：作者认为 Qwen 和 Llama-3 在 100 条良性样本微调后，拒绝率下降 35 至 38 个百分点，表明门控被轻易破坏。
• 持续共训练在各尺度维持拒绝能力：作者指出持续共训练使 410M 至 6.9B 模型在遭受微调攻击后仍保留 84% 至 91% 的 AdvBench 拒答率，侵蚀幅度仅 2 至 14 个百分点。
• 分布外表现与特例：作者指出共训练的拒答率在分布外基准上随参数规模上升而收窄；Mistral 自身初始拒答率仅 1.2%，攻击对其改变量微弱。

权重空间几何与残差流隐藏状态定位

• 测了什么：测量 7B 至 8B Instruct 模型权重相对底模的 Fisher 重叠比 rho、归一化曲率 qnorm，并分析 50 对有害与良性提示词在各层残差流的隐藏状态发散。
• 结果：各模型平均 rho 处于 5.6 × 10^-6 至 1.2 × 10^-5 之间，低于抹除边界 2 到 3 个数量级；qnorm 在推理与算术上达数十至数百；隐藏状态选择性发散集中在特定层（Qwen 在第 24 层达 +0.166，Llama 在第 12 层达 +0.053，Mistral 在第 13 层达 +0.032）（Table 9、Figure 5）。
• 作者的解读：作者称这表明后验安全微调全部落入抑制区间，仅在特定层形成高曲率门控，未触及能力表征。

预训练表征底座的涌现与相变

• 测了什么：在 OLMo-2-1B 的 9 个预训练检查点（0 至 4T token）上追踪选择性隐藏状态发散，并在各检查点分别测试 DPO 微调。
• 结果：选择性发散在 1B token 处为 +4 × 10^-4，21B 时上升至 +2.7 × 10^-2，63B 时达 +7.3 × 10^-2 平台期；在 1B 未成熟检查点 DPO 的 qnorm 在 ARITH 上达 620 至 863，成熟后降至 13 至 48；SFT+DPO 在 1B 时攻击使 21.9% 拒答率降至 0%，在 4001B 检查点攻击后仍保留 15.6%（Table 13、Table 18）。
• 作者的解读：作者认为模型在 1B 至 63B token 之间经历了表征底座突变涌现，底座形成前微调落入未成熟底模模式，无法构建稳定门控。

持续共训练的时序消融与更强攻击测试

• 测了什么：在 Pythia-1B 上对比全程持续注入、后底座注入与早期窗口注入，并在 1B 持续共训练模型上评估学习率步数网格及身份转移攻击。
• 结果：早期窗口注入在 70% 无安全预训练后拒答率仅为 4.7%，而持续注入和后底座注入攻击后达 90.6% 和 84.4%（Table 2）；网格搜索攻击下最差仍保留 75.0% 拒答率，身份转移攻击下为 100.0%（Table 23）。
• 作者的解读：作者称决定防御鲁棒性的是安全信号是否持续到预训练结束，而非起始时间。

其他消融与分析

• 格式对消歧义影响（Qwen-2.5-7B）：引入 3-shot 示例后 REASON、ARITH、RECALL 的 Delta Lcap 由 raw-0-shot 的 +3.35、+3.06、+0.90 降至 +0.87、+1.10、+0.54（Table 11）。
• 对抗性 SFT 饱和测试（Pythia-1.4B）：针对 REASON 训练错误答案微调使 max rho 达 1.04 × 10^-2（跨过 rho_part 边界），max qnorm 达 33945（Table 12）。
• 梯度正交性控制实验（Qwen-2.5-1.5B）：纯拒绝 SFT 和纯 DPO 更新与四项能力梯度的余弦绝对值均不超过 2 × 10^-4（Table 15）。
• 能力代价评测（Pythia 持续共训练）：相比 LM 基础模型，1B 至 6.9B 模型的 REASON 负对数似然增加 0.12 至 0.22 nats，RECALL 增加 0.01 至 0.16 nats，INSTRUCT 无损耗（Table 20）。
• 评审模型打分交叉验证（Llama-Guard-3-8B）：重评主实验样本，Qwen-2.5-7B-Instruct 攻击前后拒答率为 93.0% → 85.2%，Llama-3-8B-Instruct 为 39.5% → 27.7%（Table 25）。

负面结果与例外情况

• Qwen-2.5-7B 底模自身在 AdvBench 上已产生 71.1% 的拒答率，微调安装仅提升约 22 个百分点，而在遭受良性微调后拒答率降至 58.2%，低于其底模本身（Table 10）。
• Mistral-7B-Instruct-v0.3 初始拒答率仅 1.2%，良性微调攻击前后差异微弱（1.2% → 0.4%），无法有效反映门控剥离过程（Table 1）。
• 共训练模型在分布外基准 HarmBench 和 StrongReject 上的拒答率随模型参数规模扩大而收窄（Table 3）。
• Pythia-1.4B 经 DPO 训练后在 AdvBench 上拒答率为 0%，未产生有效拒绝行为，无法支持后续攻击测试（Appendix D）。

作者指出的局限与后续方向

• Fisher 特征子空间近似截断：经验 Fisher 矩阵仅通过前 128 维特征空间进行近似，尾部特征方向未被纳入测量，安全更新可能遍历未被工具捕获的低曲率语义方向（出自 Appendix M (i)）。
• 拒绝评估依赖前缀匹配：正文主要采用基于正则前缀匹配评估拒绝门控是否触发，无法直接判定后续文本是否包含有害输出；虽然分类器重测保持了相对排序，但绝对分值存在漂移（出自 Appendix M (ii)）。
• 攻击变体覆盖有限：微调攻击仅测试了良性微调及身份转移等变体，Qi et al. 提出的有害演示微调变体尚未完成验证（出自 Appendix M (iii)）。
• 发展期行为曲线稀疏：在 OLMo-2-1B 发展轴上，SFT+DPO 仅在 5 个检查点中的 2 个诱导出充分的初始拒绝率，难以绘制密集的行为曲线，受算力限制未能对每个检查点执行完整 Tulu-3 流程（出自 Appendix M (iv)）。
• 共训练防护缺乏绝对同强度对比：从头训练的 410M 基础模型经后验 DPO 未产生有效拒绝行为，未能与同等初始拒绝强度的后验微调模型进行严格的绝对存活率对比，且防护主要局限于同分布数据（出自 Section 8 与 Appendix M (v)）。
• 后续探索方向：作者指出后续可探索在后验训练中对 qnorm 施加惩罚以检验曲率锐度是因果诱因还是伴生标志，并测试更广泛的拒绝模板以验证防护能否向分布外泛化（出自 Section 8）。

实验覆盖范围

• 被测模型架构与规模：实验覆盖 Pythia（160M、410M、1B、1.4B、2.8B、6.9B）、Qwen-2.5（1.5B、7B）、Llama-3-8B、Mistral-7B-v0.3 及 OLMo-2-1B，最大测试参数量为 8B，未验证 70B 及以上规模模型（出自 Section 3 与 Appendix M (vi)）。
• 安全训练与攻击配方：后验对齐测试了 HH-RLHF 上的 DPO、Tulu-3 混合数据上的 SFT+DPO 以及官方 Instruct 权重；持续共训练采用 AdvBench 提示词搭配 5 种预设拒绝模板；微调攻击基于 100 条 Alpaca 样本（出自 Section 3、Section 4 与 Appendix J）。
• 评测基准与样本规模：安全评估采用 AdvBench（64 或 256 样本）、HarmBench（200 样本）和 StrongReject（256 样本）；能力评测包含 MMLU formal_logic（126 样本）、GSM8K（256 样本）、TriviaQA（256 样本）和 FLAN-v2（256 样本）（出自 Appendix A）。
• 训练运行次数：每个从头共训练模型条件各进行单次完整训练运行，各条件间的性能差异包含运行间的随机方差（出自 Section 8 与 Appendix M (viii)）。
• 未报告信息说明：对于从头共训练模型，论文未报告其在多轮随机种子下的方差数据，亦未报告有害演示微调攻击下的存活表现（出自 Appendix M (iii)、(viii)）。

• 研究定位：该研究从损失曲面与特征空间几何视角探究大语言模型后验安全对齐脆弱性的根因，并在预训练阶段构建抗微调攻击的安全防护机制。
• 核心问题与理论分析：针对 RLHF 和 DPO 易被少量良性微调破坏的现象，作者建立了经验 Fisher 特征子空间测量工具并提出核不动引理，指出成熟底模上的后验安全更新与能力空间近乎正交，仅在极少数高曲率方向上形成掩盖门控而非消除有害能力。
• 表征底座发展规律：在 OLMo-2-1B 预训练序列上的追踪显示，拒绝机制所依赖的表征底座在 1B 至 63B token 之间快速成型；在此之前施加安全微调会产生未成熟底模模式，无法形成稳定门控。
• 持续共训练主实验结果：基于几何发现，作者提出从头预训练持续共训练方案。实验显示，在 100 条 Alpaca 良性微调攻击下，后验微调的 Qwen-2.5-7B 和 Llama-3-8B 的 AdvBench 拒答率分别下降 34.8 和 38.3 个百分点；而 410M 至 6.9B 的持续共训练模型在攻击后拒答率仍保持在 84.0% 至 90.6%（Table 1、Table 3）。
• 时序消融与代价特征：在 Pythia-1B 上的时序对比表明，仅在前 30% 阶段注入安全损失的窗口方案在训练结束后拒答率归零，指出只有持续至预训练结束方可保证鲁棒性；该方案在短答案推理和知识检索上带来约 0.12 至 0.22 nats 的负对数似然代价，但在指令遵循上无负面影响（Table 2、Table 20）。
• 作者结论与启示：作者认为后验安全微调的脆弱性可在未遭受攻击前直接从权重几何特征进行检测诊断；若要获得真正抵御微调擦除的安全能力，需要将安全信号贯穿基础模型的预训练全过程。