安全中期训练：将 LLM 安全内化为基础能力

后训练加上的安全，在后续不含安全数据时可能丢失，提高拒答也常换来通用能力损失。

• 发生位置：作者认为LLM安全已是开发的核心部分，但多数对齐仍在预训练之后，用SFT、偏好学习或相关方法补上拒答。近期也有工作把安全数据放入预训练，或在mid-training使用面向对齐的文档。
• 已有缺口：作者称，后续SFT若几乎没有安全数据，即便目的是通用能力，模型也可能很快失去安全。安全微调又常聚焦拒答，可能干扰预训练已有的通用推理和指令遵循。
• 共享结构：作者认为安全回应与通用任务都要理解意图或目标、调用相关知识与约束、推理可能后果，因此二者不必当成分开的训练目标。
• 本文做法：提出safety mid-training，放在预训练与后训练之间。给定安全与utility提示词，由base model自生成结构化文档和推理轨迹，过滤后继续训练，使后续SFT与RL从一个已把这些能力用于安全的模型出发。

安全后训练

• SFT与偏好优化：Bianchi et al.（2024）做安全SFT；Bai et al.（2022）的RLHF、Rafailov et al.（2023）的DPO、Shao et al.（2024）的GRPO在预训练后做对齐。
• 安全推理监督：Guan et al.（2024）、Zhang et al.（2025a）、Wang et al.（2025b）、Zhao et al.（2025）用思维链、安全理由或过程级奖励训练安全推理。
• 安全数据：WildJailbreak（Jiang et al., 2024）构造对抗安全数据；XGuard-Train（Rahman et al., 2025）扩到多轮越狱。另有工作加入安全理由、先答后查、语义相关的安全回应或长CoT。作者称这些工作显示，数据的结构与覆盖对后训练重要。

Mid-training

• 阶段定义：OLMo et al.（2024）、Lambert et al.（2024）、Tu et al.（2025）、Wang et al.（2025a）、Mo et al.（2025）把mid-training放在通用预训练之后、指令微调或偏好优化之前，仍用语言建模目标，数据量通常大于后训练。
• 能力向用途：Yang et al.（2025）、Grattafiori et al.（2024）、Liu et al.（2024）用它提升推理、多语言、编程、工具使用或做领域适应。
• 对齐向文档：Korbak et al.（2026）使用关于对齐行为的合成文档；Li et al.（2026）从模型规范派生文档。作者写明，自己的数据直接来自安全与utility提示词，两类样本共用同一推理模式。

自生成

• 用被训练模型产数据：Agarwal et al.（2024）、Zhao et al.（2026）、Shenfeld et al.（2026）等从模型自身采样训练数据。作者转述，先前工作研究它减轻分布不匹配和灾难性遗忘、并改善泛化。本文用它为两类提示词构造文档和推理轨迹。

基线与基准

• 基线：未做该方法的base、Base+SFT、Base+SFT（Distill Sonnet-4.6）、Safety Pretraining（Maini et al., 2025，约2.7B token）、Alignment Pretraining（Tice et al., 2026，约1.3B token）。
• 基准：安全侧HarmBench、AdvBench、WildJailbreak、DoNotAnswer、SimpleSafetyTests、JailbreakHub、StrongREJECT、BeaverTails、AIR-Bench；utility侧GSM8K、MATH-500、TruthfulQA、AlpacaEval、MMLU、ARC-Challenge、MMLU-Pro、HellaSwag、BBH。

作者把本文放在这几条线之间：不是只在后训练加拒答，也不是只用关于对齐行为的合成文档，而是在mid-training用同一推理结构同时学安全与通用推理。

safety mid-training继续训练base model：安全与utility提示词都变成结构化文档和推理轨迹，过滤后放进同一因果语言建模语料。作者给出的理由是，用base model自己生成，就不需要更大的生成模型。

提示词与语料

• 字段：每条含用户提示词、safe/unsafe标签、可选越狱策略标注和参考答案。参考答案只用于生成时的事实锚定，以及检查生成回答。
• 规模：提示词池约185k条唯一提示。默认的推理加文档语料约367k–368k条记录、约200M token。附录A.1：77%为safe、23%为unsafe；unsafe中75%是直接有害请求，25%套了越狱模板。
• 隔离：评测样本不进入mid-training、SFT和GRPO。来源包括Alpaca、BeaverTails、WildJailbreak、Dolly-15k、Competition Math、PKU-SafeRLHF、UltraChat、GSM8K、Alert、SaladBench、JailbreakPair，计数为约数（Table 8）。

文档与推理轨迹

• 文档：同一base model先生成固定七段文档：Task、Core goal、Relevant knowledge、Key constraints、Possible consequences、Best feasible path、Verification。安全查询与通用查询共用该模式。
• 轨迹：再以文档和参考答案为条件，采样推理轨迹和答案。轨迹把意图、相关知识与后果写成连续说明；安全提示词与不安全提示词都走这一结构。
• 变体：reasoning-only只把提示词、轨迹和生成答案放进训练序列。附录A.2与A.3给出完整生成说明；采样温度为0.7，自生成侧top-p为0.95，最大新token为2048。

裁判过滤

• 裁判：Qwen3-32B，温度0。检查对文档的忠实性、逻辑与伦理连贯性，以及与参考答案和安全标签的一致性，并打1到5的质量分。附录A.4给出rubric。
• 接受：overall_pass为真且质量至少4；同一提示词多条通过时留质量最高者。无人通过则按裁判反馈重采样，最多三轮，仍失败就从推理语料删除。文档用另一套rubric，通过与质量标准相同。

训练目标

• 两种记录：放在同一JSONL并打乱。推理记录套chat template；文档记录是无模板纯文本。二者打包为长度3072的块。
• 损失：全部token计入因果语言建模，包括chat记录里的提示词。损失为 L_mid(θ)=−∑_j=1^B∑_t=1^T_jlog p_θ(z_j,t|z_j,<t) ，即对每个打包块中每个token的条件对数概率求和后取负。
• 超参：1个epoch，有效batch 64，峰值学习率2.0e-5，cosine、5% warmup，weight decay 0.01，梯度裁剪1.0，AdamW。以Qwen3-4B估算，reasoning-only约105M token、约540步；推理加文档约198M token、约1010步。作者称步数随打包和最后一批处理而变。

接到SFT与GRPO

• SFT：损失只在assistant token上。3个epoch，每套mix共10000条，其中9000条训练、1000条验证。pure_safe只有安全例，pure_general只有通用例，balanced二者数量相等。轨迹沿用同一推理模式，并过滤到与参考答案和安全标签一致。
• GRPO：5000条提示词、1个epoch，学习率1e-6，rollout温度0.9、top-p 0.95，每条8个rollout。奖励裁判仍是Qwen3-32B，五分制。安全提示词按安全与有用性评分；通用提示词只评任务表现，不打安全分。因此pure_general GRPO既无安全提示词，也无安全奖励。

实验设置

• 被测模型：Qwen3-1.7B-Base、Qwen3-4B-Base、Qwen3-8B-Base，以及Llama-3.2-1B、Llama-3.2-3B。mid-training加在对应base上；Qwen3在SFT前后都评，Llama实验为无SFT。
• 对照：Base、Base+SFT、Base+SFT（Distill Sonnet-4.6）、SP（Safety Pretraining数据，约2.7B token）、AP（Alignment Pretraining的安全mid-training数据，约1.3B token）。SP/AP的SFT数据由同规模reasoning-only的safety-midtrained检查点生成。自生成用base model本身；消融另用Claude Sonnet 4.6产文档或轨迹。
• 基准与样本：安全9个、utility 9个，名单见设置字段。主比较的安全平均去掉WildJailbreak与BeaverTails，utility平均去掉GSM8K与MATH-500，因它们与mid-training同源。每基准300例，不足300则用全量。Table 22、Figure 1和Figure 4(a)报全套平均。
• 指标与裁判：ASR越低越安全；Safety定义为100%−ASR。utility除AlpacaEval为win rate外为准确率，再跨基准平均。自由形式由GPT-4.1-mini（温度0）评判；选择题用规则抽取。过滤与GRPO奖励用Qwen3-32B。
• GRPO范围：只在Qwen3-1.7B与Qwen3-4B上，比较balanced与pure_general，各5000条、1个epoch。
• 裁判一致率：附录C.4在500条分层样本上，Qwen3-Next-80B-A3B、Claude Sonnet 4.6、GLM-5与GPT-4.1-mini的一致率分别为97.8%、98.2%、98.2%，均值98.1%。论文未报告训练的重复次数。

主结果

下表是Table 2的比较用平均（已排除上述同源基准），不是全套平均。

表格较宽，可左右滑动

模型	balanced Ours ASR	pure_general Ours ASR	pure_general Base+SFT ASR	pure_general Distill ASR	pure_general Ours Utility
Qwen3-1.7B	8.9%	11.2%	26.3%	37.3%	61.7%
Qwen3-4B	5.5%	7.6%	13.6%	29.1%	74.9%
Qwen3-8B	3.4%	5.1%	11.6%	20.4%	78.2%

• 无SFT：Table 1中，Qwen3-1.7B的ASR/utility从30.4%/29.8%到8.4%/58.6%，4B从34.1%/47.6%到6.6%/73.1%，8B从25.4%/70.3%到4.9%/77.1%。作者称相对ASR降幅为72% to 81%。引言另称，相对Tables 1与5的base，降幅为68% to 86%。
• SFT之后：作者称balanced下Ours+SFT在每个规模的平均ASR最低，utility更高或相当。例外是Qwen3-8B的Distill utility为78.3%，Ours为78.1%，但ASR为10.5%对3.4%（Table 2）。Qwen3-4B上Base+SFT的ASR为10.8%、utility为65.6%，Ours+SFT为5.5%与74.9%。
• 纯通用SFT：作者称Ours+SFT的ASR低于每个基线，相对Distill的降幅为70% to 75%，且每个规模utility最高。Qwen3-4B上，SP的ASR从balanced的7.7%到pure_general的17.3%，AP从7.3%到14.5%；Ours从5.5%到7.6%，utility仍为74.9%。

GRPO轨迹

• 设置：Figure 3比较Qwen3-1.7B与4B上的Base+GRPO和Ours+GRPO，各有balanced与pure_general。横轴为GRPO step，标到4000；论文给出的是终点差，不是逐点读数。
• 混合数据：作者称mid-trained模型全程领先，最终安全与utility更高。Qwen3-4B的最终优势为safety 5.9个点、utility 4.0个点。作者称Qwen3-1.7B上Base+GRPO后期丢掉一部分早先收益，Ours+GRPO结束时更稳。
• 无安全奖励：换成纯通用提示词后，base的最终safety下降更多。Qwen3-4B上base降13.2个点，Ours降1.4个点，utility变化很小。作者称Qwen3-1.7B有同一模式；论文未给出该规模的对应点数。

模式字段与不安全比例

• 删字段：Figure 4(a)与Tables 29–30在Qwen3-4B、无SFT上每次去掉intent、knowledge或consequence之一。作者称完整模式的平均ASR与utility最好，去掉任一成分两项都下降。附录写DoNotAnswer与JailbreakHub的平均ASR从10.9%升到19.2%、16.7%、21.9%。去掉knowledge或consequence时，比较用utility平均分别降11.7与16.4个点。图中全套utility标为74.4、73.0、65.0、61.7。
• 比例扫描：Figure 4(b)与Table 31固定总量，不安全比例取0%、25%、50%、75%、100%。该表安全平均只含HarmBench、AdvBench、WildJailbreak。0%时平均ASR 46.6%、XSTest过度拒答1.1%、utility平均80.2%；25%时为8.5%、9.7%、81.6%；100%时ASR 0.0%、过度拒答88.0%、utility 45.0%。作者称25%的整体平衡最好。语料统计里的unsafe占比是23%（Figure 5），与这次扫描的25%不是同一数字。

生成模型与跨家族

• 谁生成数据：Table 4。无SFT时作者称两者整体相近；Qwen3-8B上Sonnet-4.6的ASR为4.0%，自生成为4.9%。balanced SFT后，自生成在每个规模的ASR更低：1.7B为8.9%对10.9%，4B为5.5%对9.2%，8B为3.4%对5.8%。8B的SFT后utility是Sonnet 78.9%、自生成78.1%。
• Llama-3.2：Table 5，无SFT。1B的ASR/utility从base的31.3%/23.6%到自生成的10.1%/29.4%；3B从41.4%/24.9%到5.9%/47.8%。Sonnet生成在1B的utility为22.1%，低于base的23.6%，ASR为14.4%，仍低于base。作者称自生成在两个规模给出最强的整体平均。

其他消融与分析

• 阶段而非只换数据（Table 3，Qwen3-4B，reasoning-only）：标准推理SFT的ASR/utility为22.8%/68.1%；同一数据直接做SFT仍为22.8%/68.9%；改做mid-training为7.5%/74.7%；再加SFT为5.4%/74.6%。
• 文档记录（Table 6，三种SFT mix平均）：reasoning-only已带来主要变化；加上自生成文档后，1.7B为9.2%/61.3%，4B为5.9%/75.0%，8B为3.9%/78.4%。4B上Sonnet文档的ASR为4.9%，低于自生成文档的5.9%，但utility为71.6%，低于75.0%。
• SFT轨迹来源（Table 7，mix平均）：mid-trained之后，自生成SFT的ASR/utility为1.7B的9.2%/61.3%、4B的5.9%/75.0%、8B的3.9%/78.4%；换成Sonnet蒸馏轨迹为11.9%/59.9%、9.4%/73.7%、6.7%/78.0%。
• 过滤通过率（Figure 6、附录A.4）：推理候选372,486条中343,088条overall_pass为真（92.1%）；文档初轮185,290条中112,783条通过（60.9%）。质量至少4的比例不包含“全部rubric通过”这一条件。
• 定性例子：附录E比较Base+SFT与完整流程在直接有害请求、越狱包装请求和事实回忆上的输出差异。附录给出示例，这里不复述请求或回答。

作者指出的局限与后续方向

• 模型规模：实验集中在Qwen3与Llama-3.2，参数到8B为止（Limitations）。
• 评测范围：评测套件覆盖一批安全与utility基准，但不能覆盖每一个领域、语言或真实交互模式（Limitations）。
• 后续方向：作者写，未来工作可以扩到更大模型，以及更多预训练与后训练设置（Limitations）。

实验覆盖范围

• 模型：实验写明跑了Qwen3-1.7B-Base、Qwen3-4B-Base、Qwen3-8B-Base，以及Llama-3.2-1B、Llama-3.2-3B（第4节、Table 5）。
• 后训练：SFT有pure_safe、pure_general、balanced三套mix（Table 2）。GRPO在Qwen3-1.7B与Qwen3-4B上，各5000条提示词、1个epoch，含无安全提示词、无安全奖励的pure_general（第4.2节、附录B.3）。
• 平均口径：主比较去掉与mid-training同源的WildJailbreak、BeaverTails、GSM8K、MATH-500；全套数字在附录D，Table 22与Figure 1报全套平均。每基准最多300例（第4.1节）。
• 裁判：自由形式指标用GPT-4.1-mini；附录C.4在500条上报告与Qwen3-Next-80B-A3B、Claude Sonnet 4.6、GLM-5的一致率，均值98.1%。
• 未写重复：附录B列出mid-training、SFT、GRPO的超参和耗时；论文未报告这些训练的重复次数。

作者把安全当成可与通用推理一起学的基础能力，而不是只在后训练补拒答。safety mid-training插在预训练与后训练之间：base model按同一结构，为安全与utility提示词自生成文档和推理轨迹，经Qwen3-32B过滤后，用因果语言建模继续训练。

• 无SFT：Table 1中，Qwen3-1.7B/4B/8B的平均ASR从30.4%、34.1%、25.4%到8.4%、6.6%、4.9%，utility从29.8%、47.6%、70.3%到58.6%、73.1%、77.1%。作者称相对ASR降幅为72% to 81%。引言对Tables 1与5的base给出另一口径：68% to 86%。
• SFT：Table 2的比较用平均下，balanced与pure_general中Ours+SFT的ASR都低于所列基线。pure_general时，1.7B/4B/8B的Ours ASR为11.2%、7.6%、5.1%，utility为61.7%、74.9%、78.2%。作者称相对Distill的ASR降幅为70% to 75%。
• GRPO：Qwen3-4B上，mid-training初始化的最终优势为safety 5.9个点、utility 4.0个点。无安全奖励时，safety下降为Ours的1.4个点、base的13.2个点（Figure 3）。
• 别处：Llama-3.2-3B无SFT时，自生成mid-training的平均ASR/utility为5.9%/47.8%，base为41.4%/24.9%（Table 5）。同一推理数据直接做SFT时ASR仍为22.8%，改做mid-training后为7.5%（Table 3）。

作者的结论是：在mid-training把安全与通用推理放在一起，可以减轻安全与utility的取舍，并使安全在后续只有通用数据、甚至GRPO没有安全奖励时仍然有效；从mid-trained模型出发，后续RL能到达更好的安全–utility前沿。作者计划发布生成数据和文档。