安全预训练：迈向下一代安全 AI

1. 01这篇论文试图解决什么问题？

   用数据过滤、重写、拒答教育和 harmfulness tag，在预训练阶段建立安全。

   如何在预训练里建立安全，而不是只靠事后对齐。

   • 场景：作者认为模型已进入医疗、教育和公共政策，有害或有毒生成仍是核心风险。
   • 现有不足：RLHF、DPO、Constitutional AI 等事后方法，在对抗分析里被作者视为至多表面抑制有毒生成。作者称不安全信息一旦在预训练中被内化，就很难甚至不可能忘掉；其概括是 alignment is not unlearning。
   • 假设：讨论中作者提出 Outer Onion Hypothesis：表层风险可用后训练剥掉，预训练早期吸入的风险更难去掉。
   • 本文做法：安全过滤、合成重语境化、RefuseWeb 与 Moral Education、harmfulness tag，以及推理时 Safe Beam Search；并做尚未安全微调的 base model 补全评测，发布 1.7B 的 SafeLM。
   • 评测中的威胁设定：
     • 目标：减少对有害请求的遵从，指标为 ASR。
     • 对抗设置：§6.2 使用 adversarially learned suffixes，后缀在作者自己的模型上学习，对象是 JailbreakBench 的 100 条。论文未写 white-box 或 black-box。
     • 另一压力：在 GSM8K 上做良性监督微调，看只在指令微调阶段建立的对齐是否被破坏。
     • 对象：按 SmolLM2 设置训练的 1.7B 模型。

   收起这一问

2. 02有哪些相关研究？

   近邻是事后对齐、启发式过滤和特殊 token 微调；作者把干预放到预训练。

   第 2 节把相关工作分成事后对齐、预训练干预和安全评测。

   事后对齐

   • RLHF 与监督微调（Ouyang et al., 2022；Bai et al., 2022a）：调整模型拒绝有害查询的倾向。论文称其耗资源、需要大量偏好标注，且在对抗压力下仍常能抽出有害内容（Zou et al., 2023；Chao et al., 2023）。
   • Shi et al. (2023)：在指令微调阶段用 DPO，提高安全回复率并保持有用性。论文称这类工作仍以事后调优为中心。
   • 引言把 DPO（Rafailov et al., 2023）和 Constitutional AI（Bai et al., 2022b）列为事后对齐，第 2 节未再展开对比。

   预训练与数据干预

   • Korbak et al. (2023)：按人类偏好分数做条件预训练，在 100M 参数量级上毒性低于微调模型。论文也把该工作与特殊 token 微调放在同一路线。
   • FineWeb（Penedo et al., 2024）：启发式过滤以降低毒性。论文转述 Vidgen et al. (2024)：此类数据仍有残余有害内容，需要更强过滤。
   • Bianchi et al. (2023)：微调时加入安全样本，可提高安全性且不损害性能。论文称这促使他们把该做法扩到预训练。
   • 特殊 token 微调（Xhonneux et al., 2025；Jain et al., 2024；Korbak et al., 2023）：用特殊 token 标注有害数据再微调，以便生成时转向。作者称自己的 tag 是把该想法延伸到预训练，并称只靠微调建立的关联在良性微调下会失败。
   • Qi et al. (2024b)：论文转述其观点：安全对齐很脆，至多改动最初几个生成 token，因而在越狱或良性微调下易受攻击（He et al., 2024）。

   安全评测

   • SafetyPrompts、MLCommons AI Safety Benchmark v0.5（Vidgen et al., 2024），以及 AdvBench、JailbreakBench、HarmBench：用于测有毒或越狱倾向。论文称自己在此之上补充数据集、评测工具和 Data Safety Report Cards。

   基线与基准

   • 基线：按 SmolLM2 在原始网页数据上做标准预训练，再在 Ultrachat-200k、WildGuardMix、WildJailbreak 上做指令与安全微调；消融还比较只留 score-0。
   • 基准：通用任务为 Table 1 的九项；安全为 HarmBench、TDC、JailbreakBench、AdvBench 和作者的 base 补全评测；过度拒绝用 Alpaca。

   作者把本文放在后训练之前：用数据重写、拒答教育和预训练阶段的 tag，而不是只在微调时建立安全关联。

   收起这一问

3. 03论文如何解决这个问题？

   过滤并重写数据，加入拒答与道德教育，再用 tag 和 Safe Beam Search 转向。

   框架由四步数据干预和一步解码转向组成。作者称发布 1.7B 的 SafeLM。

   安全评分与过滤

   • 分数：网页文本打 0–5 分，0 为全年龄适宜，5 为高度不安全，并附简短理由。完整评分提示词在附录 C.1。
   • 标注：在 FineWeb 中与 FineWeb-Edu 分类器相同的子集上标注。引言写分类器用 GPT-4 标注的 10K 样本训练；§3.1 写分数由 GPT-4o-mini 给出。留出一部分作参照标签。
   • 规模化打分：§3.1 概述写 GPT-4 与 LLaMA-3.1-8B；后文写用 Qwen 2.5-7B 按同一提示词打分，并从 gte-base-en-v1.5 微调嵌入分类器。最终分数取两者的最大值，以尽量召回不安全样本。概述还写用 600K 已打分样本迭代调阈值。
   • 报告卡：作者提出随数据集发布 Data Safety Report Card（Figure 1）：安全分分布，以及按 Vidgen et al. (2024) 与 Chao et al. (2024) 合并的 14 类有害 n-gram，用 Infini-gram 统计每百万 token 频率。查询表在附录 D。

   重写、拒答与道德教育

   • SafeWeb：不直接丢弃不安全样本，而重写成带免责与伦理说明的文本，要求单句脱离上下文也安全，并保留事实。§3.2 写生成模型为 LLaMA-3.1-8B。引言写 12 种提示词、1000 亿 token；§3.2 写超过 100B token；相关工作写 300B token 合成数据。附录 C.2 给出文体模板和完整提示词。
   • RefuseWeb：FineWeb 中分数为 4 或 5 的文本改成用户与助手对话。助手拒绝有害请求并说明理由，类别包括骚扰、歧视、恶意软件、人身伤害、经济伤害、欺诈、虚假信息、成人内容和隐私。分词时把角色名换成姓名或职业。完整提示词在附录 C.3。
   • Moral Education：用 LLaMA 3.1-8B-Instruct 把上述对话改成网页体的伦理短文，分数仍取语言模型量表与嵌入分类器的最大值。完整提示词在附录 C.4。

   Harmfulness tag 与 Safe Beam Search

   • 标注：对安全评分判为不安全的片段，在随机位置插入 <potentially unsafe content>，默认占输入长度的 5%（Algorithm 2 的概率 p）。安全文本不加该 tag。
   • Safe Beam Search（Algorithm 1）：每步对候选做一步 lookahead，计算下一 token 为该 tag 的概率，丢掉概率最高的 50%，再按对数似然取 top-k。论文写 beam size 为 k，未给 k 的数值。

   训练设置

   • 预训练：跟随 SmolLM2，训练 1.7B。初始语料为 FineWeb-Edu、StackOverflow、FineMath、Cosmopedia。用 LitGPT、FlashAttention-2 和混合精度。优化超参与 SmolLM2 相同，论文未列出学习率、batch 和序列长度。
   • 后训练：全部模型在 Ultrachat-200k、WildGuardMix、WildJailbreak 上做指令与安全微调。拒答数据约占指令数据的 10%。带 tag 预训练的模型，另把 WildGuardMix 中 10% 的补全做成带 tag 样本。
   • 成功判定：有害请求上的 ASR 由 HarmBench classifier 及改写后的评判模板给出，回答 yes 或 no（附录 C.5）；论文未写该分类器的底层模型。base 模型把有害请求改成补全式提示，而不是对话补全。

   收起这一问

4. 04论文做了哪些实验？

   引言写 ASR 从 38.8% 降到 8.3%，摘要写 8.4%；只留 score-0 则升至 43.8%。

   实验设置

   • 生成模型：按 SmolLM2 训练的 1.7B，变体为标准预训练、安全预训练、安全预训练加 SafeBeam。附录表 2 的有害补全示例针对 SmolLM-1.7B-Instruct，此处不引原文。
   • 语料与后训练：FineWeb-Edu、StackOverflow、FineMath、Cosmopedia；后训练为 Ultrachat-200k、WildGuardMix、WildJailbreak。
   • 安全评测：HarmBench、TDC、JailbreakBench、AdvBench；base 评测把有害请求改成补全。对抗后缀在作者模型上学习，共 JailbreakBench 的 100 条。
   • 其他评测：Table 1 的九项通用基准。过度拒绝从 Alpaca 抽 300 条。良性微调用 GSM8K，再测安全集。消融默认指标是 GSM8k 良性微调后的 ASR。
   • 评审：ASR 用 HarmBench classifier 和附录 C.5 的模板，底层模型论文未说明。过度拒绝由 GPT-4o-mini 分 5 类。论文未报告重复次数，也未报告评审与人工的一致性。

   主结果

   论文中的表述	ASR	出处
   标准预训练，base	44%（图标注 44.1%）	§6.2，Figure 2
   安全预训练，base	11%（图标注 11.6%）	§6.2，Figure 2
   摘要中的降低终点	8.4%（对照 38.8%）	摘要
   引言中的降低终点	8.3%（对照 38.8%）	§1

   • 作者的对照：作者称标准预训练 base 的 44% 是安全预训练 11% 的四倍（原文 four times higher）。摘要与引言都写从 38.8% 下降，终点分别为 8.4% 与 8.3%。两处都未写明该数字属于 base、指令微调后还是良性微调后。
   • 指令微调：作者称安全指令微调后各模型 ASR 接近零，并称这会造成 false sense of safety。Figure 2 在该阶段标注 1.6%、0.7%、0.0%，正文未把这三个数逐项对应到三种变体。图中还有 28.8%、23.0% 等标注，正文同样未逐项对应，这里不另作归属。
   • 通用任务：作者称安全干预不损害通用能力。Table 1 九项平均：Raw Data 42.8%，Score 0 Only 42.7%，+ Rephrasing 43.5%，+ Refusal + Moral Ed. 42.9%。同表 GSM8K 从 Raw 的 7.0% 到完整干预的 4.7%，TriviaQA 从 35.2% 到 33.3%；只加 Rephrasing 时 GSM8K 为 7.7%。

   数据干预消融

   指标是 GSM8k 良性微调后的 ASR（Figure 4，§7.1）。

   数据	ASR	出处
   Raw Data	38.8%	Figure 4，§7.1
   仅 Score 0	43.8%	Figure 4，§7.1
   + Rephrasing	33.6%	Figure 4，§7.1
   + Native Refusal	25.1%	Figure 4，§7.1
   + Moral Ed.	23.0%	Figure 4

   • 只留安全子集：从 38.8% 升到 43.8%。作者认为模型没见过不安全模式，因而不会应对。
   • 重写与拒答：作者称重写使 ASR 从 38.8% 到 33.6%；再加上拒答数据到 25.1%，并称这是 8.5 个百分点。
   • 道德教育的两处数字：作者称道德教育带来该研究中最低的 ASR，并写降至 20.0%。Figure 4 把 + Moral Ed. 标为 23.0%。相对图上的 25.1%，这一步小于作者写出的拒答降幅。

   良性微调与过度拒绝

   • 良性微调：§6.4 在 GSM8K 上做监督微调后再测安全集。作者称各模型在安全指令微调后 ASR 都低，但标准预训练模型随后变差，并称其 ASR 接近变为四倍，对齐在很大程度上是表面的；安全预训练模型只小幅上升。该段未给出这句四倍的前后精确值。
   • 对抗后缀：§6.2 描述了在 100 条上学习后缀并评测 ASR，正文未给出该攻击的数字。作者写明一个局限：这些后缀在学习时不知道 SafeBeam 改过的解码，未来可做对推理算法有感知的攻击。
   • Alpaca：300 条，GPT-4o-mini 分为遵从且有用、遵从但无用、部分拒绝、完全拒绝；附录 C.5 另有 shortcircuit，Figure 3 图例为前 4 类。论文未给各类计数。作者称安全预训练不降低良性请求上的 compliance，SafeBeam 使 overrefusal 略增。

   其他消融与分析

   • tag 放在预训练还是只放在指令微调（§7.2）：良性微调后，预训练加 tag 的 ASR 约 8%，只在指令微调加 tag 约 30%；作者称后者约是前者的 4 倍。
   • tag 比例（§7.3）：在 3%、5%、10% 中，作者称 5% 的 ASR 最低；未给三个比例的 ASR。
   • 分类器（Table 4，GPT-4o-mini 留出集）：Ensemble 的 Recall@1 为 0.9536、F1 为 0.3615；gte-large-en-v1.5 的 F1 为 0.4533；LLaMA Guard 的 Recall@1 为 0.1037；profanity checker 的 Recall@1 为 0.0310。作者称现有过滤与 GPT-4o-mini 分数不对齐，并优先看 Recall@1。
   • 打分失败（附录 B.2）：LLaMA 的 JSON 错误率约 25%，且相对 GPT-4o-mini 与人工标注倾向打 4 或 5 分。
   • 重写后的 n-gram（Figure 6）：作者称重写降低各类有害查询频率，且由于仍要解释敏感话题，频率不应为零。正文未给出各类的具体频率。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者写明的局限是 SafeBeam 评测没用感知解码算法的攻击。

   作者指出的局限与后续方向

   论文没有单独的 Limitations 小节。明确写成局限或未来工作的有：

   • SafeBeam 评测（§6.2）：作者写明，对抗越狱是在不感知修改后推理算法的方式下学到的；未来工作可以开发和评测对推理算法有感知的攻击。
   • 分类器（附录 B.2）：作者称未来工作可以探索微调，以降低过度的风险规避，同时保持过滤性能。

   实验覆盖范围

   • 生成模型实验是按 SmolLM2 训练的 1.7B，语料为 FineWeb-Edu、StackOverflow、FineMath、Cosmopedia（§5）。附录表 2 另给出 SmolLM-1.7B-Instruct 的有害补全示例。
   • 安全集为 HarmBench、TDC、JailbreakBench、AdvBench 和自建 base 补全评测；通用集为 Table 1 的九项；Alpaca 过度拒绝每模型 300 条，评审为 GPT-4o-mini（§6）。
   • 良性微调使用 GSM8K。对抗后缀在 JailbreakBench 的 100 条上、于作者自己的模型上学习（§6.2、§6.4）。
   • 论文未报告该对抗后缀攻击的 ASR、1.7B 训练的 token 数、Safe Beam Search 的 beam size k、重复次数，以及 GPT-4o-mini 或 HarmBench classifier 与人工判定的一致性。
   • 安全分类器在 GPT-4o-mini 标注的 FineWeb-Edu 留出集上比较；用于数据干预的最终分数取 Qwen 2.5-7B 与 gte-base-en-v1.5 的最大值（§3.1、Table 4）。

   收起这一问

6. 06总结一下论文的主要内容

   用过滤、重写、拒答、道德教育和 tag 做安全预训练，作者称可降低 ASR。

   SafeLM 把安全放进 1.7B 的预训练数据和表示分离，而不是只做事后对齐。

   • 问题：作者认为 RLHF、DPO、Constitutional AI 一类事后对齐难以抹掉预训练已学到的不安全信息，对齐不等于遗忘。
   • 方法：分类器给网页文本打 0–5 分并过滤；不安全文本重写成带语境的 SafeWeb；RefuseWeb 与 Moral Education 教拒答和伦理理由；不安全片段插入 harmfulness tag；推理时 Safe Beam Search 丢掉更可能生成该 tag 的 beam。训练设置跟随 SmolLM2。
   • 安全数字：引言写 ASR 从 38.8% 降到 8.3%，摘要写降到 8.4%。§6.2 写标准预训练 base 为 44%、安全预训练为 11%（Figure 2 标注 44.1% 与 11.6%），作者称前者是后者的四倍。指令微调后作者称 ASR 接近零，但 GSM8K 上的良性微调会破坏只靠后训练的对齐。
   • 数据消融：只留 score-0 时，GSM8k 良性微调后 ASR 从 38.8% 升到 43.8%（Figure 4）。重写、拒答再往下走；道德教育的终点，正文写 20.0%，Figure 4 标为 23.0%。
   • 通用分数：Table 1 九项平均，Raw Data 为 42.8%，Refusal+Moral Ed. 为 42.9%。GSM8K 从 7.0% 到 4.7%。
   • 作者结论：安全应在预训练中通过有语境的暴露、拒答和道德教育建立。作者认为只删掉不安全样本并不能得到更稳的模型，后训练也不能代替遗忘。

   收起这一问

相关论文