Deep Ignorance：过滤预训练数据为开放权重 LLM 构建抗篡改护栏

开源语言模型在权重公开后易被下游恶意微调篡改，现有后训练对齐技术无法提供持久的抗篡改防线。

• 开源模型安全的核心挑战：开源权重能促进透明度和研究去中心化，但下游使用者可以任意修改模型权重或激活，导致安全护栏在较低成本下失效。
• 现有后训练方案的脆弱性：现有的安全微调与机器遗忘（machine unlearning）等后训练技术，通常在数十步或几百步对抗微调内即被完全逆转。
• 论文的核心假设：若模型在预训练阶段从未习得双用途生物威胁知识，攻击者将难以通过微调或提示工程从模型中诱发潜在有害行为。
• 论文提出的解决方案：提出一套开销低于训练总计算量 1% 的多阶段预训练数据过滤流水线，从头预训练 6.9B 模型以实现深度无知（Deep Ignorance）。
• 威胁模型（Threat Model）：
  • 攻击者目标：从开源模型中诱导或恢复双用途生物威胁代理知识（biothreat proxy knowledge）。
  • 攻击者知识：涵盖白盒（拥有完整权重和激活访问权）、灰盒（拥有分词器和 logits 访问权）以及黑盒（仅通过输入交互）。
  • 攻击者能力：可实施对抗微调（全参数或 LoRA 微调）、潜在空间扰动（latent-space attack）、输入空间攻击（GCG-U 与 few-shot）以及检索增强（in-context retrieval）。
  • 受害系统：基于 Pythia 架构从头训练的 6.9B 参数开源自回归语言模型。

预训练数据过滤与微调防御领域已有一定探索，但多聚焦于小模型或后训练阶段，难以抵抗持续微调。

• 数据过滤与语料清洗：
  • Korbak et al. (2023) 与 Welbl et al. (2021) 等探讨了有害内容过滤，但指出大规模语料清洗面临过滤错误与质量受损等难题。
  • Maini et al. (2025) 与 Li et al. (2025a) 在 2B 以下参数量探索了过滤毒性与有害内容，发现过滤后的安全模型有时对部分输入攻击更加脆弱。
  • Lee et al. (2025) 利用过滤数据进行模型蒸馏以抑制能力，但仅在 500M 参数模型上测试了至多 500 步对抗微调。
• 能力抑制与机器遗忘：
  • Mazeika et al. (2024) 与 Zou et al. (2024) 等研究了拒绝微调，但容易受到提示越狱或参数微调攻击。
  • Zou et al. (2024) 提出 Circuit Breaking（CB），Sheshadri et al. (2024) 引入潜在对抗训练（LAT），Tamirisa et al. 探索了 TAR；但 Łucki et al. (2024) 与 Che et al. (2025) 证实后训练遗忘往往在微调下容易恢复。
• 模型能力诱导攻击：
  • Anil et al. (2024) 与 Zou et al. (2023b) 展示了 many-shot 和通用贪婪坐标梯度（GCG-U）等黑盒与灰盒提示攻击能诱发潜在能力。
  • Qi et al. (2023, 2024b) 与 Che et al. (2025) 表明，少样本微调可高效激活模型隐藏能力，现有防御多在几十至几百步内失效。
• 基线方法与基准数据集：
  • 基线防御：选取 Circuit Breaking（CB，Zou et al., 2024）与 Circuit Breaking 结合 Latent Adversarial Training（CB+LAT，Sheshadri et al., 2024）作为对照。
  • 基准数据集：采用 WMDP-Bio（Li et al., 2024b）、DCLM（Li et al., 2024a）、WikiText（Merity et al., 2016）、LAT Harmful Dataset（Sheshadri et al., 2024）以及 MMLU、PIQA、LAMBADA、HellaSwag。
• 本研究与既有工作的差异：作者指出以往研究主要依赖后训练遗忘或在较小模型上开展，本工作将防御前移至预训练阶段，在 6.9B 参数模型上验证了抵御长达 10,000 步对抗微调的抗篡改防线。

整体思路为通过多阶段预训练数据过滤流水线（Multi-Stage Data Filtering Pipeline）在模型学习前剔除双用途生物威胁知识，并在退火阶段测试不同过滤强度，结合后训练的Circuit Breaking（CB）构建纵深防御体系。

多阶段数据过滤流水线

• 第一阶段关键词黑名单：利用 Llama 3.3 70B 从 WMDP-Bio Forget 数据集的 24,453 篇文献中提取专业术语，经第二轮筛选后保留 6,178 个生物风险专有词。
• 黑名单触发机制：在过滤过程中，仅当文档包含两个或以上黑名单词汇时才升级至下一阶段；未包含两个以上词汇的文档直接保留（占预训练文档的 91.58% 和退火文档的 90.64%）。
• 第二阶段分类器精筛：针对升级文档，使用由专家标注、通用生物文献及大模型标注数据构成的 198,184 篇样本，全参数微调 ModernBERT-Large 分类器进行语义判别。
• 分类阈值与计算开销：设定分类阈值为 0.0105，过滤退火数据集中约 5% 的文档；由于仅复核升级文档，端到端多阶段过滤仅占模型训练总计算量的 0.83%。

语言模型预训练与退火配置

• 模型架构与训练规模：采用与 Pythia 6.9B 相同的 6.9B 参数自回归 Transformer 架构，在 128 块 Nvidia H100 集群上完成 500B token 预训练与 50B token 退火。
• 预训练计算量模型：经验测定考虑激活重计算等因素后，单次端到端训练总 FLOPs 公式为 C = 8.32PD，其中 P 为参数量，D 为训练 token 数。
• 训练效率指标：实测平均单卡算力为 558 TFLOPS，依据理论峰值 989 TFLOPS 得到的模型算力利用率为 MFU = (Observed FLOPS)/(Theoretical Max FLOPS) = 0.56。
• 强过滤与弱过滤设计：强过滤（Strong Filter）在预训练和退火中均仅用单阶段黑名单，分别剔除 8.42% 与 9.36% 文档；弱过滤（Weak Filter）在预训练用黑名单、退火用两阶段流水线，剔除 4.96% 的退火文档并用通过分类器的文档替换。

评测去偏与基准构建

• WMDP-Bio Robust MCQA（868 题）：为消除仅凭选项启发式猜对答案的捷径作弊，作者使用 Llama 3.3 70B、Llama 4 Scout 和 OLMo 2 32B 在无题干下盲猜，剔除三者均答对的 405 道题目（31.81%）。
• WMDP-Bio Verified Cloze（1,076 题）：使用 OpenAI o3 排除不适合完形填空的题目，以长度归一化对数概率评估答案似然度，消除对比选项带来的答题线索。
• 开卷检索评测集：利用 Claude 3.7 Sonnet 基于 1,000 篇生物论文摘要生成单选题目，支持闭卷与开卷（提供原摘要）双模式测试。

后训练互补防御集成

• Circuit Breaking（CB）：在第 5、10、15、20、25、30 层训练 LoRA 适配器，将有害样本的表征激活投影到与原激活正交的方向，同时保留无害样本表征。
• CB 结合潜在对抗训练（CB+LAT）：在上述 6 个层级引入潜在空间扰动对手，通过每步 4 次对抗优化激发并抑制潜在危险表征。

实验设置

• 被测模型：基于 Pythia 架构从头训练的 6.9B 参数模型，包括 deep-ignorance-unfiltered（未过滤基线）、deep-ignorance-e2e-strong-filter（强过滤）、deep-ignorance-strong-filter-pt-weak-filter-anneal（弱过滤）、deep-ignorance-e2e-weak-filter，以及结合 CB/LAT 的各衍生版本；附录对比了 OLMo-2 7B、OLMo-2 7B Instruct、Llama 3.1 8B Instruct、Tulu-3 8B、Gemma-3 4B、Gemma-3 4B Instruct，以及 Maini et al. (2025) 的 1.7B 基线与过滤模型。
• 数据集与规模：预训练采用 DCLM 去重版（约 500B token，409,935,485 篇文档），退火采用 50B token 混合集（89,061,637 篇文档）；评测使用 WMDP-Bio Robust MCQA（868 题）、WMDP-Bio Verified Cloze（1,076 题）、MMLU-No-Bio（53 个主题）、MMLU-HSC-Bio、PIQA、LAMBADA、HellaSwag 及 1,000 题开卷/闭卷生物测试集。
• 基线与对照：未过滤预训练模型 Baseline、后训练防御方法 Circuit Breaking（CB）以及 Circuit Breaking + Latent Adversarial Training（CB+LAT）。
• 指标定义：选择题与完形填空准确率（Accuracy）、通用基准准确率、检索测试准确率，以及基于修改版 StrongReject 评分标准的越狱判定得分。
• 评审与测试协议：输入空间与潜在空间攻击重复运行 3 次并报告均值与标准差；微调篡改攻击运行 2 次全参数与 2 次 LoRA 微调；StrongReject 越狱评估使用 GPT-4o 作为裁判模型。

主结果

表格较宽，可左右滑动

• 生物代理知识受抑：作者指出，数据过滤有效降低了模型在生物代理知识评测上的表现，其中单阶段强过滤在 Cloze 评测上降至 24.44%，接近 25% 的随机猜测水平。
• 通用能力保持稳定：作者报告，各种过滤配置在通用基准均值上介于 55.53% 至 57.88% 之间，与未过滤基线的 56.05% 相比变动均在 1 个百分点左右，未见明显退化。
• 评测形式的敏感性差异：作者观察到多阶段预训练在选择题与完形填空之间存在差异，多阶段预训练在通用知识保留上表现略好，但在 WMDP-Bio 上的抑制效果略逊于单阶段过滤。

模型微调篡改与潜在空间攻击

• 对抗微调抗性：作者在 WMDP-Bio Forget 数据集上进行 2 个 epoch、总计 305M token（10,000 步）的对抗微调（含全参数与 LoRA）。Figure 4 中，强过滤与弱过滤模型在 10,000 步微调后准确率仍维持在较低水平，而 CB 和 CB+LAT 在数百步内即失效。作者称过滤模型展现出优于现有后训练基线一个数量级以上的抗篡改能力。
• 良性微调稳定性：在 WikiText 上进行 12,000 步良性文本微调测试（Figure 5）。CB 与 CB+LAT 在良性微调后生物知识迅速恢复至基线水平，而过滤模型的 WMDP-Bio 表现未发生变化。作者认为这证明过滤模型对非恶意领域适配具有稳健性。
• 潜在空间攻击表现：在对第 0、8、16、24、30 层进行 64 步潜在空间通用扰动时（Figure 4 右），过滤模型在 Cloze 评测中优于 CB 方法，但在 Robust MCQA 上表现弱于 CB+LAT。作者推测这可能是模型习得了通用的多选启发式答题技巧。

纵深防御与上下文检索攻击

• 检索增强带来的防御失效：在 1,000 题的开卷测试中（Figure 6），当上下文中包含论文摘要时，基线模型与过滤模型准确率均上升至约 0.8 以上。作者称单纯的数据过滤无法防范上下文检索攻击。
• CB 的互补作用：当在过滤模型上应用 CB 或 CB+LAT 时，模型在开卷测试中答对率降至 0.3 以下，说明 CB 能阻断从上下文中提取和利用生物知识的能力。
• 组合攻击的失效：当攻击者同时采用微调与开卷检索组合攻击（Fine-Tune + Open-Book）时，所有防御模型（包括过滤+CB/CB+LAT）准确率均上升至约 0.8 以上。作者称没有任何单一或组合防御能抵御该阶段式组合攻击。

合成错误数据训练与越狱红队测试

• 合成错误文档训练的负面结果：作者尝试在退火阶段加入由 Claude 3.7 生成的弱篡改或强篡改生物错误知识文档（Figure 9）。结果显示合成数据未能持续增强抗篡改性，反而在多项评测中提高了生物代理知识得分。作者推测这可能是虚构生物文本让模型接触了生物概念从而利用了评估捷径。
• Maini 等人过滤模型的越狱评测：在 Maini et al. (2025) 的 1.7B 毒性过滤模型上测试（Figure 10），过滤模型对抗微调抗性仅有微弱提升，且在 few-shot 提示攻击下违规率（0.85）高于基线模型（0.67）。作者推测数据过滤主要适用于需要精确科学事实的知识型领域，而不适用于毒性等文风倾向型风险。

其他消融与分析

• 黑名单分类性能：黑名单在 WMDP 验证集上召回率为 98.02%，加入 Llama 标注 DCLM 后召回率为 98.21%（Table 5）。
• 任务形式微调影响：在 MMLU 多选题目微调后，WMDP-Bio Robust 准确率仅增加约 2 个百分点，作者认为模型低分并非因不熟悉多选形式（Table 9）。
• 退火数据过滤来源分布：被过滤的退火文档主要来自 Semantic Scholar (Pes2o) 和 DCLM，StackExchange 过滤文档多为误报（Figure 11 与 Section J）。
• 过滤与CB组合的对抗表现：强过滤结合 CB 在 few-shot 与潜在空间攻击下较纯过滤进一步降低了 WMDP-Bio 准确率（Figure 7、Figure 8）。
• 与其他开源模型对比：6 款同量级开源模型在 Robust MCQA 上的准确率均高于作者未微调的基线模型，且均出现选项捷径现象（Table 11）。

作者指出的局限与后续方向

• 模型规模与指令微调局限：实验仅局限于 6.9B 参数的单模态语言模型，且未包含指令微调；受预算所限仅训练了 550B token，通用能力不及同规模成熟开源模型（Section 6.3）。
• 评测形式单一：仅在多项选择题（MCQA）的设定下评估双用途生物威胁代理知识，受限于多选题固有的评测缺陷（Section 6.3）。
• 对抗评估的最坏情况下界：对抗性评估只能提供最坏情况行为的经验下界，可能存在其他未实现的篡改攻击能更有效地提取隐藏信息（Section 6.3）。
• 危害边界规范难题：未解决真实部署中精确界定可接受与不可接受行为边界的挑战，仅以现存的 WMDP-Bio 评测作为代理目标（Section 6.3）。
• 过滤器分类精度不足与高误报：当前过滤器具有较高假阳性率，移除了大量训练数据，可能对标准基准之外的模型行为造成不可预测的影响（Section 6.3、Section J）。
• 缺乏机制解释与扩展规律：尚不清楚深度无知与浅层无知的底层神经回路机制差异，亦需在更大规模与多模态模型上建立数据过滤的缩放法则（scaling laws）（Section 6.5）。

实验覆盖范围

• 被测模型范围：涵盖从头训练的 6.9B 参数自回归语言模型（共 11 个核心模型变体），以及 Maini et al. (2025) 的 2 个 1.7B 参数模型和 Table 11 中的 6 款外部对比开源模型。
• 安全任务范围：针对双用途生物威胁代理知识（WMDP-Bio 及其衍生子集）开展核心实验，毒性抑制仅在 Maini 等人的 1.7B 模型上进行了红队复现验证，论文未涉及网络攻击或化学武器等其他 CBRN 领域。
• 攻击类型覆盖：攻击手段包括输入空间攻击（16-shot、GCG-U）、潜在空间攻击（5 个层级通用扰动）、对抗微调（全参数与 LoRA，最多 10,000 步与 305M token）、良性微调（WikiText，12,000 步）以及开卷检索测试。
• 数据与环境限制：未报告真实信息危害（info-hazardous）高质数据集上的对抗微调表现；开卷检索测试基于 1,000 篇论文摘要合成数据，未在具备外部搜索工具的多轮真实 Agent 环境中进行交互测试。
• 评估指标与一致性：WMDP 评估使用模型对数概率或选项打分，越狱评测使用 GPT-4o 裁判模型，论文未报告模型评审与领域专家人工评估的一致性分数。

• 定位与核心目标：针对开源语言模型权重发布后易遭微调篡改攻击导致后训练护栏失效的问题，本文系统探索了通过预训练数据过滤消除双用途生物代理知识的可行性与抗篡改性。
• 轻量级过滤与模型构建：设计了黑名单结合 ModernBERT 的多阶段流水线，以低于模型训练总计算量 1% 的开销完成语料筛选，并从头预训练了 6.9B 参数模型及多种过滤与退火变体。
• 核心实验结果：
  • 在 WMDP-Bio Cloze 评测中，强过滤模型准确率降至 24.44%（接近 25% 随机水平），且通用常识与学术基准平均分保持在 55.53% 至 57.88%，未见明显性能退化（Table 2）。
  • 在 WMDP-Bio Forget 语料上进行 10,000 步、305M token 的对抗微调后，过滤模型展现出较强抗篡改性，作者称优于现有后训练防御基线一个数量级以上（Figure 4、Table 10）。
  • 在 12,000 步 WikiText 良性微调下，过滤模型未出现知识复苏，而 Circuit Breaking 迅速退化失效（Figure 5）。
  • 在开卷检索评测中，纯过滤模型无法阻止从上下文中提取生物知识，但与 CB 结合后能有效压制输出，然而面对微调与检索的组合攻击时所有防御均告失效（Figure 6）。
• 作者结论与安全启示：作者认为预训练数据过滤是构建开源模型持久抗篡改防线的高度实用手段，特别适用于具有精确事实特征的科学知识；但针对模型文风与有害倾向（如毒性）及外部检索场景，单一过滤并不充分，未来开源安全治理仍需依赖纵深防御与多层次生态监管。