训练完全相同的语言模型会被不同越狱攻破

1. 01这篇论文试图解决什么问题？

   同一数据重跑一次预训练、给同样安全训练，是否会在同样的越狱上被攻破。

   核心问题：哪些越狱能攻破一个 checkpoint，在多大程度上取决于它的预训练运行（run），而不是它的预训练数据。

   • 问题场景：越狱基准和红队通常只测一个 checkpoint，并把"哪些越狱能攻破它"当作其预训练数据和安全训练的属性（作者对既有工作的概括）。作者认为这种读法忽略了预训练本身的随机性。
   • 既有证据的缺口：已有研究表明训练种子会改变预测、偏差和安全性（如微调种子改变有害性、采样种子翻转拒答），也有研究比较同一运行的分支；作者称，据其所知没有研究检验过同一数据的第二次完整预训练在同样安全训练后是否会在同样的越狱上被攻破。
   • 核心观察：同一预训练运行的两个后训练副本（MZ twins）逐提示非拒答率相关 0.984，而不同预训练种子降到 0.811，换数据配方只再降到 0.779；作者据此认为预训练运行比数据配方影响大得多。
   • 论文贡献：在 25 个数据配方、3 种规模（150M/300M/1B）上测量上述"ancestry gap"；用同种子重训和部分重训分离种子、初始化、数据顺序与硬件软件的作用；并给出对单 checkpoint 评测者的两个推论——最佳攻击模板迁移率低、逐提示画像可"指纹化"预训练运行。
   • 研究性质：这是一项测量与分析研究，不提出新攻击或防御；被测系统是 150 个受控训练的开源小模型，提示词全部来自公开基准，作者称未编写新的越狱或有害请求。

   收起这一问

2. 02有哪些相关研究？

   相关研究分四组：训练随机性、安全行为方差、拒答机制、噪声校正与固定种子重训。

   训练随机性

   • Zhong et al. (2021)、D'Amour et al. (2022)、McCoy et al. (2020)、Juneja et al. (2023)——仅种子不同的模型总体准确率接近，但逐样本预测和分布外泛化不同。
   • MultiBERTs（Sellam et al., 2022）把任务微调种子嵌套在预训练种子之下；PolyPythias（van der Wal et al., 2025）在同一语料上变化预训练种子并评测基座模型。论文指出这些套件都不包含经过拒答训练的模型。

   安全行为的方差

   • Fraser et al. (2025)——良性微调的种子会移动模型的总体有害性；Larsen (2026)——采样种子和温度平均在约四分之一提示上翻转安全决定。
   • Hughes et al. (2025)——越狱难度排序在同一模型的多次攻击运行间和不同模型间大体相似（一个加防御的模型除外）。
   • Lu et al. (2026)——同一运行只差最后数据窗口的分支，SFT 后拒答相似、相同后训练后拒答不同；Itzhak et al. (2025)——认知偏差同样更跟随基座模型而非指令数据。论文指出这些研究都在预训练之后变化种子或只取同一运行的末段，从未换整个预训练运行。

   拒答机制（模型内与跨模型）

   • Arditi et al. (2024)——拒答由激活空间单一方向介导；Wollschläger et al. (2025) 提出低维锥，Zhao et al. (2025b) 提出拒答与有害性分开编码。
   • Labunets (2026)、Reblitz-Richardson (2026)——在同一预训练运行内追踪该结构；Bosco & Srinivasan (2026)、Oozeer et al. (2025)——跨架构（旋转）和跨规模（映射）迁移拒答干预；McCann (2026) 比较九个 Pythia-70m 不同种子的特征与转向向量（不含拒答）。论文指出拒答从未在同一数据配方的不同运行间比较过，本文在附录 F 做此比较。

   噪声校正与固定种子重训

   • Spearman (1904) 的衰减校正（除以信度乘积平方根）曾被用于模型与人评分或脑记录的比较（Depaolini & Hasson, 2026；Tan & Deng, 2026）；Geirhos et al. (2020) 的 error consistency 只校正机会一致。
   • Summers & Dinneen (2021)、Zhuang et al. (2022)、Bhojanapalli et al. (2021)、Altıntaş et al. (2025)——即使所有种子固定，非确定性 kernel 或微小早期扰动也会让运行分叉。论文指出这两条线索都没有对"两个模型各由采样响应测得"的比较做噪声校正，本文做了。

   定位：作者称本文是首个在同一数据配方、相同安全训练下比较不同完整预训练运行越狱结果的研究（"To our knowledge, no study has tested…"）。本文无攻击方法基线；比较对象是 DataDecide（Magnusson et al., 2025）发布的 25 配方 × 3 种子预训练运行，提示词来自 HarmBench、SORRY-Bench、StrongREJECT、XSTest、OR-Bench-Hard-1K、WildJailbreak 六个公开基准。

   收起这一问

3. 03论文如何解决这个问题？

   用"同一基座 vs 同配方不同基座"的逐提示相关之差（ancestry gap）分离预训练运行的作用。

   整体思路：把"哪些提示攻破模型"变成每个模型的逐提示脆弱性画像（vulnerability profile），再用三类共享祖先程度不同的模型配对的相关差异，分离预训练运行与数据配方各自的贡献。

   模型与训练

   • 基座模型：DataDecide 发布的 25 个数据配方 × 3 个预训练种子的 1B 模型，每个配方训练相同 100B token，种子同时决定初始化和数据顺序；主数据配方为 DCLM-Baseline。作者关闭 dropout，使种子成为唯一受控随机性。
   • 自训重跑：在作者自己的 H200 上用 base model 1 的种子重训两次（same-seed reruns，与原版只差 GPU 非确定性/软硬件）；另训两个 partial reruns，分别只共享 base model 1 的初始化或只共享其数据顺序。
   • 后训练：所有基座统一做 Tülu 3 的 SFT（含 WildGuardMix、WildJailbreak、CoCoNot 安全数据）+ DPO，停在 OLMo 2 的两个 RL 阶段之前；每个基座用 2 个后训练种子（主配方用 4 个），后训练种子只决定训练样本顺序。总计 150 个模型。

   配对类型与提示集

   • 三类配对（Figure 1）：MZ twins 共享基座、只差后训练种子；same-recipe pair 只共享数据配方；cross-recipe pair 两者都不共享。rMZ − rS 称为 ancestry gap，度量共享一次预训练运行的增量；rS − rX 度量数据配方的增量。
   • 提示集：来自 7 个公开来源，经 Tülu 3 的 8-gram 去污染和长度过滤后剩 6,226 条；主分析子集为 3,212 条 adversarial-harmful 提示（有害请求包在越狱模板里），其中 HarmBench 的 1,212 条 human-jailbreak 由 300 个有害请求 × 91 个攻击模板构成。

   采样、判定与统计

   • 采样：vLLM，temperature 1.0、top-p 1，每条提示 20 个响应、最多 512 新 token；规则检查剔除重复和复述提示的不连贯样本。
   • 判定：主评审为 WildGuard 的拒答标签，Qwen3Guard-Gen-8B 为第二评审；模型在某提示上的脆弱性 = 连贯样本中的非拒答率，全部提示上的脆弱性构成其画像。
   • 统计：两模型画像算 Pearson r，再用 Spearman 校正除以信度乘积的平方根得到 corrected correlation（信度由奇偶样本对半相关经 Spearman–Brown 外推）；报告每类配对的均值与 95% bootstrap 区间，预测与解读规则在实验前预先注册（附录 H）。

   机理分析（附录 F）

   • 按 Arditi et al. (2024) 的方法为每个模型估计拒答方向（有害/无害指令均值激活差），做消融、跨运行旋转迁移（正交 Procrustes）、投影与脆弱性的 within-pair link，以及把模型在每条提示上的投影设为另一运行模型的值的"移植"干预，度量行为差异中被该标量解释的比例（closure）。

   收起这一问

4. 04论文做了哪些实验？

   25 配方网格 + 三种规模 + 同种子/部分重跑 + 单 checkpoint 推论 + 人工审计与机理分析。

   实验设置

   • 被测模型：150 个 1B 模型（25 数据配方 × 3 预训练种子 × 2 后训练种子，主配方 4 个后训练种子）；主配方另有 150M、300M 各 3 基座 × 4 后训练种子；2 个 same-seed reruns 和 2 个 partial reruns 各配 4 个后训练种子。
   • 提示集：6,226 条（3,212 adversarial-harmful、1,240 plain harmful、1,774 benign），来自 HarmBench、SORRY-Bench、StrongREJECT、XSTest、OR-Bench-Hard-1K、WildJailbreak。
   • 指标：逐提示非拒答率（20 个连贯样本）、修正 Pearson 相关、ancestry gap（rMZ − rS）、均值脆弱性。
   • 评审：WildGuard 拒答标签为主，Qwen3Guard-Gen-8B 复核；人工审计由两位作者盲标（三次标注共 2,800 响应），拒答上 Cohen's κ 0.65–0.768。
   • 预注册：主要预测与解读规则在对应实验前注册（附录 H）；区间多为 95% bootstrap（按提示或按配方）。

   主结果

   据 Table 1（均值修正相关，括号内为 95% 区间）：

   表格较宽，可左右滑动

   模型范围	MZ twins	Same-recipe	Cross-recipe	Ancestry gap
   全部 25 配方，1B	0.984 [0.982, 0.985]	0.811 [0.804, 0.817]	0.779 [0.766, 0.788]	0.173 [0.167, 0.179]
   主配方，1B	0.985 [0.983, 0.987]	0.814 [0.801, 0.825]	未报告	0.171 [0.160, 0.183]
   主配方，300M	0.981 [0.978, 0.985]	0.770 [0.756, 0.784]	未报告	0.211 [0.198, 0.224]
   主配方，150M	0.988 [0.983, 0.993]	0.784 [0.769, 0.799]	未报告	0.204 [0.189, 0.218]

   • 作者称，不共享基座造成的相关下降是不共享数据配方的 5.4 倍（Table 1，区间 [4.0, 7.2]）；逐配方看 ancestry gap 在 0.145–0.209 之间，25 个配方的区间都在零以上（Figure 2）。
   • 作者称"哪些提示攻破模型"主要看预训练运行，而"多常被攻破"主要看数据配方：均值脆弱性的方差中数据配方占 49% [12%, 70%]、基座占 32% [16%, 59%]、后训练种子占 19% [11%, 37%]（§3.1）。
   • 换一套安全数据（Nemotron-SFT-Safety-v2、PKU-SafeRLHF、BeaverTails、HH-RLHF 等替换 Tülu 3 的 SFT 安全数据）后，主配方 1B 的 gap 为 +0.178，对照 Tülu 3 的 0.175（附录 G.6）。

   同种子与部分重跑（§3.2）

   • 同种子重跑：两个 same-seed reruns 与 base model 1 及彼此的三对配对均值 0.844 [0.835, 0.853]，仅比 same-recipe 配对高 0.030 [0.021, 0.040]，远低于 MZ twins 的 0.985（Figure 3）；作者据此认为 MZ twins 的高相关来自共享同一次训练运行，而非种子本身。
   • 部分重跑：只共享初始化或只共享数据顺序的配对与两者都不共享的配对几乎相同（0.822 / 0.822 / 0.823，三个差值区间均覆盖零）；作者称检测不到初始化或数据顺序单独的贡献。
   • 软硬件切换：两个重跑彼此的相关比第一个重跑与 base model 1 的相关高 0.011 [−0.001, 0.023]，区间覆盖零，作者称检测不到换软硬件的相关损失。

   单 checkpoint 的推论（§3.3）

   • 攻击排名迁移：最佳攻击模板在新后训练种子下 67% [55%, 79%] 的配对中保持最佳，在新预训练运行下仅 27% [19%, 35%]；10–20 个百分点的模板领先被 MZ twin 翻转 2.2%，被 same-recipe 伙伴翻转 25.3%（Figure 4a）。
   • 运行指纹：用 3,211 条提示的画像做最近相关匹配，75 次预训练运行全部识别正确（随机猜测为 1/75）；随机 50 条提示平均 98% 正确（Figure 4b）。识别数据配方（未见过的基座）只有 24/50（48%）。
   • 单提示与配方排序：一条提示在某模型上 10 次中至少 9 次被攻破时，其 MZ twin 75.0% 也满足，same-recipe 伙伴 60.9%，cross-recipe 58.7%；各取一个模型比较两个数据配方的均值脆弱性，23.4% 的比较排序与六模型均值相反，单模型标准误 3.44 点、三基座降到 1.99 点。

   评审审计与机理分析

   • 评审审计：WildGuard 在两个对抗来源上把许多人工判为拒答的响应判为合规——25 配方网格审计中精确率 0.528 [0.436, 0.615]、召回 0.977（Table D.3）；未修正均值脆弱性 0.528，按精确率修正后为 0.278 [0.230, 0.324]。四模型人工标签上 MZ 与 same-recipe 相关差为 0.156 [0.036, 0.294]，区间在零以上（Table D.6），作者认为差异来自响应而非评审。
   • 拒答方向（附录 F）：消融各模型自身拒答方向使 plain-harmful 脆弱性在 12 个模型中全部至少翻倍（Table F.1）；经 Procrustes 旋转后，另一预训练运行的方向在 12 个目标中的 11 个达到注册标准（Table F.2）。把模型在每条提示上的投影设为另一运行模型的值，12 个有向配对的平均 closure 为 0.492 [0.469, 0.515]（Table F.5），作者称约一半的行为距离随该标量移动。

   其他消融与分析

   • 模板/请求效应：剔除 HarmBench human-jailbreak 中模板强度与请求难度的主效应后，gap 从 0.210 升至 0.525（附录 G）。
   • 换 Qwen3Guard 为评审：主配方 1B 的 gap 为 0.147（Table G.1），结论方向不变。
   • 良性提示上同种子配对（0.793）低于 same-recipe 均值（0.851）（Table B.2），作者未给解读。
   • 数据配方 DCLM-Baseline (QC FW 3%) 的 cross-recipe 均值 0.647 明显偏低，其 MZ twins 均值 0.973 为 25 个配方最低（附录 G.2）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出模型家族与评审两项局限；实验覆盖 25 配方、三种规模与多次人工审计。

   作者指出的局限与后续方向

   • 模型家族单一（Section 5）：所有模型来自 DataDecide 预训练家族和 Tülu 3 的 SFT、DPO 阶段；作者称 25 个配方内 gap 区间均排除零、且换一套安全数据后 gap 复现，说明 gap 不依赖单一语料或该套安全数据。
   • 评审漏判（Section 5）：主评审 WildGuard 在越狱提示上漏判拒答，未修正均值脆弱性 0.528，审计修正后 0.278 [0.230, 0.324]；人工标签仍给出零以上的差异 0.156 [0.036, 0.294]。
   • 规模上限（Section 5）：最大模型 1B，作者解释这是多次完整预训练的成本所限（引 Madaan et al. 2025：十个 7B 运行各约 15,000 A100 小时），并称发布的代码与逐提示标签便于未来在更大模型上测量 ancestry gap。
   • 机理分析范围（附录 F.8 末）：移植干预只覆盖一个数据配方、1B、单层单位置、每提示一个标量，且只用被编辑模型自己的方向。

   实验覆盖范围

   • 被测模型共 150 个 1B（25 配方 × 3 预训练种子 × 2 后训练种子）+ 主配方 150M/300M 各 12 个 + 4 个自训重跑派生模型；全部经同一 Tülu 3 SFT+DPO 流程。
   • 提示集 6,226 条，主分析用 3,212 条 adversarial-harmful；每模型每提示采样 20 个响应。
   • 评审为 WildGuard（主）与 Qwen3Guard-Gen-8B（复核）；人工标注三次共 2,800 个响应，标注者为两位作者，非独立外部标注。
   • 同种子重跑仅 2 次、部分重跑仅 2 个，均基于主配方的 base model 1/2；跨运行指纹实验只在同一后训练配方下跨后训练种子匹配，作者明确未跨不同微调方案测试。
   • 论文未报告对闭源模型、其他后训练配方（除一次安全数据替换）或更大模型的主实验；附录 H 记录了预注册预测与事后分析的区分。

   收起这一问

6. 06总结一下论文的主要内容

   哪些越狱攻破模型主要看预训练运行而非数据；单 checkpoint 的越狱结论只能代表一次运行。

   一篇测量研究：作者问同一数据配方重跑一次预训练、给同样的安全后训练，模型是否会在同样的越狱提示上被攻破。

   • 要解决的问题：越狱评测把"哪些越狱有效"当作数据与训练的属性，忽略了预训练随机性；此前没有研究比较过同一数据的两次完整预训练。
   • 方法：DataDecide 的 25 个数据配方 × 3 预训练种子的 1B 基座，统一 Tülu 3 SFT+DPO（2 个后训练种子），共 150 个模型；每模型对 3,212 条对抗有害提示采样 20 次，WildGuard 判拒答，比较三类配对（MZ twins / same-recipe / cross-recipe）逐提示非拒答率的修正相关。
   • 主要结果：MZ twins 相关 0.984，换预训练种子降到 0.811，再换数据配方只降到 0.779（Table 1），该排序在全部 25 个配方和 150M/300M 上成立；同种子重跑仅 0.844，作者称高相关属于那一次运行而非种子。
   • 对评测者的推论：最佳攻击模板换预训练种子后仅 27% 保持最佳（换后训练种子 67%）；逐提示画像可在 75 次运行中 75/75 识别所属运行、50 条提示 98%；各取一个模型比较两个数据配方，23.4% 的排序会反转。
   • 作者的结论：在单个 checkpoint 上发现的越狱是关于一次预训练运行的证据，只部分关于其背后的数据；作者认为预训练数据比较和越狱评测都应跨多次运行来读，新预训练运行可能需要自己的红队测试。
   • 边界：结论限于 DataDecide 家族与 Tülu 3 后训练、最大 1B；主评审在越狱提示上漏判拒答，作者用人工标注复核后结论方向不变。

   收起这一问

相关论文